Articolul anterior v-a oferit meniul. Acest capitol vă ajută să faceți comanda. Există două modalități de a decide: în funcție de echipamentul pe care îl aveți și în funcție de tipul de activitate pe care o desfășurați. Vom aborda ambele aspecte.
Recomandări privind nivelul de hardware
Cel mai mare impediment pentru IA locală este memoria — în special RAM-ul pentru inferența pe CPU și VRAM-ul pentru inferența pe GPU. Găsiți nivelul potrivit mai jos. (Toate dimensiunile presupun o quantizare rezonabilă de tipul 4 biți, care reprezintă modul obișnuit de rulare a modelelor locale.)
Nivel 1 — 8 GB RAM / VRAM (Nivel de începator)
Acesta este un laptop, o stație de lucru vechi sau o mică mașină virtuală. Poți cu siguranță să faci automatizare de securitate utilă aici, atâta timp cât rămâi realist.
- Modele recomandate: Qwen3.6 9B, Gemma 4 E2B/E4B, Granite 4.1 3B/8B, Ministral 3 3B.
- Ce funcționează bine: clasificarea alertelor, extragerea IOC-urilor, rezumate scurte ale logurilor, etichetarea simplă, sarcini cu volum mare de tip „este suspect/nu este suspect”.
- Ce trebuie evitat: Rapoartele lungi, raționamentul complex în mai multe etape, ferestrele de context mari.
- Verificare a realității: Considerați acest nivel ca pe un asistent rapid și concentrat pentru sarcini specifice — nu ca pe un analist profund.
Nivelul 2 — 16 GB RAM / VRAM (Configuratia ideala pentru majoritatea oamenilor)
Acesta este un laptop modern solid sau o unitate grafică de clasă mijlocie (de exemplu, o placa de 16 GB). Pentru o parte semnificativă a echipelor de securitate, acest nivel îndeplinește 80% din ceea ce aveți nevoie.
- Modele recomandate: Qwen3.6 35B-A3B (MoE rapid implicit — doar ~3B activ, se încadrează în 16 GB), Qwen3.6 9B, gpt-oss 20B, Gemma 4 12B.
- Ce funcționează bine: triajul solid al alertelor, îmbogățirea IOC-urilor, analiza logurilor, redactarea decentă a rapoartelor, exportul structurat în format JSON pentru automatizare.
- Ce trebuie evitat: modelele extrem de mari; analiza documentelor într-o singură trecere, extrem de lungă.
- Verificare a realității: Acesta este cel mai bun raport dintre preț și performanță. Dacă cumpărați hardware special pentru acest scop, îndreptați-vă prima opțiune către această categorie.
Nivel 3 — 32 GB RAM / VRAM (Lucrări serioase pe un singur calculator)
O stație de lucru de înaltă calitate sau o unitate grafică de 24–32 GB. Acum poți rula cu ușurință modele mari și puternice.
- Modele recomandate: Qwen3.6 27B (dens — alegerea de calitate), Gemma 4 31B, Devstral Small 2 24B, gpt-oss 20B cu rezervă suficientă.
- Ce funcționează bine: triaj și raportare de înaltă calitate, analiză nuanțată a incidentelor, detecția sub formă de cod, sarcini multimodale, ferestre de context mai mari.
- Verificare a realității: O singură unitate grafică (GPU) de 24 GB (clasă RTX 4090/5090), care rulează modelul Qwen3.6 cu 27 de miliarde de parametri — ce obține un scor de 77,2% la SWE-bench Verified — sau modelul Gemma 4 cu 31 de miliarde de parametri, reprezintă într-adevăr o platformă de automatizare SOC de clasă flagship. Acesta este scopul recomandat pentru un dispozitiv dedicat AI în domeniul securității cibernetice.
Nivel 4 — GPU / Server dedicat (Enterprise și MSSP)
Multiple unități GPU, memorie de clasă server sau instance GPU în cloud privat. Poți rula modele cu greutăți deschise de ultimă generație și să servești numeroase automate simultane.
- Modele recomandate: Llama 3.3 70B, gpt-oss 120B, DeepSeek-V4 Flash (context de 1M), Qwen3.5 122B sau variante mari ale lui Qwen3.6 — furnizate cu un motor de producție precum vLLM pentru o concurență ridicată.
- Ce funcționează bine: Totul, la scară mare, pentru mulți utilizatori/chiriitori simultan; analiza întregului depozit și a întregului incident; raționamentul cel mai exigențial.
- Verificare a realității: Acesta este un proiect de infrastructură. Bugetul trebuie să acopere operațiunile, monitorizarea și gestionarea memoriei GPU — nu doar descărcarea modelului.
Hw Tier | Memory | Go-To Model | Realistic Scope
Tier 1 | 8 GB | Qwen3.6 9B / Gemma 4 E4B | Narrow, fast, high-volume tasks
Tier 2 | 16 GB | Qwen3.6 35B-A3B (fast MoE) | Most SOC automation (recommended start)
Tier 3 | 24–32 GB | Qwen3.6 27B / Gemma 4 31B | Flagship-grade single-box analyst
Tier 4 | Multi-GPU | Llama 3.3 70B / gpt-oss 120B + vLLM | Enterprise/MSSP scale
Planuri Operaționale
Hardware-ul este doar jumătate din poveste. Modelul dumneavoastră de funcționare determină arhitectura. Iată patru planuri concrete.
Planul A: Îndrăgostit de laboratorul de acasă
Scop: învățare, experimentare și implementarea unei automate de securitate interesante cu un buget redus.
- Hardware: O singură mașină — un PC pentru jocuri cu o unitate grafică de 12–16 GB, sau o stație de lucru cu 32 GB RAM pentru hibrid CPU/GPU.
- Model: Qwen3.6 27B dacă ai o carte de 24 GB; altfel Qwen3.6 35B-A3B (rapid) sau 9B. Gemma 4 E4B ca alternativă mică.
- Timp de execuție: Ollama (cel mai simplu) plus LM Studio pentru experimente vizuale.
- Orchestreare: n8n în Docker pe aceeași boxă.
- Arhitectură: gazdă unică. n8n, Ollama și instrumentele tale trăiesc toate împreună. Păstrează-l simplu; ești optimizat pentru viteza de învățare.
Plan de acțiune B: Centru de operațiuni de securitate corporatist
Scop: să reducem efortul analiștilor și să accelerăm triajul fără a trimite date în afara companiei.
- Hardware: Un server dedicat pentru IA cu o unitate grafică (GPU) de 24–48 GB (nivelul 3), plasat în interiorul segmentului de rețea de securitate.
- Model: Qwen3.6 27B sau Gemma 4 31B pentru calitate; Qwen3.6 35B-A3B pentru trierea de primă trecere la volum mare.
- Runtime: Ollama sau vLLM, în funcție de cerințele de concurență, executat ca un serviciu gestionat.
- Orchestarea: n8n conectat la SIEM/EDR/sistemul de emitere a alertelor, cu puncte de aprobare cu implicarea umană pentru orice acțiune rezultantă.
- Arhitectură: Sursa de alerte → n8n → model local pentru triaj/enrichment → verificare de către analist → acțiune. Totul în interiorul perimetrului dumneavoastră.
Plan C: Platform MSSP multi-locatar
Scop: a servi mulți clienți cu izolare strictă a datelor și costuri predictibile.
- Hardware: Servere cu mai multe unități grafice (GPU) sau GPU-uri din cloudul privat (nivel 4), dimensionate pentru concurența între diferiții utilizatori.
- Model: Un model comun capabil, servit prin vLLM pentru throughput; separare a prompturilor/configurațiilor pe bază de tenant.
- Runtime: vLLM pentru concurență ridicată și împărțire eficientă a GPU-ului.
- Orchestreare: n8n cu segregare strictă a datelor pe bază de tenant — credențiale separate, stocuri de date separate, fără propagarea contextului între tenanți. Izolarea tenanților este cerința esențială.
- Arhitectură: Avertizările fiecărui client parcurg canale izolate către un model comun (dar fără stări). Datele unui închiripar nu ajung niciodată în contextul altui închiripar.
Plan de lucru D: Consultant independent în domeniul securității
Scop: să furnizezi rezultate de nivel înalt în mod independent, adesea pe date sensibile ale clienților, uneori într-un mediu izolat.
- Hardware: Un laptop puternic (Tier 2) sau o stație de lucru portabilă; un GPU de 16–24 GB este un multiplicator de forță.
- Model: Qwen3.6 27B/9B pentru rapoarte și analize; Gemma 4 E4B pentru munca pe teren în mediul aerogratuit, folosind doar laptopul. (Un laptop M5 Max cu 128 GB poate rula chiar și Llama 3.3 70B purtat într-un rucsac.)
- Timp de execuție: LM Studio pentru lucrul interactiv; Ollama + n8n pentru automate repetabile pe care le folosiți la mai mulți clienți.
- Arhitectură: Autonomă. Totul rulează pe calculatorul dvs., astfel încât puteți lucra într-un mediu restricționat al clientului, în avion sau complet offline.
ALEGE-ȚI CALEA
Cât hardware este necesar? Care este operațiunea ta?
–––––– –––––––
8 GB -> Qwen3.6 9B Homelab -> 1 cutie, Qwen3.6 27B, Ollama+n8n
16 GB -> Qwen3.6 35B-A3B Corp SOC -> server AI, Qwen3.6 27B, verificări de aprobare
24-32 -> Qwen3.6 27B MSSP -> Multi-GPU, vLLM, izolare între utilizatori
Multi -> Llama3.3/gpt-oss Consultant -> Laptop, portabil, pregătit pentru izolare fizică
Dacă ai de reținut doar un lucru din acest capitol: începe cu Qwen3.6 la cea mai mare dimensiune pe care hardware-ul tău o suportă confortabil (27B dacă ai 24 GB, 35B-A3B pentru viteză cu 16 GB, 9B pentru configurații de bază), adaugă un filtru de aprobare și dezvoltă de acolo.
Citeste si: