Cum sa-ti reduci costul cu token-urile LLM cu 80%

de | noiembrie 18, 2025
Niciun comentariu

Modelele mari de limbaj (LLM) pot deveni costisitoare foarte rapid. Daca utilizezi intensiv OpenAI vei observa factura care crește de la o lună la alta. Am descoperit o soluție surprinzător de simplă. A fost nevoie doar de o linie de cod, si consumul de tokeni a scăzut cu aproape 80%.

Problema: LLM-urile nu au memorie

De fiecare dată când accesezi un model LLM, acesta nu își amintește efectiv ce ai spus anterior. Așadar, dacă vrei să rămână în context, trebuie să trimiți din nou toată istoricul conversației tale.

Asta înseamnă:

  • Consumi tokeni
  • Răspunsurile devin mai lente
  • Iar costurile tale continuă să crească

A fost gasita o modalitate ca modelul LLM să-și amintească lucruri.

Despre Memori

Memori este un strat de memorie open-source care se integrează în configurația ta AI existentă. Practic, îi oferă modelului tău LLM un creier. Și partea uimitoare? Îl poți activa cu doar o singură linie:

memori.enable()

Ce-l face pe Memori deosebit ?

După ce m-am jucat puțin cu el, iată ce am constatat ca-l face deosebit:

  • Configurare cu o singură linie — funcționează cu OpenAI, Anthropic, LangChain, LiteLLM etc.
  • Folosește baze de date SQL — SQLite, PostgreSQL, MySQL… oricare folosești deja.
  • Mult mai ieftin — eviți partea scumpă cu baza de date vectorială.
  • Memorie portabilă — poți să deschizi literalmente „creierul AI-ului” în SQLite și să vezi ce își amintește.
  • Fără blocare la furnizor — tu deții datele tale.

Testul

pip install memorisdk openai
export OPENAI_API_KEY="sk-your-openai-key-here"

from memori import Memori
from openai import OpenAI

openai_client = OpenAI()
memori = Memori(conscious_ingest=True)
memori.enable()
# First chat
response1 = openai_client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "I'm building a FastAPI app"}]
)
print("Assistant:", response1.choices[0].message.content)
# Second chat - model remembers context
response2 = openai_client.chat.completions.create(
    model="gpt-4o-mini",
    messages=[{"role": "user", "content": "Help me add login functionality"}]
)
print("Assistant:", response2.choices[0].message.content)

Ruleaza-l

python demo.py

Observă cum al doilea răspuns înțelege automat că lucrezi la un proiect FastAPI. Aceasta este Memori în acțiune.

Memori salveaza in mod default in baza de date standard SQL. Daca vrei sa setezi alte baze de date:

  • SQLite → merge default
  • PostgreSQL → pip install psycopg2-binary
  • MySQL → pip install mysqlclient or pip install PyMySQL

Dacă construiești un produs AI — un chatbot, un asistent de programare, orice — adăugarea memoriei schimbă complet regulile jocului.

Modelul tău devine mai inteligent, mai consecvent și mult mai ieftin de operat.