Durante los últimos días he montado un modelo de lenguaje (LLM) funcionando 100% en local, desplegado en un VPS sin GPU, accesible desde el navegador y capaz de responder preguntas sobre cualquier URL.
No ha sido un simple “hola mundo”, sino un sistema completo:
- Servidor: VPS con Ubuntu 24.04.
- Modelo: LLM local (sin depender de OpenAI).
- Backend: API propia.
- Frontend: Interfaz web para el usuario.
- Inteligencia: Búsqueda semántica (RAG) para evitar respuestas inventadas (alucinaciones).
¿Lo más interesante?
💡 No necesitas una GPU para empezar a trabajar con IA de forma seria. Con una buena arquitectura y expectativas realistas, es perfectamente viable.
Este tipo de soluciones abre la puerta a:
- Más control sobre tus datos y flujos de trabajo.
- Más privacidad al no enviar información a servidores externos.
- Menos dependencia de las API de terceros y sus cambios de tarifas.
📌 La IA no es solo usar herramientas. También es saber construirlas.
¿Cómo lo ves? ¿Crees que las empresas acabarán apostando por modelos locales o híbridos?