Sospechosos habituales

La Sentina ficha a 50% tonta y 50% tetas, pero eso no garantiza de que no sigamos pagándole el recauchutado con nuestros impuestos.
Este podcast está asociado a la red de Sospechosos Habituales donde podréis encontrar otros muchos podcast de diferentes temáticas.

Cerramos la octava temporada con un episodio que me apetecía grabar desde hace meses. Igual te ha pasado como a mí: empecé hablando de un laboratorio de IA para cualquiera, y terminé recomendando GPUs de 3000 euros. Me fui creciendo, pero no hace falta. Te cuento cómo montar un laboratorio de IA local con el equipo que ya tienes. Da igual si tienes 8 GB de RAM o 16, CPU modesta o sin GPU. La clave está en elegir los modelos adecuados. Muchas veces nos perdemos buscando el modelo más grande, cuando con uno pequeño y bien cuantizado tenemos de sobra para el 80% de las tareas.
Te hablo de Ollama, el gestor de modelos estándar para ejecutar modelos locales. Más de 180.000 estrellas en GitHub, API compatible con OpenAI, modelos para todos los presupuestos: desde Phi 3.5 con 3.8B parámetros hasta Qwen 1.5B que ocupa 1 GB. También la cuantización: reduces la precisión numérica de los pesos para que ocupen menos y vayan más rápido. El punto dulce es Q4_K_M, que reduce el tamaño a menos de un tercio. Para 8 GB de RAM, Q3_K_S puede ser tu salvación.
También te hablo de Open WebUI, la interfaz que le da mil vueltas a ChatGPT. No solo chateas: tiene RAG local, Whisper integrado para transcribir voz (75 MB en CPU), TTS con Kokoro-82M para que el modelo te hable en tiempo real, búsqueda web, plugins y memoria persistente. Todo en un contenedor Docker que levantas con un solo comando.
Y de SQLite Vec, extensión de SQLite sponsorizada por Mozilla para búsqueda semántica sin servidores vectoriales. Ni ChromaDB, ni Qdrant, ni Milvus. C puro que funciona hasta en Raspberry Pi. Creas tablas virtuales para vectores de 768 dimensiones, generas embeddings con nomic-embed-text, y buscas por similitud coseno en milisegundos. RAG local sin complicaciones.
Y te explico cómo organizarlo todo con Docker o Podman. Un docker-compose.yml que levanta Ollama y Open WebUI en segundos, con healthchecks, redes separadas y volúmenes persistentes. También a limitar recursos con --memory y --cpus. He preparado scripts: inicialización que comprueba requisitos, crea directorios y descarga modelos; otro para descargar por niveles según tu hardware (nivel 1 para 8 GB, nivel 2 para 16 GB, nivel 3 para 32 GB); y uno de respaldo.
Y la estrategia híbrida local + nube, que es lo que realmente tiene sentido. El enfoque Minions del Stanford Hazy Research Lab: el modelo local hace el trabajo pesado, y solo consulta al grande en la nube para tareas complejas. El 90% de las consultas se resuelven localmente. Ahorras dinero, mantienes privacidad de tus datos, y cuando necesitas potencia, la tienes.
Con 16 GB de RAM y un SSD te sobra para el 80% de las tareas: traducciones, resúmenes, código, asistentes, RAG, transcripción de audio, texto a voz... Todo en tu máquina, sin enviar datos a servidores, sin suscripciones, sin depender de internet. Con 8 GB también puedes, con modelos más pequeños. Cerramos temporada, la novena arranca en el episodio 828.
Capítulos del episodio:
0:00 - Introducción — cierre de temporada 8 y replanteamiento
2:30 - Hardware mínimo: 8-16 GB RAM + SSD obligatorio
5:00 - Software base: instalar Ollama en tu distribución
7:30 - Contenedores: Docker vs Podman para el laboratorio
10:00 - Modelos pequeños: Phi 3.5, Qwen 1.5B y cuantización
13:00 - Herramientas complementarias: SQLite Vec, Whisper, TTS
16:00 - Organización del laboratorio: script y estructura de directorios
19:00 - Demo: probando Ollama en local con modelos ligeros
22:00 - Combinación local + nube: lo mejor de ambos mundos
24:30 - Cierre, avance temporada 9 y despedida
Más información y enlaces en las notas del episodio
🌐 Aquí lo puedes encontrar todo 👉 https://atareao.es
✈️ Telegram (el grupo) 👉 https://t.me/atareao_con_linux
✈️ Telegram (el canal) 👉 https://t.me/canal_atareao
🦣 Mastodon 👉 https://mastodon.social/@atareao
🐦 Twitter 👉 https://twitter.com/atareao
🐙 GitHub 👉 https://github.com/atareao

traducción, IA, LLM, libros, accesos directos, tecnología

### Integración de Gemini en iPhone
### Evolución de la traducción de libros con Inteligencia Artificial

(cantando)
La culpa fue del chachacha
Que tu me obligaste a bailas...
---
Este podcast está asociado a la red de Sospechosos Habituales donde podréis encontrar otros muchos podcast de diferentes temáticas.

https://www.fossify.org/ En una era digital dominada por gigantes tecnológicos que convierten los datos personales en su principal divisa, resurge el software libre. Dentro de este ecosistema, Fossify se ha consolidado como la alternativa predilecta para los usuarios que buscan recuperar el control absoluto de sus teléfonos Android. Lejos de los ecosistemas cerrados y repletos de publicidad, este proyecto ofrece una suite completa de aplicaciones cotidianas basadas en la privacidad, la transparencia y el código abierto. Podcast asociado a la red de SOSPECHOSOS HABITUALES. Suscríbase con este feed: https://wt.territoriolinux.es/rss/short.xml