Agentes de IA, harnesses y seguridad
Un agente de IA combina un modelo con herramientas y un proceso para realizar una tarea. El harness es el software que lo rodea y gestiona el estado, los permisos, las comprobaciones y la recuperación. La pregunta útil es qué acciones puede ejecutar el sistema, con qué datos y cómo sabrás si el resultado es aceptable.
Una guía de lectura de Idir OuhabDistingue la tarea del permiso para actuar
Una interfaz de chat también puede llamar a herramientas. Empieza por describir el flujo real: qué entra en el sistema, qué pasos ejecuta y qué cambia fuera de la conversación. Un sistema que prepara una respuesta necesita controles distintos de otro que modifica una cuenta. Da a cada herramienta solo el acceso necesario para su paso y aplica esa restricción en el sistema conectado.
Sigue una acción de principio a fin
Imagina un asistente de soporte que gestiona una solicitud de reembolso. Leer el pedido, proponer el reembolso y ejecutarlo son operaciones distintas. El modelo puede ayudar a interpretar la solicitud; las reglas del negocio determinan si procede, la aplicación comprueba la cuenta y el importe, y una aprobación puede autorizar el cambio final. Registra el resultado y utiliza los controles de idempotencia del sistema de pagos para que reconozca los reintentos de una misma operación. Si el resultado es incierto, comprueba su estado antes de reintentar. Es un ejemplo de diseño que hay que adaptar y probar, no un flujo de pagos listo para utilizar.
Un orden de lectura sugerido
Sigue el recorrido o empieza por la pregunta que necesitas resolver.
Agentes de IA frente a chatbots: uno habla, el otro hace cosas
Empieza por el concepto de modelo con herramientas y la diferencia entre responder a una pregunta y ejecutar un proceso.
3 min de lectura
AI harness: la capa que convierte un modelo inteligente en trabajo útil
Revisa después el software que rodea al modelo: contexto, estado, herramientas, permisos y comprobaciones, con un flujo concreto como ejemplo.
12 min de lectura
Guardrails para LLM: por qué tu chatbot necesita una red de seguridad
Identifica dónde pueden reducir el riesgo las salvaguardas y por qué deben acompañarse de permisos limitados y comprobaciones en el sistema.
Ninguna salvaguarda elimina todos los fallos; evalúa los controles con las acciones y las entradas que gestiona tu sistema.
7 min de lectura
La trampa del «vibecoding»: por qué tu app creada con IA es probablemente un colador
Termina con el relato de Idir sobre un pequeño grupo de aplicaciones creadas con IA, como punto de partida para revisar el software generado más allá de que funcione.
Es un experimento informal y pequeño, narrado en primera persona; no mide la frecuencia de vulnerabilidades en todo el software creado con IA.
3 min de lectura
Antes de decidir
Utiliza estas preguntas para concretar la siguiente decisión.
Define el resultado permitido
Especifica la tarea, los sistemas a los que afecta y una condición clara para detenerse. Distingue entre proponer un cambio y aplicarlo.
Identifica los datos y los permisos
Enumera qué puede leer o modificar cada herramienta. Limita el acceso en la aplicación o en el servicio conectado, respetando también los permisos del usuario.
Decide dónde hace falta aprobación
Identifica las acciones de mayor impacto y qué debe ver quien las revisa antes de aprobarlas: destino, cambio propuesto y consecuencias previsibles.
Prueba los fallos y la recuperación
Ensaya entradas engañosas, errores de herramientas e interrupciones. Comprueba el estado final y define cómo detenerse, reintentar o devolver la tarea a una persona.
Alcance y límites
Esta guía ayuda a plantear una decisión de arquitectura. No es una certificación de seguridad ni un análisis completo de amenazas. Los controles dependen de los datos, los usuarios y las consecuencias de cada acción; valídalos en el sistema que vayas a operar.
Comprueba los detalles de implementación
Las guías de OWASP explican los permisos excesivos y la inyección de instrucciones. Utilízalas para revisar tu diseño y elegir pruebas para las herramientas expuestas.
Aplica los conceptos al flujo de tu equipo
La formación puede ayudar a un equipo a comprender y practicar estas decisiones. Una asesoría puede recorrer un flujo existente e identificar cuestiones de permisos, evaluación o gestión de fallos. Primero acordamos la información necesaria y el alcance.