Guía · Actualizada en noviembre de 2026
¿Qué es AgentOps?
AgentOps (operación de agentes) es la práctica de operar agentes de IA de forma confiable una vez que están en producción: rastrear lo que hacen, evaluar la calidad de su trabajo, mantenerlos dentro de guardrails, responder a incidentes y controlar el costo y el rendimiento.
Por qué importa
Por qué los agentes de IA necesitan su propia disciplina de operación
Un agente de IA hace más que responder una pregunta. Planifica una secuencia de pasos, llama herramientas y APIs, lee y escribe datos, y puede tomar acciones en nombre de una persona o un equipo.
Eso hace que los agentes sean potentes y más difíciles de operar. La misma solicitud puede seguir un camino distinto cada vez, una llamada equivocada a una herramienta puede parecer una respuesta correcta y un bucle puede multiplicar el costo sin que nadie lo note. El monitoreo tradicional de disponibilidad te dice que un servicio está funcionando; no te dice si un agente hizo lo correcto.
AgentOps cubre ese vacío. Toma ideas probadas de DevOps, MLOps y la ingeniería de confiabilidad de sitios (SRE) y las adapta a sistemas que razonan, usan herramientas y actúan con cierta autonomía.
| Disciplina | Enfoque principal | Qué se monitorea |
|---|---|---|
| DevOps | Entregar y operar software | Despliegues, disponibilidad, errores |
| MLOps | Entrenar y servir modelos de machine learning | Deriva de datos, precisión del modelo, reentrenamiento |
| LLMOps | Aplicaciones basadas en modelos de lenguaje de gran tamaño | Prompts, respuestas, uso de tokens |
| AgentOps | Agentes que planifican, usan herramientas y toman acciones | Ejecuciones completas: pasos, llamadas a herramientas, resultados, seguridad, costo |
Ciclo de vida
El ciclo de vida de AgentOps en seis etapas
AgentOps cubre toda la vida de un agente, no solo el momento en que entra en producción. Una investigación de Data61 de CSIRO (arXiv:2411.05285) identifica los artefactos que deben rastrearse a lo largo de este ciclo, desde la creación del agente hasta su ejecución y evaluación.
- 1
Diseñar e instrumentar
Define el objetivo, el alcance y los permisos del agente, y agrega trazabilidad desde el primer día para poder inspeccionar cada ejecución.
- 2
Evaluar antes de lanzar
Prueba el agente con tareas representativas y casos límite, y define el nivel de calidad que debe cumplir para salir a producción.
- 3
Desplegar con guardrails
Lanza con acceso de mínimo privilegio, validaciones de entrada y salida, y aprobación humana para las acciones de alto impacto.
- 4
Observar en producción
Sigue las ejecuciones reales de principio a fin: pasos, llamadas a herramientas, latencia, gasto en tokens, errores y comentarios de los usuarios.
- 5
Responder a incidentes
Detecta fallas a tiempo, contenlas (pausar, revertir, derivar a una persona) y documenta lo que pasó.
- 6
Mejorar continuamente
Usa los incidentes y los resultados de las evaluaciones para ajustar prompts, herramientas, políticas y pruebas, y vuelve a evaluar.
Prácticas clave
Seis prácticas que todo equipo de AgentOps necesita
Trazabilidad y observabilidad
Registra cada ejecución del agente como una traza: la solicitud, los pasos de razonamiento, cada llamada al modelo y a herramientas, y el resultado. Estándares abiertos como las convenciones semánticas de OpenTelemetry para IA generativa definen nombres comunes para las operaciones de modelos, agentes y herramientas, de modo que las trazas puedan pasar de una herramienta a otra.
Evaluación y calidad
Mide si el agente completa las tareas correctamente, no solo si responde. Combina conjuntos de prueba curados, revisiones sobre el tráfico real, puntuación automática y revisión humana, y repite las evaluaciones cada vez que cambie un prompt, un modelo o una herramienta.
Guardrails y seguridad
Limita lo que un agente puede hacer y revisa lo que entra y sale. El OWASP Top 10 for LLM Applications 2025 incluye la inyección de prompts (LLM01) y la agencia excesiva (LLM06) entre los principales riesgos; los permisos de mínimo privilegio y los puntos de aprobación humana son defensas clave.
Respuesta a incidentes
Trata las fallas de los agentes como incidentes de producción: alertas claras, runbooks, una forma de pausar o revertir un agente, escalamiento a una persona y una revisión sin culpables al final.
Costo y rendimiento
Controla el gasto en tokens, la latencia y el costo por tarea completada. Define presupuestos y límites de pasos y reintentos para que una sola ejecución no entre en un bucle sin control.
Gobernanza y auditabilidad
Mantén un registro de auditoría de lo que hizo cada agente y por qué, quién aprobó los cambios y qué versión estaba en funcionamiento. Marcos como el NIST AI Risk Management Framework (AI RMF 1.0) organizan este trabajo en cuatro funciones: gobernar, mapear, medir y gestionar (Govern, Map, Measure, Manage).
Métricas
Qué medir
Las buenas métricas de AgentOps describen resultados, seguridad y eficiencia a la vez. Un agente rápido y barato que completa la tarea equivocada no está sano.
Quién hace este trabajo
- Ingenieros de IA y ML
- Equipos de plataforma, DevOps y SRE
- Product owners de IA
- Especialistas en QA y evaluación
- Líderes de operaciones y servicios de TI
- Profesionales de riesgo, seguridad y gobernanza
| Métrica | Qué te dice |
|---|---|
| Tasa de éxito de tareas | Porcentaje de ejecuciones que logran el resultado esperado |
| Tasa de error en llamadas a herramientas | Llamadas a herramientas fallidas, inválidas o innecesarias por ejecución |
| Tasa de derivación a personas | Con qué frecuencia el agente escala o necesita que intervenga una persona |
| Tasa de activación de guardrails | Con qué frecuencia los controles de seguridad bloquean o modifican una acción |
| Latencia (p95) | Tiempo para completar una tarea en el 95 % de las ejecuciones |
| Costo por tarea | Gasto en modelos y herramientas por cada tarea completada |
| Tiempo de resolución de incidentes | Desde que se detecta una falla del agente hasta su recuperación |
Cómo empezar
Cómo empezar con AgentOps en cinco pasos
- Elige un agente que importeEmpieza con un agente que ya esté en producción o a punto de estarlo, y anota lo que tiene permitido hacer.
- Rastrea cada ejecuciónInstrumenta el agente para que cada solicitud genere una traza completa de pasos, llamadas a herramientas, tokens y resultado.
- Define qué es un “buen” resultadoArma un pequeño conjunto de evaluación con tareas reales y resultados esperados, y acuerda un umbral de calidad.
- Agrega guardrails y un botón de pausaAplica el mínimo privilegio, exige aprobación para las acciones de alto impacto y asegúrate de poder pausar el agente rápidamente.
- Revisa cada semanaRevisa fallas, costos y comentarios de los usuarios cada semana, y convierte cada aprendizaje en una nueva prueba o regla.
Preguntas frecuentes
Preguntas sobre AgentOps
¿Qué es AgentOps?
AgentOps (operación de agentes) es la práctica de operar agentes de IA de forma confiable en producción. Abarca trazabilidad y observabilidad, evaluación, guardrails, respuesta a incidentes, control de costo y rendimiento, y gobernanza a lo largo del ciclo de vida del agente.
¿En qué se diferencia AgentOps de MLOps y LLMOps?
MLOps se centra en entrenar y servir modelos de machine learning, y LLMOps en aplicaciones basadas en modelos de lenguaje de gran tamaño. AgentOps se centra en agentes que planifican, llaman herramientas y toman acciones, por eso monitorea ejecuciones completas, uso de herramientas, seguridad y resultados, no solo las respuestas del modelo.
¿Qué hace un profesional de AgentOps?
Un profesional de AgentOps mantiene sanos los agentes de IA después de que entran en producción: instrumenta y lee trazas, ejecuta evaluaciones, define guardrails y permisos, gestiona incidentes y mantiene el costo y la latencia dentro de lo previsto.
¿Qué métricas importan más en AgentOps?
Las métricas comunes de AgentOps incluyen la tasa de éxito de tareas, la tasa de error en llamadas a herramientas, la tasa de derivación a personas, la tasa de activación de guardrails, la latencia, el costo por tarea y el tiempo de resolución de incidentes.
¿Por qué los agentes de IA necesitan guardrails?
Los agentes pueden actuar sobre sistemas y datos, así que un agente manipulado o equivocado puede causar daños reales. Guardrails como los permisos de mínimo privilegio, las validaciones de entrada y salida y la aprobación humana para acciones de alto impacto reducen riesgos como la inyección de prompts y la agencia excesiva.
¿Existe una certificación de AgentOps?
Sí. CertiProf ofrece la AgentOps Professional Certification (AOPC™), que se lanza el 1 de diciembre de 2026. Es un examen en línea de 40 preguntas de opción múltiple en 60 minutos y, al aprobar, recibes una insignia digital verificable de BadgeClaimed.
