Conceptos esenciales para entender la inteligencia artificial sin perderse en la jerga.
91 términos
Ataque que inserta instrucciones para desviar un modelo de las reglas previstas.
Puede llegar desde el usuario o contenido recuperado; se mitiga separando confianza, limitando herramientas, validando acciones y tratando entradas como datos.
Ejemplo prácticoUna página intenta ordenar al agente que revele secretos.
Fuente: NIST AI Risk Management Framework GlossaryIntento de eludir restricciones de seguridad mediante instrucciones diseñadas adversarialmente.
Explota ambigüedades, rol, codificación o conversaciones extensas; las defensas requieren pruebas continuas y no solo listas de palabras.
Ejemplo prácticoPedir contenido prohibido mediante una historia ficticia.
Fuente: NIST AI Risk Management Framework GlossaryControl que limita entradas, salidas o acciones de un sistema de IA.
Puede incluir políticas, clasificadores, validadores, permisos y revisión humana; debe fallar de forma segura y evaluarse contra evasiones.
Ejemplo prácticoBloquear una transferencia fuera de límites autorizados.
Fuente: NIST AI Risk Management Framework GlossaryPruebas adversariales organizadas para descubrir fallas, abusos y riesgos.
Equipos o evaluadores simulan atacantes y usuarios extremos, documentan hallazgos y verifican mitigaciones antes y después del despliegue.
Ejemplo prácticoProbar extracción de datos y abuso de herramientas.
Fuente: NIST AI Risk Management Framework GlossaryEsfuerzo por hacer que el comportamiento del sistema sea compatible con objetivos y valores previstos.
Incluye entrenamiento, especificación, supervisión y controles de operación; las preferencias observadas pueden ser incompletas o contradictorias.
Ejemplo prácticoOptimizar utilidad mientras se respetan límites y abstención.
Fuente: NIST AI Risk Management Framework GlossaryPolíticas, roles y procesos para dirigir y controlar el ciclo de vida de la IA.
Abarca inventario, responsabilidad, riesgo, documentación, aprobación, monitoreo, incidentes y retiro del sistema.
Ejemplo prácticoUn comité define responsables y criterios de lanzamiento.
Fuente: NIST AI Risk Management Framework GlossaryTiempo transcurrido entre una solicitud y la respuesta del sistema.
Debe medirse por percentiles y por etapa; modelos, recuperación, herramientas y red contribuyen al tiempo percibido.
Ejemplo prácticoEl percentil 95 de respuesta es 1,8 segundos.
Fuente: Google Machine Learning GlossaryCantidad de trabajo procesado por unidad de tiempo.
Se expresa en solicitudes, tokens o ejemplos por segundo y debe analizarse junto con latencia, concurrencia, costo y límites del proveedor.
Ejemplo prácticoServir 300 solicitudes por segundo manteniendo el SLA.
Fuente: Google Machine Learning GlossaryContrato que permite a programas solicitar datos o funciones de otro sistema.
Define operaciones, parámetros, autenticación y respuestas; una API de IA debe agregar límites, observabilidad, versiones y manejo de errores.
Ejemplo prácticoEnviar un prompt y recibir una respuesta JSON.
Fuente: Google Machine Learning GlossaryDirección de red donde se expone una función o modelo.
Es la unidad operativa que recibe solicitudes y aplica versión, escalado, seguridad y monitoreo alrededor de la inferencia.
Ejemplo prácticoUna URL HTTPS para generar embeddings.
Fuente: Google Machine Learning GlossaryArquitectura que activa solo algunos submodelos expertos para cada entrada.
Una red de enrutamiento selecciona expertos, aumentando parámetros totales sin usar todos en cada token; exige balancear carga y comunicación.
Ejemplo prácticoActivar dos expertos de ocho para procesar un token.
Fuente: Google Machine Learning Glossary