Modelos «obliterated»: red team defensivo en un entorno controlado
Lazy Read
Los modelos «obliterated» reducen algunas negativas a responder, pero eso no garantiza mejores respuestas ni mayor capacidad para encontrar fallos. Pueden servir para explorar pruebas defensivas en un entorno controlado y autorizado. El artículo explica cómo limitar sus herramientas, datos y conexiones, separar las propuestas del modelo de su ejecución y comprobar cada hallazgo con pruebas reproducibles.
- Menos negativas, no más certeza
- Entorno controlado y autorizado
- Hallazgos que puedan reproducirse
Enlaces relacionados
Un modelo que rechaza menos peticiones puede ayudar a explorar casos que otro evita. Eso puede ser útil para un equipo de seguridad, pero su valor como red team depende de los fallos reproducibles que encuentre, no de lo dispuesto que esté a responder.
Qué significa «obliterated»
En repositorios de modelos aparecen etiquetas como abliterated, uncensored u obliterated. No son una certificación ni garantizan el mismo tratamiento. Hay que revisar el modelo de origen, el método aplicado y las evaluaciones de cada variante.
La abliteration modifica representaciones internas relacionadas con el rechazo. El trabajo de Arditi y colaboradores mostró este mecanismo en trece modelos de chat abiertos: una intervención sobre una dirección interna podía reducir sus negativas. Ese resultado no demuestra que toda la seguridad de cualquier modelo se reduzca a un interruptor.
Heretic automatiza la búsqueda de intervenciones tratando de reducir rechazos y limitar la desviación respecto al modelo original. OBLITERATUS reúne métodos de intervención y comparación. Son herramientas para modificar y estudiar modelos; sus descripciones no sustituyen una evaluación independiente.
Reducir rechazos no añade conocimientos ni demuestra mejor razonamiento. Investigaciones sobre modelos de razonamiento encuentran resultados menos consistentes y degradación de capacidades al aplicar estas intervenciones. Una respuesta extensa y convincente también puede ser incorrecta.
Dos usos defensivos distintos
Conviene separar el modelo que ayuda a diseñar pruebas del sistema que recibe esas pruebas.
En una aplicación web o API convencional, el modelo puede proponer hipótesis sobre permisos, cargas de archivos, validación de entradas o aislamiento entre usuarios. Después, un ejecutor controlado y pruebas deterministas comprueban si existe realmente el fallo. El modelo no convierte una sospecha en vulnerabilidad por describirla bien.
En una aplicación con IA, también podemos evaluar documentos no confiables, prompt injection, exposición de contexto y llamadas a herramientas fuera de los permisos previstos. Aquí se prueba el sistema completo: modelo, recuperación de documentos, backend y herramientas. Promptfoo distingue precisamente entre riesgos del modelo y de la aplicación; garak ofrece pruebas para distintas clases de fallo en sistemas con LLM.
Un modelo modificado puede aportar más propuestas cuando el original rechaza una tarea defensiva legítima. Que esas propuestas sean mejores es una hipótesis que debemos medir.
Un entorno controlado con límites reales
Esta es una propuesta de trabajo para entornos propios o expresamente autorizados:
- Definir el alcance. Fijar hosts, endpoints, cuentas de prueba y acciones permitidas. Un entorno de pruebas puede seguir conectado a producción: revisar correo, pagos y servicios de terceros para asegurar el aislamiento.
- Separar el modelo del ejecutor. El modelo propone casos; un controlador valida destinos y herramientas. Aplicar la lista de destinos permitidos también en la red, con límites de peticiones, concurrencia, duración y gasto. Las instrucciones del prompt no son una sandbox.
- Usar datos sintéticos. Crear usuarios, documentos y secretos ficticios identificables. Desactivar envíos reales y operaciones destructivas; preparar restauración y una parada inmediata. Revisar qué información reciben los proveedores externos y qué envía la telemetría de las herramientas, también en ejecuciones locales.
- Probar fronteras concretas. Por ejemplo, comprobar que un usuario de prueba no puede leer el documento sintético de otro, que una carga inválida no escribe fuera de su ubicación o que un documento recuperado no autoriza una herramienta. Definir el resultado esperado antes de ejecutar.
- Reproducir y corregir. Guardar petición, respuesta, identidad de prueba, versión del sistema y evidencia del efecto. Confirmar el hallazgo fuera de la conversación con el modelo, corregirlo y añadir una regresión.
Cómo saber si aporta valor
Compararía el modelo original y la variante modificada con las mismas tareas, herramientas y presupuesto. Repetiría las ejecuciones y registraría la revisión exacta del modelo, su cuantización y configuración.
Las métricas útiles son hallazgos únicos confirmados, falsos positivos, cobertura de controles, coste por hallazgo y tiempo de reproducción. Para un agente, también importan los intentos de salir del alcance y la capacidad del controlador para bloquearlos. La tasa de rechazo es un dato de comportamiento, no una medida suficiente de seguridad o calidad.
El resultado que buscamos es un conjunto de pruebas que siga protegiendo la aplicación cuando cambiemos de modelo. El modelo ayuda a explorar; los permisos, la evidencia y las regresiones sostienen la defensa.