Cargando proyectos…
Cargando proyectos…
Este proyecto busca un especialista en evaluación de modelos de inteligencia artificial enfocados en interacciones de audio conversacional. El rol implica diseñar y ejecutar escenarios estructurados que simulen situaciones reales de atención al cliente en sectores como viajes, servicios financieros, telecomunicaciones y soporte técnico. Los entregables principales incluyen la creación de conjuntos de datos diversos, el desarrollo de escenarios de role-play para evaluación, y el análisis tanto cualitativo como cuantitativo del desempeño del modelo. Se requiere manejo de formatos estructurados como JSON, comunicación clara en inglés y acceso a equipamiento de audio profesional. El presupuesto y duración estimada de 12 semanas sugieren un alcance modular, permitiendo iteraciones en ciclos de evaluación y mejora del modelo.
Evaluate and benchmark advanced agentic audio models for conversational AI applications. Design and execute structured conversational scenarios simulating real customer service interactions across travel, financial services, telecommunications, and technical support. Create role-play evaluation scenarios, develop diverse datasets, evaluate AI model outputs using qualitative and quantitative criteria, assess conversational quality, and support documentation. Requires strong communication, English proficiency, understanding of structured data (JSON), and access to high-quality microphone.
Se valora experiencia en evaluación de chatbots o sistemas de voz, aunque lo prioritario es demostrar capacidad para diseñar escenarios realistas y evaluar calidad conversacional con criterios estructurados.
Se requiere acceso a un micrófono de alta calidad. Para grabar y evaluar muestras de audio en contextos de evaluación, es recomendable un setup básico pero profesional que garantice claridad en las grabaciones.
Sí. Se demanda fluidez en inglés para diseñar escenarios, documentar hallazgos y comunicarse con el equipo. Sin embargo, los escenarios de evaluación pueden incluir interacciones en otros idiomas según el alcance.
