{"@context":"http://iiif.io/api/presentation/3/context.json","id":"https://weareavp.aviaryplatform.com/iiif/4q7qn5zw69/manifest","type":"Manifest","label":{"en":["SESIÓN 8 2021 - Inteligencia artificial tras la escena: Control de calidad para un sistema de metadatos automático en el archivo de RTVE"]},"logo":"https://d9jk7wjtjpu5g.cloudfront.net/organizations/logo_images/000/000/007/original/avp-logo-login_2x.png?1692278773","metadata":[{"label":{"en":["Keyword"]},"value":{"en":["Preservación Digital","RIPDASA","Archivos de Televisión","Inteligencia Artificial","AI","Colecciones Audiovisuales","Webinar"]}},{"label":{"en":["Language"]},"value":{"en":["Español (primary)"]}},{"label":{"en":["Date"]},"value":{"en":["2021-11-30 (captured)"]}},{"label":{"en":["Agent"]},"value":{"en":["Virginia Bazán-Gil (RTVE) (Speaker)","Georgina Sanabria (UNAM) (Presenter)","Perla Olivia Rodríguez (UNAM) (Presenter)","AVP (Sponsor)","CYTED (Sponsor)"]}},{"label":{"en":["Duration"]},"value":{"en":["00:57:41"]}}],"provider":[{"id":"https://weareavp.aviaryplatform.com/aboutus","type":"Agent","label":{"en":["AVP"]},"homepage":[{"id":"https://weareavp.aviaryplatform.com/","type":"Text","label":{"en":["AVP"]},"format":"text/html"}],"logo":[{"id":"https://d9jk7wjtjpu5g.cloudfront.net/organizations/logo_images/000/000/007/original/avp-logo-login_2x.png?1692278773","type":"Image"}]}],"thumbnail":[{"id":"https://d9jk7wjtjpu5g.cloudfront.net/collection_resource_files/thumbnails/000/131/167/small/08Virginiabazan.mp4_1639067111.jpg?1639049115","type":"Image","format":"image/jpeg"}],"items":[{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167","type":"Canvas","label":{"en":["Media File 1 of 1 - 08_Virginia_bazan.mp4"]},"duration":3461.088,"width":640,"height":360,"thumbnail":[{"id":"https://d9jk7wjtjpu5g.cloudfront.net/collection_resource_files/thumbnails/000/131/167/small/08Virginiabazan.mp4_1639067111.jpg?1639049115","type":"Image","format":"image/jpeg"}],"items":[{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/content/1","type":"AnnotationPage","items":[{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/content/1/annotation/1","type":"Annotation","motivation":"painting","body":{"id":"https://aviary-p-weareavp.s3.wasabisys.com/collection_resource_files/resource_files/000/131/167/original/08_Virginia_bazan.mp4?1713855528","type":"Video","format":"video/mp4","duration":3461.088,"width":640,"height":360},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167","metadata":[]}]}],"annotations":[{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813","type":"AnnotationPage","label":{"en":["RIPDASA2021_Sesion8_ESP [Transcript]"]},"items":[{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/1","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Para mí es un gusto poder presentar a nuestra ponente, a la maestra Virginia Bazán y quien ella es responsable de proyectos del Fondo Documental de Radio Televisión Española. Ella ha estado vinculada a esta institución durante el 2004 y actualmente trabaja en proyectos de inteligencia artificial para la generación automática de metadatos y también para el reconocimiento de imágenes. Es miembro de la Cátedra de Radio Televisión Española de la Universidad de Zaragoza sobre el tema de Big Data, aplicado a análisis de contenidos audiovisuales y sonoros desde octubre de 2021, en Secretaria General de la Federación Internacional de Archivos de Televisión y también ha sido profesora asociada en la Universidad Carlos Tercero de Madrid y es autora de varias publicaciones relacionadas con el uso y la aplicación de tecnologías a los archivos. El tren iba. En estos momentos se está desarrollando su tesis doctoral sobre el uso de la inteligencia artificial en los archivos de televisión. Me da muchísimo gusto poder compartir este espacio con la maestra Virginia y que ella pueda. También nos agradecerle que nos haya dado este tiempo para compartir, pues este tema tan interesante que es la inteligencia artificial. Adelante con bienvenida. Muchas gracias Gina. Muchas gracias a todos y a todas por estar acompañándonos esta tarde tan especial de cierre del magnífico programa de seminarios que Rivas ha organizado por segundo año consecutivo. Gracias de verdad. En este momento deberían todos tener acceso a la página web con la que vamos a establecer esta dinámica que menciona Vallina y este código. No se preocupen, que en un momento, efectivamente, Gina va a mostrarles cómo va a ser esa dinámica. La idea es establecer una suerte de diálogo con todos ustedes, a pesar de esas limitaciones que nos que nos impone la distancia y que no sea yo la única que que hable.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=28.92,166.38"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/2","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Sí pueden ustedes acceder a este enlace con el código que aparece en el chat. Si vamos a tener, vamos a comenzar una serie de preguntas y vamos a ir comentando las para conocer un poco. Cuáles son sus expectativas respecto a esta sesión? Muy bien. Eficiencia, automatización? Robots. Cuál? Cuando piensan en inteligencia artificial estará la pregunta Cuál es la primera palabra que viene a su cabeza? Automatización, acceso. Aplicaciones. A ver, alguna alguna automatizaciones, sin duda la palabra que más se nos está destacando en esta está en esta nube de palabras. Efectivamente, la inteligencia artificial nos va a permitir automatizar la generación de metadatos para nuestros contenidos audiovisuales e. Y como consecuencia de ello, efectivamente, tendremos un mayor acceso a nuestras colecciones, lo que redundará en unas importantes mejoras, probablemente en la producción robots. Pero no sé si de un modo terrorífico o de o robots buenos, eso sí, no lo sé. Sí, efectivamente, cuando pensamos en inteligencia artificial, probablemente la palabra que más destaca es la de automatización. Tiene que ver con los retos. Cuando pensamos en inteligencia artificial, cuáles son los principales retos a los que nos tenemos que enfrentar los archivos? Cuáles son los retos en la implementación de inteligencia artificial en un archivo, en este caso que trabaja con contenidos audiovisuales? No sé si tenemos alguna respuesta ya llena, pero aquí está. Y pueden ustedes empezar a votar en que estamos efectivamente, efectivamente, digitalizar nuestro archivo no está digitalizado, no es es imposible efectivamente que podamos e que podamos acceder a las ventajas de la inteligencia artificial. Y no es, y esta no es una cuestión banal. La generación de datos nos permite hacer más accesibles nuestros archivos, pero eso implica otra serie de retos, no como es la gestión de ese acceso.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=167.1,338.86"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/3","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Por. Por, por distintos motivos. El tiempo. Sí, efectivamente, el tiempo, el tiempo desde múltiples puntos de vista, el tiempo que nos consume, trabajar con inteligencia artificial, el tiempo que ahorramos cuando trabajamos con inteligencia artificial. Las infraestructuras necesarias es una de las grandes ventajas de la inteligencia artificial, es que podemos trabajar con soluciones en la nube y esto hace que nuestras organizaciones no tengan que poner en marcha costosos sistemas que se queden rápidamente obsoletos. Lo que mis colegas, los ingenieros llaman hierros no son necesarios, son ciertos. El dinero sí. Efectivamente, el dinero en cualquier proyecto que tiene que ver con los archivos es un organizaci. El dinero suficiente para llevar a cabo proyectos. Serían esas básicamente momentos? Pues he. Si les parece. Sí, sí, efectivamente lo estoy viendo y es fundamental la gestión de los recursos humanos. Esto es algo que abordaremos en esta, en esta presentación. Estamos aquí viendo sus. Sus respuestas. Ese es un tema realmente interesante, no? Sí que sí. Como profesionales consideramos que la inteligencia artificial acabará con nuestro trabajo. Y veo que las opiniones son unánimes y que ustedes consideran que siempre será necesaria una revisión humana. Pero hay algunos otros, no sé si menos optimistas, que consideran que bueno, pues que nuestro trabajo, al menos tal y como lo entendemos hasta ahora, se acabará en los próximos 10 años. Bueno, veremos, veremos. No, no! Por aquí comentan que la inteligencia artificial no tendrá la capacidad de apreciar el valor de cada archivo y que será una herramienta más para usar. Efectivamente, buenos, buenos comentarios a través del chat. Pues genial, muchísimas gracias, yo creo que que con esto si les parece podemos comenzar. Bueno, pues la verdad es que cuando Perla Olivia me propuso hablar de inteligencia artificial hace ya casi un año, me pregunté sinceramente que podía yo aportar.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=341.64,513.9"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/4","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Cuando existe una cartelera llena de estrenos en las en los que la inteligencia artificial es la gran estrella, no está en todos los carteles, en todas las entrevistas, en todos los periódicos. Y tengo que confesar que que como espectadora. A veces desvío la atención de la escena y trato de entrever lo que pasa entre bambalinas, para así poder comprender el espectáculo en toda su complejidad. Estoy de acuerdo en que este es un con ustedes. Si piensan que es un problema de atención. Efectivamente, a veces los tengo, pero esto es lo que voy a tratar de hacer hoy aquí. Voy a distraer su atención de la escena principal y les voy a intentar mostrar toda la complejidad de un proyecto de inteligencia artificial en una empresa pública de radiodifusión como es Televisión Española. Si les parece, vamos a empezar por el argumento, el argumento es sencillo, a veces es trágico, a veces es cómico, a veces tiene finales inesperados, pero seguro que es un argumento compartido por muchos de ustedes en sus archivos, sean audiovisuales o no. En diciembre de 2020. Publicamos en Radio Televisión Española un expediente de licitación para un servicio de metadata datado en la nube que tenía como objeto la catalogación de 11000 horas de material de material de archivo. Este proyecto, este expediente, no surge de la nada, sino que es fruto en muy en gran medida de todo lo aprendido. Gracias a nuestra colaboración con la Universidad de Zaragoza, con quien hemos organizado dos retos a la comunidad científica internacional que nos han permitido conocer el estado actual de las de las tecnologías. En la redacción de este proyecto corrió a cargo de un equipo multidisciplinar en el que estaban representadas distintas áreas de la corporación, el Área de Innovación, que es quien lidera el proyecto.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=514.95,655.36"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/5","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Mi compañera la subdirectora de Innovación, Carmen Pérez, el área de sistemas informáticos y por supuesto y por supuesto, el archivo. En En este expediente se recogía las características y condiciones del contrato, en primer lugar queríamos un servicio la nube, no queríamos hierros. Queríamos tener la capacidad para cambiar de proveedor de inteligencia artificial en función de las mejoras que se produjeran en la tecnología. Es decir, no queríamos casarnos con nadie. Desde un punto de vista tecnológico y mucho menos que pusiera sus maletas en nuestra casa. Si me permiten este especimen, definimos las tecnologías que tenían que estar implicadas tecnologías del habla, procesamiento del lenguaje natural y visión artificial. Y algo importante. Desde el principio establecimos criterios de calidad que debían mantenerse constantes durante todo el proyecto. Este proyecto se ha articulado en dos fases una primera fase de configuración y ajuste que duró 4 meses, durante la cual se definió el flujo de trabajo y se se desarrolló la interfaz de validación de los datos y se realizaron distintas pruebas con contenidos y una fase de servicio que durará 12 meses y que está actualmente en funcionamiento. Este es a grandes rasgos el guión y si les parece, voy a ir introduciendo uno a uno los personajes. Antes de esto, mostrarles el flujo de trabajo para que puedan tener una idea de como. De cómo se produce esto. Nosotros en Radiotelevisión Española tenemos un gestor documental que se llama Arca. Es la herramienta de trabajo habitual de los documentalistas del fondo documental, tanto los que se dedican a las labores de análisis como a los que se dedican a las labores de atención a usuarios. Este es el punto de partida para seleccionar los contenidos que van a metadatos de manera automática. A través de una sencilla búsqueda se seleccionan estos contenidos y a través de una pasarela se envían a hub scene, que es como pueden.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=656.35,799.56"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/6","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Como habrán adivinado, el La empresa adjudicataria del contrato realiza un registro de este contenido en su mam y lo envía al motor de inteligencia artificial. En este caso, la inteligencia artificial la proporciona ETIC Media, que es otra empresa española que es muy potente en procesamiento en tecnologías de habla. Y media analiza estos datos. Perdón analiza estos contenidos, los devuelve a VCL, donde se produce el proceso de validación aquí documentalistas de radio Televisión Española realizan un control de calidad de los metadatos generados automáticamente y se consideran que son correctos, que son adecuados o que cumplen unos estándares de calidad. Son enviados e son incorporados a nuestro gestor documental Arca. Este es, a grandes rasgos, perdón, el flujo de trabajo y ahora, como les decía, una vez presentado el argumento, voy a presentar a los principales actores. Por supuesto, tenemos a la gran diva, la inteligencia artificial. Cuando hablamos de inteligencia artificial en este proyecto, hablamos de tecnologías concretas de estas tecnologías que antes mencionaba e y para. Y esta tarde hablaremos de qué nos puede ofrecer, pero hablaremos también de cuáles son las limitaciones. Vamos a empezar con el reconocimiento automático y la transcripción de voz a texto, y les voy a explicar de forma muy breve cuál es el funcionamiento de la tecnología que proporciona ETIC Media en este ámbito. ETIC Media ha desarrollado un algoritmo que analiza las pistas de audio del contenido que queremos analizar y determina cuál es la el nivel de la calidad. Determina cuál es la pista de audio con mayor calidad. Una vez que la seleccionado entra en juego el reconocedor automático. Un reconocedor automático tiene dos partes. Cualquier reconocedor automático tiene dos partes un modelo acústico. Que genera una lista de fonemas y un modelo de lenguaje que predice la frase más probable en función de esta lista de fonemas.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=800.52,965.54"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/7","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Evidentemente, el modelo de lenguaje varía en función del idioma. Una vez que este trabajo está hecho, el siguiente paso es la segmentación. El canal de audio se segmenta o de Ariza por hablantes y los segmentos de voz correspondientes a un mismo hablante se agrupan. Media para este fin ha desarrollado distintos procesadores adaptados a distintos tipos de voz, de forma que obtiene el mejor análisis posible en función de las características de esta voz. Finalmente, la voz se transcribe a texto, se capitaliza y se puntúa. Este es un proceso aparentemente sencillo, pero debemos tener en cuenta distintos factores. El primero de ellos es que estos sistemas están basados en redes neuronales de aprendizaje y estas redes neuronales de aprendizaje requieren de grandes, enormes cantidades de datos para hacer su trabajo para que se hagan una idea. Entrenar un reconocedor automático genérico para, por ejemplo, programas informativos noticiarios requiere de 500 horas de audio perfectamente transcritas. Y 10 millones de frases de texto gramaticalmente correctas. Solo para empezar. Si quisiéramos adaptar ese reconocedor genérico a, digamos, informativos de carácter regional, necesitaríamos como mínimo 100 horas adicionales perfectamente transcritas y 2 millones de frases de texto. Eso sólo para conseguir transcripciones más o menos coherentes, pero para la parte de segmentación para hablantes a la que antes hacía referencia, necesitaríamos hasta quinientas horas perfectamente etiquetadas, es decir, quinientas horas en las que fuéramos marcando cada cambio de hablante para que el sistema entrenara. Parece que tiene que estudiar mucho, entonces no para para aprender. Esto quiere decir que, por una parte, necesitamos grandes cantidades de datos. Y estas cantidades de datos en español cada vez son más mayores, pero de momento nos sigue ganando el inglés. De ahí que funcionen mejor los reconoce dores con e con inglés. Pero también tenemos limitaciones que tienen que ver con el propio estado actual de las tecnologías en las condiciones acústicas, como veremos, afectan y de manera muy importante, al rendimiento del reconocedor y a la realización.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=968.71,1146.01"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/8","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Por ejemplo, si tenemos muchísimo ruido ambiente, si tenemos músicas muy altas. Si los hablantes no respetan su turno o utilizan jerga o hablan demasiado deprisa, el reconocedor no va a funcionar bien. Y luego la capitalización y la puntuación es lo que hace que las frases sean mucho más comprensibles y que son tan esenciales. Bueno, pues no es un problema que esté todavía bien resuelto y se esperan avances o grandes avances en los próximos dos años. De acuerdo. Otra tecnología implicada en este proyecto es el procesamiento del lenguaje natural, en nuestro caso, el algoritmo analiza la función de cada palabra en el texto y en función de de esta y en función de esto extrae las entidades e y las clasifica como personas, organizaciones, lugares. Esas son las más sencillas no reconocer una persona, una organización, un lugar. Pero adicionalmente el sistema debe ser capaz de detectar eventos. Nos parecía relevante que fuera capaz de identificar Sé ser Festival de Cine de San Sebastián o o que? O que reconociera fechas concretas un siglo o un periodo, o títulos de libros o títulos de películas, etc.. En este caso, las limitaciones del procesamiento del lenguaje natural están relacionadas con la calidad de la transcripción. Si la transcripción no es buena, el lar el reconocimiento de palabras clave no lo es. La falta de conjuntos de datos para el entrenamiento en español, que incide en una menor detección de entidades. Es decir, necesitaríamos un poco siguiendo las cifras que antes comentábamos, necesitaríamos enormes cantidades de texto perfectamente etiquetado en el que cada palabra en el que se indicará cuál es la función o qué clase de entidad es cada palabra. Y y aquí juega un poco en nuestro caso, en nuestra contra, la ambigüedad del lenguaje natural que va a incidir en la clasificación de las entidades.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=1146.88,1293.05"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/9","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Si yo les pongo un ejemplo lo van a comprender rápidamente. Si yo si extraemos la siguiente frase de un de un informativo e. E España se enfrenta a Suiza en el próximo Mundial de Fútbol. El sistema en muchas ocasiones dirá que España y Suiza, en lugar de ser, digamos, selecciones de fútbol, en realidad son lugares. O Madrid. Madrid limita el tráfico en el centro de Madrid. Es un lugar? No, pero en este caso está actuando, digamos, como sujeto, porque es el Ayuntamiento o el Gobierno de Madrid que limita el el. El tráfico no es, por tanto, la ambigüedad del lenguaje natural. Va a incidir también en la clasificación de entidades. Y por otra parte, hemos detectado que estos sistemas son capaces de devolvernos un número de entidades y de palabras clave mucho mayor del que solemos gestionar en un entorno manual. Con lo cual. Tenemos que aprender todavía cómo gestionar esa proliferación de datos, no apegarnos al trabajo manual, pero tampoco dejar que que estaba ancha de datos nos sature. Tendríamos que encontrar un punto medio que nos permitiera descubrir nuevos usos sin llegar a una avalancha de datos que haga imposible hacer nuestro trabajo. Tercera tecnología en juego, la visión artificial. Y aquí he de decir que tenemos importantes esperanzas, especialmente en el análisis de aquellos contenidos en los que la capa de audio no tiene un papel esencial. Estoy pensando en rodajes, en planos de recurso cuando un cámara sale a cubrir una rueda de prensa, pero luego graba en exteriores. Bueno, pues cuando no hay audio es muy interesante que seamos capaces de describir esa imagen. Y en este proyecto en concreto estamos trabajando con reconocimiento y segmentación de escenas. Es decir, que el sistema sea capaz de indicar e de describir sencillamente una escena si es interior y exterior, si es una oficina, si es una playa, si es una montaña nevada, si es invierno o es verano, es de noche o es de día.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=1293.55,1460.48"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/10","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"El reconocimiento de personas y de identidades, y esto es interesante. La mayor parte de los sistemas son capaces de reconocer que en una imagen hay una persona, pero no necesariamente tiene que ser capaz de ponerle un nombre y un apellido a esa persona. Y esto no es un problema que se resuelva fácilmente tampoco. Y por supuesto, reconocimiento de objetos. Aquí todo es mucho más fácil. Sin que perdamos de vista, por otra parte, que la visión artificial es sobre todo en lo que tiene que ver con reconocimiento de personas y de entidades. Tiene que utilizar el audio también para desambiguación. Y ahora les daré algunos detalles más sobre esto. Que en este sentido, las limitaciones tienen que ver fundamentalmente con la resolución y los formatos de imagen, cuanto más baja sea la calidad de la imagen con la que trabajemos, más difícil se lo vamos a poner a estos sistemas. En el caso del reconocimiento facial, las dificultades están en caras demasiado pequeñas y en pantallas divididas, en escenas en exterior donde las poses y las expresiones pueden ser mucho más variadas e no se comporta del mismo modo. Un entrevistado en un plató de televisión que. Bueno, pues que. Que. Un entrevistado que está en una huerta hablando de los productos de temporada en otoño. Y por supuesto, tenemos el problema de las caras y de las voces que son parecidas y la posibilidad de confundir una persona con otra. Em. En el caso del reconocimiento de identidad, son necesarios datos que nos permitan solucionar el problema a nivel local. Podemos trabajar con grandes proveedores de inteligencia artificial que muy probablemente desconozcan quienes son nuestros políticos locales o muchas celebridades locales. Me acuerdo muy bien, pues vamos a continuar, si les parece con. Una vez que hemos presentado a la gran diva, vamos a continuar con.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=1461.68,1602.09"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/11","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Los secundarios. Estamos hablando en este caso. De actores secundarios cuyo papel pasa prácticamente desapercibido, pero sin los cuales el argumento de la obra carece por completo de sentido y en el caso de un proyecto de inteligencia artificial, estos secundarios esenciales son los propios contenidos. Parece obvio, pero yo creo que a medida que avancemos en la presentación descubriremos que hay cosas que merece la pena tener en cuenta. Sin duda alguna, una de las grandes complejidades de este proyecto es la variedad y la diversidad de formatos, temas y fechas de producción con las que estamos trabajando. Este no es un proyecto que esté pegado a la producción. Estamos trabajando con con materiales muy diversos. Por ejemplo, estamos trabajando con material de cine seleccionado. Estamos trabajando con material que procede del Archivo de Cine de Televisión Española, que tanto noticias filmadas desde principios de los años 60 como programas emitidos hasta finales de los 80. Esta es una muestra de ello, es material originalmente rodado en cine, que se ha recuperado y se ha digitalizado, pero del que apenas teníamos un título en nada, en una lata y algunos datos más en los catálogos manuales. En cuanto a las noticias filmadas, estamos obteniendo muy buenos resultados, aunque las expectativas eran muy bajas, es decir, nuestros proveedores no estaban seguros de que sus de que sus algoritmos fueran a funcionar correctamente. Pero lo cierto es que en los orígenes de la televisión, tanto las personas que aparecían en pantalla como los voy a decir esto sin que suene mal. Las personas que aparecían en pantalla se preocupaban de hablar claramente, de entonar los periodistas, en este caso muchos de ellos, cuando tenían una audición perfecta, preciosa y además se cuidaba muchísimo la forma en la que se captaba el sonido, con lo cual hemos obtenido resultados.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=1604.11,1762.83"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/12","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Mucho mejores de los que esperábamos. En el caso de los programas, lo que nos enfrentamos a una gran diversidad de temáticas, que tenemos un buen conjunto de programas que tienen que ver con artes y tradiciones populares, folklore y divulgación científica. Qué sucede? Que los contenidos que estamos analizando son más antiguos que el conjunto de datos que se ha utilizado para el entrenamiento. De acuerdo. Es decir, sus referencias estos como. Como, cuando. Como. Cuando las personas. Como cuando hablamos con alguien que tiene 30 años menos que nosotros. Sus referentes culturales no son los nuestros. Sus imágenes no son las mismas. Sus lecturas, sus músicas no son las mismas. Es un poco lo que le pasa a nuestro material relacionado con el algoritmo, con el algoritmo inteligente. Entonces, dependiendo también de la temática, el rendimiento del sistema se va, se va, se va a ver afectado. Eso es curioso también que los contenidos relacionados con el campo, la agricultura, los oficios tradicionales o las costumbres de antaño no están mis representadas en el conjunto de datos y por tanto, esto es algo que una de nuestras compañeras ha calificado como que le falta, que le falta pueblo, no al sistema. Le falta aprender que es una gozada, que es una forja, que es un canasto. Bueno, pues a ese tipo de cultura popular y otro reto importante y que se pone muy de manifiesto en estos contenidos por el otro, por el carácter folclórico de muchos de ellos, son las músicas y los acentos de la español hablado en España. Eso, desde luego, constituye un verdadero reto para nuestros. Para nuestro reconocedor y por supuesto, incide en el reconocimiento de entidades, otro grupo relevante de material con el que estamos trabajando son los programas emitidos y como sucede en el auto lesionado, existe una gran cantidad de formatos y en el material que originan que inicialmente habíamos seleccionado los programas en los que estamos obteniendo un mejor rendimiento, son los programas de tipo informativo producidos en los años 90 por cercanía al conjunto de datos, al conjunto de datos que han que se han usado para el entrenamiento.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=1764.58,1920.94"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/13","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Es importante destacar que son programas en los que predomina la locución profesional en estudio o el de los periodistas en las piezas. Si hablamos de totales, tomando tomados en exteriores, con ruido, ambiente y habla espontánea, pues hemos de decir que la mayor parte de los errores del reconocedor se concentran aquí. Otro de los problemas a los que nos enfrentamos es que en programas de tipo magazine de duración muy larga, la segmentación por hablantes y el número de entidades detectado detectadas que a veces son irrelevantes, nombres sin un apellido nos generan muchas dudas respecto a cómo proceder. En este sentido, tengo que ser absolutamente honesta. Y otro de los problemas que hemos detectado es que cuando se alternan distintas secciones en programas de muy larga duración, como conexiones en directo, debates en el estudio, actuaciones musicales o pues el rendimiento del sistema no es tan óptimo como esperábamos. Y algo por lo que apostamos desde el principio cuando comenzamos este proyecto fue el material original y fundamentalmente las entrevistas. Este es un tema, una clase de material que ha sido tradicionalmente poco explotado en el pasado desde el punto de vista del análisis documental. La falta de recursos ha hecho que identifiquemos a los protagonistas de la entrevista y los temas principales que trata y que dejemos a los guionistas, a los realizadores y a los redactores. La labor un poco ardua de volver sobre estas entrevistas una vez que se han rodado para tomar tiempos y tomar total es. Así que nos pareció que este era un material que merecía la pena incluir en el proyecto. Y bueno. Consideramos que el switch del reconocimiento de audio a texto era era una herramienta muy potente. En este caso nos enfrentamos a problemas que tienen que ver con las fronteras entre los hablantes cuando se alternan preguntas y respuestas.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=1922.53,2068.409"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/14","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Suele ser habitual que parte de la pregunta o de la respuesta se atribuya al entrevistador o el final de la pregunta al entrevistado. Y en términos generales, cuando se captan las preguntas como sonido ambiente, es muy difícil que el reconocedor sea capaz de transcribir. Y, por supuesto, el resto de las consideraciones que hemos hecho hasta ahora son aplicables a este material original. Diálogos ordenados que dificultan el trabajo de reconocedor. Los distintos acentos del español. El ruido ambiente. El lenguaje coloquial son obstáculos. Si me permiten la metáfora. Obstáculos que que. Que hacen que el trabajo del reconocedor sea más complicado. Y llegamos a cualquier elemento esencial en una obra teatral. La crítica. En nuestro caso. Trabajamos con un público realmente exigente para el que el concepto de calidad es inseparable de su trabajo. Los archiveros, los bibliotecarios, los documentalistas somos exigentes. Tendemos a. La perfección, si es posible. Y procuramos que medimos en gran medida. Todo lo que hacemos en términos de su repercusión en la recuperación de información. Y es cierto que proyectos como este pueden suscitar muchísimas dudas respecto a las consecuencias que puede tener la recuperación, la entrada masiva de datos en los sistemas de gestión documental. Es por ese motivo que desde el principio establecimos unos parámetros de calidad, tanto a la hora de de la adjudicación del proyecto y esto voy a explicarlo bien. Desde el principio diseñamos un test, una prueba técnica que nos asegurara que todas las empresas limitadoras cumplían unos criterios de calidad mínimos como paso previo a la fase de concurso administrativo. Es decir, si su tecnología no era solvente, no podían pasar a la siguiente fase. Este cuadro muestra de forma muy exhaustiva los criterios de calidad que se definieron y, como les decía, se definieron los criterios de calidad.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=2069.76,2239.25"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/15","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"En una prueba técnica previa a la adjudicación de contrato, se establecieron otros niveles de calidad para la fase de configuración y ajuste. Sin em. De forma que si la empresa adjudicataria no cumplía también esos criterios de calidad, no se pasaría a la fase de servicio y finalmente unos criterios o unos niveles de calidad que tienen que cumplirse durante todo el periodo de servicio, en este caso 12 meses. De tal forma que si alguno de estos parámetros no se cumpliera, podríamos pedir la sustitución del proveedor de inteligencia artificial por otro. Hemos establecido parámetros de calidad distintos para el tratamiento del audio y para el tratamiento del video. En el caso del tratamiento de audio, en nuestra experiencia nos ha dicho que las transcripciones que un sistema para entrar en producción requiere de tasas de error por palabra. Estas where would read por debajo del 20 por ciento, por debajo de 10 por ciento o por debajo del 25 por ciento en función del material del que estemos hablando. Acuerdo. Lo mismo la tasa de error por palabras, teniendo en cuenta la puntuación e puntualización it capitalización e. Es decir. Bueno, esto es un problema que como les mencionaba antes, sigue sin estar resuelto, pero que bueno, no impide la recuperación, pero sí en la comprensión de la transcripción. Lo mismo el ver es la tasa de realización por hablantes y se calcula en función de una serie de parámetros, el número de de errores de hablantes que no se detecta o los segmentos de habla que se asignan incorrectamente. Y hemos establecido también criterios de calidad para el reconocimiento de identidades, la extracción de palabras clave y la clasificación del contenido en lo que se refiere al tratamiento del vídeo. Cabe mencionar que de estas once mil horas a las que hacía referencia al principio del proyecto, sólo vamos a aplicar visión artificial sobre un 20 por ciento, porque tenemos una menor experiencia en este tema y queremos ser más cuidados.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=2240.45,2390.75"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/16","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Queremos ser cuidadosos, pero hemos establecido algunos parámetros de calidad que tienen que ver esencialmente con el reconocimiento de caracteres que se aplicaría a los rótulos y a los subtítulos. Y con el reconocimiento facial, que no de identidad, porque el reconocimiento de identidad requiere de un entrenamiento. No requeriría, por nuestra parte, que definiera mos. Por ejemplo, qué personalidades queremos reconocer en esta colección de contenidos con la que estamos trabajando. Por tanto, nos importa y mucho que los datos que entren en nuestro gestor documental tengan unos niveles de calidad mínimos. Esto pensábamos que era uno de los talones de Aquiles que del proyecto y algo que podía hacer fracasar por completo el proyecto. Así que fuimos, incluso si quieren, excesivamente celosos en este en este punto. Pero la inteligencia artificial. Esto es algo que mencionamos al mencionado en alguno de ustedes al principio de esta conferencia. Espero que sigan ahí. Yo de momento sigo viendo solamente mi pantalla. Estamos atentos, maestra, me hace mucha gracia. Llena requiere de cierta reorganización. No sé si a ustedes les pasa, pero cuando vi esta imagen y por cierto, luego les comentaré de dónde las he obtenido. Em. Pensé en que esto se aproxima mucho al a la expresión castellana de hacer el pino con las orejas, no? Nosotros a veces tenemos la sensación de que hacemos malabares para hacer nuestro trabajo, no? Eh? Y efectivamente, la inteligencia artificial requiere de reorganización. Pero es que en el caso concreto de Radiotelevisión Española y creo que. Que. Que seguro que en el caso de muchas de las organizaciones a las que ustedes representan el trabajo a medio largo plazo va a necesitar de una reorganización, por lo menos en la parte pública, no? Cada vez tenemos menos recursos, pero es que la inteligencia artificial o estas tecnologías son una realidad y podemos ponernos de espaldas a ellas y dejar que pasen por encima de nosotros.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=2391.29,2544.56"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/17","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Pero esa es la cuestión, van a pasar por encima de nosotros y estamos en un momento en el que podemos incidir, que podemos influir de alguna manera en la evolución de esas tecnologías. Podemos pedir que sean más, que se adapten más a nuestro trabajo y a nuestras necesidades, con lo cual tenemos que estar ahí, no tenemos que darle la espalda. Y para esto es muy necesario que los proyectos de inteligencia artificial cuenten con el respaldo de la dirección de la alta dirección de las organizaciones y que impliquen además a las personas responsables de la organización, del trabajo y de los flujos del trabajo. Es importante, además, disponer de un equipo de élite. Y yo he de confesar con cierto pudor que este proyecto ha tenido el respaldo de la dirección, de la dirección, del Fondo Documental de Radio Televisión Española, pero también el respaldo de la Dirección de Innovación. De Radio, Televisión Española y que además contamos con un equipo de élite, con un equipo que representa a la parte de informativos, a la parte de programas, que representa el trabajo de catalogación y el trabajo de atención a usuarios, y que cada una de las personas pocas que están implicadas en este proyecto aporta un valor increíble al trabajo que estamos haciendo. Y en ese sentido estoy súper agradecida porque están haciendo no sólo un trabajo increíble, sino además mucho más de lo que les corresponde. Esta visión multitarea del proyecto y ese equipo de élite son indispensables porque deben ser los encargados después de transmitir el mensaje adecuado al resto de nuestros compañeros, no a los de los profesionales del archivo. Y ellos son los que en este momento tienen el conocimiento y la forma más adecuada de trabajar y son los que tienen en su mano hacer que el boca a boca de esta gran representación que es la inteligencia artificial, funcione y que podamos llenar el teatro en cada función con un público que al menos no tenga, no venga predispuesto e.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=2545.46,2687.44"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/18","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"A la protesta no o o al lanzamiento de tomates e. Esta es nuestra visión de la inteligencia artificial, espero que no les haya parecido excesivamente cruda y sí que me gustaría. Ummm. Bueno, pues empezar a responder a sus preguntas, comentar y conocer sus impresiones. Incluso luego, si tenemos tiempo. Creo que sería estupendo que la doctora Perla Olivia Rodríguez pudiera despedir como se merece este ciclo de le fue binarios. Y bueno, espero haber estado a la altura de sus expectativas. Llena de lágrimas, sí, alegres por nuestra. Tenemos unas preguntas, bueno, por supuesto. Felicitaciones. Y a mi me parece muy bonita esta metáfora con la que usted empezó del teatro para darnos a conocer este tema que es muy interesante y que tiene momentos climáticos y momentos de desolación, pero que al final de cuenta, pues pareciera que la inteligencia artificial puede contribuir para mejorar algunos de los procesos de los archivos. Bueno, aquí tenemos un par de preguntas. La primera nos dicen Eduardo, cuánto es lo recomendable de DPI para los archivos audiovisuales y para que funcionen bien en software de inteligencia artificial? Vale, bueno, sí, sí, estoy entendiendo bien la pregunta. Las cifras más o menos son las que las que hemos estado manejando. En este caso no estamos hablando de software, estamos hablando de APIs, de soluciones cloud y de algoritmos. En nuestro caso, nosotros no estamos trabajando con un software. Estamos trabajando con, con, con. con APIs que nos proporcionan otros proveedores y. Y esa es la pregunta tiene que no sé si tiene que ver con la resolución de la imagen y de la imagen. Uf! Es una buena pregunta a la que creo que voy a contestar de forma absolutamente incorrecta. Pero tengo el dato. Si me contacta. Si me contacta por Eduardo, si, si me contacta por, por, por Twitter o por LinkedIn o por correo electronico, le puedo le puedo dar la información exacta.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=2689.3,2865.38"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/19","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Ok, muy bien, me decía, muchas gracias, otra pregunta nos comentan en tiene planeado Radiotelevisión Española que se utilice la inteligencia artificial para otros procesos además de la catalogación? En este momento, en radio Televisión Española en marcha distintos proyectos que y que. Que suponen el uso de la inteligencia artificial e. Todos ellos están impulsados por la. Por la dirección de Innovación. Y uno de ellos, por ejemplo, ha sido la generación automática de noticias en las elecciones municipales. De esta forma, lo que se lo que se persigue es dar cobertura desde el punto de vista informativo e lo más local y concreta posible. Hay además otros proyectos muy interesantes que tienen que ver con la accesibilidad y que tienen que ver con la generación automática de subtítulos. No sólo en español, sino en lenguas cooficiales como el catalán, el euskera o el gallego y que ya están en marcha. Subtitulado en tiempo real hay otros proyectos que tienen que ver con los objetos, con los con, con los cerdos, con los holandeses, con los objetivos de desarrollo sostenible. Es decir, no solo se aplica en el archivo, pero también en distintas, en distintas áreas de la corporación. Entonces, si hay una, hay una apuesta por por estar al tanto de estas tecnologías y aplicarlas lo mejor posible. Gracias a esta mesa nos pregunta cuánto tiempo les ha tomado y llevar este. Este trabajo que ha presentado ahora es la vida entera, ha sido un camino largo y tortuoso. Ejem, que bueno. Como les decía, en 2017 empezamos a dar nuestros primeros pasos gracias a la cátedra de radio Televisión Española con la Universidad de Zaragoza. Hicimos distintas pruebas de concepto e organizamos estos retos que nos han permitido, como les decía, conocer cuál cuál es el estado actual de la tecnología, comprender dónde funciona, dónde no funciona.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=2867.37,3009.45"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/20","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"La redacción del expediente nos llevó una una pandemia. Pero yo diría que desde que finalizó la redacción del expediente hasta que se adjudicó y empezamos a trabajar, pasó por lo menos, no sé, un año. Pero ha sido mucho, mucho trabajo, mucho trabajo antes, la verdad, mucho. Ok, nos comenta Armando el trabajo que realizan las empresas de inteligencia artificial y que ustedes contratan, qué tan lejos en cuanto a porcentaje de efectividad están de los software comerciales? Bueno, a ver, en el caso de la tecnología que estamos utilizando. Voy a. Voy a aclarar un poco el rol de cada una de las empresas que están trabajando con nosotros ahora. VC n es un integrador, tiene su propio man y lo que hace es integrar inteligencia artificial de terceros. Es decir, VPN se podría integrar con Google, se podría entregar, integrar con Azure, con Amazon y se integra de hecho con ETIC media y media es quien está proporcionando la inteligencia artificial. De acuerdo. Entonces la diferencia entre el servicio que puede ofrecer en este caso VPN y Ética media media VPN con el servicio que puede ofrecer Google es primero ETIC Media es una empresa especializada en tecnologías del habla en español y eso ya es un es un plus. En segundo lugar, el trabajar con una solución en la nube. Cómo sería trabajar con Google o con Amazon? No nos permitiría ningún tipo de flexibilidad. Y les voy a poner un ejemplo muy claro. Nosotros estamos trabajando con E. Al principio les mencionaba que Tag Media analiza su algoritmo, analiza dos parámetros la calidad del del canal de audio y la cantidad de voz que hay en ese canal. De acuerdo en en este momento, tal y como funcionaba el sistema, encontrábamos que determinados contenidos per montajes esencialmente en los que las pistas de audio estaban separadas, la pista que se analizaba era la que tenía mayor calidad, pero no la que tenía más cantidad de audio.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=3010.53,3159.65"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/21","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Por lo tanto, estábamos perdiendo información en esa transcripción. El trabajar con una, con una, con una empresa que no está en la nube, que no es, que es una persona cuyo CEO le pones cara con quién hablas e incluso antes con quién podrías tomar un café. Ahora no te da una flexibilidad enorme. Algo que no puede ofrecer una, una, una gran compañía. De acuerdo. Muy bien, maestra, hay muchas preguntas más, se han sumado muchas más. Nos gustaría poder dar oportunidad para para contestar a todas. Yo creo que podemos responder una más, dice. Existe algún modelo normalizado de cómo utilizar la inteligencia artificial en cualquier tipo de archivos? Nos comenta Sofía, un modelo normalizado. E Yo creo que todavía no estamos en el camino de la estandarización, en el uso de la inteligencia artificial. Creo que cree que la aplicación de esas tecnologías tiene que ser muy, muy pensada a problemas concretos y buscando soluciones con soluciones concretas. Luis me decía muchas gracias y gracias a todas y a todos por estar con nosotros en este webinar le mandan muchas felicitaciones en la explicación, es muy interesante y bueno también agradecer mucho por Word y que usted haya podido compartir su conocimiento en este tema. Muchas gracias. Muchas gracias a todos y a todas por estar esta tarde aquí, espero que estas reflexiones hayan sido útiles y que no les hayan desalentado en el uso de la inteligencia artificial, porque bueno, yo creo que es un camino que merece la pena. Muchas gracias Maestro, por su tiempo, por su presentación y si les parece bien, damos la voz a la doctora Perla para que nos de unas palabras de despedida. Gracias. Muchas gracias en muy buenas tardes desde la Ciudad de México. Realmente me sumo a las felicitaciones para Virginia Virginia.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=3161.95,3303.42"},{"id":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167/transcript/34813/annotation/22","type":"Annotation","motivation":"transcribing","body":{"type":"TextualBody","value":"Muchas gracias. Cerramos. Como lo decía en su oportunidad con broche de oro, Virginia es yo creo que una de las especialistas más destacadas en inteligencia artificial en archivos audiovisuales y esto es muy honrada y agradecida por haber cerrado este ciclo de webinar que organiza la verdad. También agradezco a la maestra Georgina por esta excelente moderación y también a todos ustedes, porque la Red Iberoamericana de Preservación Digital, Sonora y Audiovisual de Archivos Sonoros y Audiovisuales en realidad fue creada a través de diferentes grupos de investigación para crear esto un espacio de comunicación entre académicos y profesionales de los archivos. Gracias porque gracias también a su participación puntual. Cada martes último de mes podemos escuchar a personas que y experiencias que dan cuenta de experiencias, de investigaciones y de temas relacionados con la preservación digital. Y es para mí, la verdad, un gusto saludarlos, desearles este fin de año siga terminando bien, con mucha, mucha luz, con muchas alegrías y que el próximo año nos hagan favor de buscar a través de redes sociales precisamente las nuevas iniciativas que los diferentes investigadores que formamos la Red Dasa vamos a generar. Vamos a diseñar para ustedes. Queremos dar un paso más y por supuesto, seguir incidiendo en hablar un lenguaje común en Iberoamérica en torno a la preservación digital, sonora y audiovisual. Y antes de despedirme, también quiero agradecer a Pamela Binner de AMP. A Gina Georgina Sanabria y a Oscar Carrillo, que han estado detrás de las cámaras haciendo que lleguen los jueves de cada mes para ustedes. De nuevo, muchas gracias, nos vemos el próximo año. Y bueno, pues les deseo muchas, muchas cosas buenas, mucha felicidad y vamos a seguirnos cuidando. Y de nuevo gracias y mil gracias.","format":"text/plain"},"target":"https://weareavp.aviaryplatform.com/collections/122/collection_resources/57048/file/131167#t=3303.99,3446.66"}]}]}]}