Venezuela

Modelo de lenguaje a gran escala

Nos complace compartir los dos primeros modelos de la próxima generación de Llama, Meta Llama 3, disponibles para un amplio uso. Esta versión presenta modelos de lenguaje pre-entrenados y ajustados a las instrucciones con parámetros 8B y 70B, que pueden soportar una amplia variedad de casos de uso. Esta nueva generación de Llama demuestra un rendimiento de vanguardia en una amplia gama de parámetros de referencia del sector y ofrece nuevas funciones, como la mejora del razonamiento. Creemos que son los mejores modelos de código abierto de su clase. Y en apoyo de nuestro enfoque de código abierto de larga data, estamos poniendo Llama 3 en manos de la comunidad. Queremos dar paso a la próxima ola de innovación en IA en todos los ámbitos: desde aplicaciones hasta herramientas para desarrolladores, evaluaciones, optimizaciones de inferencia y mucho más.

Nuestros objetivos con Llama 3

Con Llama 3, nos propusimos construir los mejores modelos abiertos que estuvieran a la altura de los mejores modelos propietarios disponibles en la actualidad. Queríamos incorporar las devoluciones y comentarios de los desarrolladores para aumentar la utilidad general de Llama 3 y lo estamos haciendo sin dejar de liderar en el uso y despliegue responsables de los LLM. Adoptamos la ética del código abierto de publicar rápido  y con frecuencia para que la comunidad pueda acceder a estos modelos mientras aún están en desarrollo. Los modelos basados en texto que publicamos hoy son los primeros de la colección de modelos Llama 3. Nuestro objetivo en un futuro próximo es hacer que Llama 3 sea multilingüe y multimodal, que tenga un contexto más amplio y que siga mejorando el rendimiento general de las capacidades básicas de LLM, como el razonamiento y la codificación.

Rendimiento de vanguardia

Nuestros nuevos modelos Llama 3 de parámetros 8B y 70B suponen un gran salto con respecto a Llama 2 y establecen un nuevo estado del arte para los modelos LLM a esas escalas. Gracias a las mejoras en el pre-entrenamiento y el post-entrenamiento, nuestros modelos pre-entrenados y ajustados a las instrucciones son los mejores en la actualidad a la escala de parámetros de 8B y 70B. Las mejoras en nuestros procedimientos de post-entrenamiento redujeron sustancialmente las tasas de falsos rechazos, mejoraron la alineación y aumentaron la diversidad en las respuestas de los modelos. También hemos observado grandes mejoras en capacidades como el razonamiento, la generación de código y el seguimiento de instrucciones, lo que hace que Llama 3 sea más dirigible.

En el desarrollo de Llama 3, nos fijamos en el rendimiento del modelo en puntos de referencia estándar y también tratamos de optimizar el rendimiento para escenarios del mundo real. Para ello, desarrollamos un nuevo conjunto de evaluación humana de alta calidad. Este conjunto de evaluación contiene 1.800 preguntas que cubren 12 casos de uso clave: pedir consejo, lluvia de ideas, clasificación, respuesta a preguntas cerradas, codificación, escritura creativa, extracción, adopción de un personaje/persona, respuesta a preguntas abiertas, razonamiento, reescritura y resumen. Para evitar el sobreajuste accidental de nuestros modelos en este conjunto de evaluación, ni siquiera nuestros propios equipos de modelización tienen acceso a él. El siguiente gráfico muestra los resultados agregados de nuestras evaluaciones humanas en todas estas categorías e instrucciones con Claude Sonnet, Mistral Medium y GPT-3.5.

K

Share
Published by
K
Tags: MetaVR

Recent Posts

Hyundai lanza el Ioniq 3 Roadshow para presentar su nuevo modelo en 52 concesionarios de España

Por Eduardo Tobias Travieso Itriago Hyundai Motor España ha puesto en marcha el IONIQ 3…

4 horas ago

Bottegafuoriserie celebra su primer aniversario consolidando la alianza artesanal y de competición entre Alfa Romeo y Maserati

BOTTEGAFUORISERIE, el centro de excelencia automovilística creado conjuntamente por Alfa Romeo y Maserati dentro del…

4 horas ago

Samsung impulsa la integración de soluciones B2B en América Latina con la segunda edición del LATAM BIO Tech Seminar

Samsung Electronics celebró en Ciudad de Panamá la segunda edición del LATAM BIO Tech Seminar,…

4 horas ago

El mercado español de turismos de ocasión proyecta superar los 2,27 millones de unidades al cierre de 2026

Según las previsiones conjuntas de las patronales del sector GANVAM (distribuidores oficiales e independientes) y…

1 día ago

Alfa Romeo conmemora el 50 aniversario del icónico Alfa Romeo Sprint: diseño de Giugiaro y mecánica bóxer

Por Eduardo Travieso Itriago Alfa Romeo celebra el quincuagésimo aniversario de la presentación del Alfa…

1 día ago

Samsung presenta el nuevo Galaxy A08: autonomía de 6.000 mAh, funciones de IA y seis años de soporte en el segmento de entrada

Samsung Electronics ha anunciado el lanzamiento oficial del Galaxy A08, el nuevo integrante de la…

1 día ago