开源大模型Llama 3强势来袭！开源大模型，GPT-4遇强敌！

原文链接:全网首发，Meta Llama-3 全方位详解

扎克伯格：「有了 Llama 3，全世界就能拥有最智能的 AI。」

ChatGPT 拉开了大模型竞赛的序幕，Meta 似乎要后来居上了。

本周四，AI 领域迎来重大消息，Meta 正式发布了人们等待已久的开源大模型 Llama 3。

Llama 是由 Meta(FaceBook) AI 发布的一个开源项目，允许商用，影响力巨大。之前发布的 Llama 2，支持 4096 上下文，性能卓越，被认为是 GPT 系列最大的竞争对手（之一）。

Meta 发布了 Meta Llama 3 系列语言模型（LLM），具体包括一个 8B 模型和一个70 B模型在测试基准中，Llama 3 模型的表现相当出色，在实用性和安全性评估中，与那些市面上流行的闭源模型不相上下。

Llama 3

中国时间 2024 年 4 月 19 日 0 点 0 分，Meta Llama 3 发布。模型以开源形式提供，包含 8B 和 70B 两种参数规模，涵盖预训练和指令调优的变体。Llama 3 支持多种商业和研究用途，并已在多个行业标准测试中展示了其卓越的性能。

Llama 3 将数据和规模提升到新的高度。Meta 表示，Llama 3 是在两个定制的 24K GPU 集群上、基于超过 15T token 的数据上进行了训练 —— 相当于 Llama 2 数据集的 7 倍还多，代码数据相当于 Llama 2 的 4 倍。从而产生了迄今为止最强大的 Llama 模型，Llama 3 支持 8K 上下文长度，是 Llama 2 容量的两倍。

技术信息

Transformer 架构

Meta Llama 3 采用了优化的自回归 Transformer 架构，这种架构专为处理复杂的文本生成任务设计，能够有效提升生成文本的连贯性和相关性。

混合调优

模型结合了监督式微调（SFT）和带人类反馈的强化学习（RLHF），这种混合方法不仅增强了模型的帮助性，也提高了安全性，使得模型在实际应用中更加可靠和符合用户预期。

性能卓越

在多个行业标准基准测试中，特别是在对话类应用中，Meta Llama 3 的表现超过了许多现有的开源聊天模型，显示了其强大的应用潜力，具体后面细说。

训练数据

海量数据

Llama 3 使用了超过 15 万亿令牌的公开在线数据进行预训练，这些数据经过精选，确保模型训练的广泛性和高质量输出。

支持30 种语言

虽主要以英语为主，但预训练数据中包含超过 30 种语言的高质量非英语数据

政治正确

碳排放抵消

Meta 承诺通过其可持续性计划抵消预训练过程中产生的所有 CO2 排放（2290 吨 CO2 等效）。

很守规矩

Llama 3 的使用严格遵守法律法规，确保不被用于任何非法活动，同时强调了对知识产权和合规性的重视。Llama Guard 模型旨在为及时响应安全奠定基础，并可根据应用需求轻松微调以创建新的分类标准。作为起点，新版 Llama Guard 2 采用了最近公布的 MLCommons 分类标准。此外，CyberSecEval 2 在其前身的基础上进行了扩展，增加了对 LLM 允许滥用其代码解释器的倾向、攻击性网络安全能力以及对提示注入攻击的易感性的测量。最后，Meta 将推出代码盾（Code Shield），它增加了对 LLM 生成的不安全代码进行推理时过滤的支持。这可以降低不安全代码建议、代码解释器滥用预防和安全命令执行方面的风险。