凯发天生赢家一触即发科技
微信号:UnionScience
扫描关注,更多最新动态
彼时的 Meta 遭遇了苹果调整隐私策略和元宇宙预冷的双重打击ღ★◈ღ,股价一度跌至近 6 年来的谷底ღ★◈ღ,比 2021 年的最高价位缩水了三分之二有多ღ★◈ღ。
2023 年 Meta 做出了大量调整ღ★◈ღ,包括裁员和削减项目收缩成本ღ★◈ღ、押注短视频应用 Reelsღ★◈ღ,以及加大 AI 技术的投资ღ★◈ღ,利用 AI 来改进广告模型投放等等ღ★◈ღ。
其中ღ★◈ღ,AI 在 Meta「苏醒」的历程中扮演了非常重要的角色向日葵视频app污污网站ღ★◈ღ。今年以来 Meta 在 AI 领域持续发力ღ★◈ღ,不断地开源自家的 AI 研究成果ღ★◈ღ,从技术层面来看并不弱于 OpenAI 和 Google 等明星 AI 公司AG凯发下载ღ★◈ღ。
就在今天ღ★◈ღ,Meta 发布了开源大模型 Llama 2ღ★◈ღ,引爆了 AI 圈ღ★◈ღ:Llama 2 不仅性能不输 GPT-3ღ★◈ღ,而且免费ღ★◈ღ、开源ღ★◈ღ,还可商用AG凯发下载ღ★◈ღ!
Llama 2 是 Meta 今年 3 月初发布的 Llama 模型的后续版本向日葵视频app污污网站ღ★◈ღ,Llama 因为体积小ღ★◈ღ、性能强等优点ღ★◈ღ,在 AI 社区得到了广泛的好评ღ★◈ღ,被认为是推动 AI 研究和开发的重要工具ღ★◈ღ。
Meta AI 今天一同发布了大型语言模型 Llama 2 及其调优版本 Llama 2-Chatღ★◈ღ,相比 Llama 1ღ★◈ღ,新版Llama 2 在模型规模ღ★◈ღ、训练数据量ღ★◈ღ、模型结构等多个方面进行了全面提升向日葵视频app污污网站ღ★◈ღ。
Llama 2 家族包含多个模型规模ღ★◈ღ,包括 70 亿ღ★◈ღ、130 亿ღ★◈ღ、340 亿(暂未发布)和 700 亿参数量的多个版本ღ★◈ღ,覆盖了不同的应用场景需求ღ★◈ღ。
首先ღ★◈ღ,训练数据量增加了 40%ღ★◈ღ,从 Llama 1 的 1.4 万亿个 token 增至 2 万亿个 tokenღ★◈ღ。训练数据中的文本来源更多样化ღ★◈ღ,包括书籍ღ★◈ღ、论文ღ★◈ღ、新闻报道ღ★◈ღ、网页内容等在线公开来源ღ★◈ღ。
Llama 2 还将单条文本的最大长度从 2048 个 token 提升至 4096 个 tokenღ★◈ღ,更长的文本输入意味着可以包含更多上下文信息ღ★◈ღ,提升模型的理解能力ღ★◈ღ。
Llama 2 在更大模型的版本中采用了「分组 Attention」机制ღ★◈ღ,可以显著降低计算和内存需求ღ★◈ღ,提升推理速度ღ★◈ღ。
除了规模和结构的改进ღ★◈ღ,Llama 2 在多个自然语言处理基准测试上的结果也优于 Llama 1 和其他开源大模型向日葵视频app污污网站ღ★◈ღ,显示出在知识表达ღ★◈ღ、推理ღ★◈ღ、对话等能力上的提升ღ★◈ღ。
Meta 研究人员开发了全新的调优方案ღ★◈ღ,通过监督微调和强化学习相结合的方式不断提升 Llama 2-Chat 的性能AG凯发下载ღ★◈ღ。
举个例子ღ★◈ღ,Llama 2-Chat 的理解能力和表达能力都上了一个台阶ღ★◈ღ,现在可以只用 Emoji 和你聊天ღ★◈ღ,
这是怎么做到的呢?Meta 的研究人员先利用人工标注数据进行监督微调ღ★◈ღ,使模型初步符合人类偏好ღ★◈ღ,兼顾有用性和安全性ღ★◈ღ,为后续的强化学习奠定了良好基础ღ★◈ღ。
然后ღ★◈ღ,利用强化学习中的「拒绝采样」策略进行迭代调优ღ★◈ღ。该策略为每个输入文本生成多个响应ღ★◈ღ,利用训练好的「奖励模型」选择最佳响应ღ★◈ღ,再利用选择后的响应样本微调模型ღ★◈ღ。
简单来说ღ★◈ღ,Llama 2 的性能和安全性在开源大模型里面都是首屈一指的存在ღ★◈ღ,更详细的技术细节可以参考 Meta 公布的技术论文ღ★◈ღ。
目前 Meta 已在 GitHub 上开源了 Llama 2 预训练模型的代码和参数ღ★◈ღ,允许研究人员进行探索ღ★◈ღ。Meta 还开放了 Llama 2 的商业使用许可ღ★◈ღ,相信很快将会有一批基于 Llama 2 的大模型产品涌现出来ღ★◈ღ。
Meta 则表示ღ★◈ღ,微软是 Llama 2 的首选合作伙伴ღ★◈ღ,未来两者会通过深度合作ღ★◈ღ,以增加对基础人工智能技术的普及ღ★◈ღ,从而让全球的企业受益ღ★◈ღ。
而除微软以外ღ★◈ღ,Meta 同时还和亚马逊 AWSღ★◈ღ、Hugging Face 两家云服务供应商达成合作ღ★◈ღ,在他们的平台上托管 Llama 2 的运行ღ★◈ღ。
值得一提的是ღ★◈ღ,尽管 Meta 宣称 Llama 2 模型是开源且免费商用的大语言模型ღ★◈ღ,但通过 Azure 等云服务方式使用 Llama 2 是否需要收取费用则尚未清楚ღ★◈ღ。
供应商之一的亚马逊发言人告诉彭博社ღ★◈ღ,Amazon 不会收取访问该模型的费用ღ★◈ღ,但客户需要为使用开发工具包支付费用ღ★◈ღ。Meta 对此还没做出回应ღ★◈ღ。
在微软官方博客中ღ★◈ღ,微软表示 Llama 2 已经针对 Windows 进行优化ღ★◈ღ,使其可以在 Windows 本地运行ღ★◈ღ。
也就是说ღ★◈ღ,Meta 推出的 Llama 2 大语言模型可能会成为 OpenAI 的主要竞争者AG凯发下载ღ★◈ღ。
但同一时间ღ★◈ღ,微软持有 OpenAI 49% 的股份向日葵视频app污污网站ღ★◈ღ,OpenAI 也依赖 Azure 来提供大量算力以支撑其人工智能模型的运营ღ★◈ღ,甚至 ChatGPT 目前联网搜索的插件也是接入必应的搜索引擎ღ★◈ღ。
此前让不温不火的必应访问量暴增的 New Bing 也是依靠 GPT-4 技术来开发ღ★◈ღ。可以说向日葵视频app污污网站ღ★◈ღ,微软在人工智能领域与 OpenAI 已经有深入的合作ღ★◈ღ。
也有评论认为AG凯发下载ღ★◈ღ,两者或许存在竞争关系ღ★◈ღ,但不影响微软两边同时押注ღ★◈ღ。闭源领域依靠 OpenAI 实现 2C 业务ღ★◈ღ,进行商业化ღ★◈ღ。开源领域与 Meta 合作ღ★◈ღ,建立生态的同时还能威胁到其他的闭源大语言模型ღ★◈ღ。
Meta 与微软更进一步的合作并不让人意外ღ★◈ღ。在 Meta 去年专注于开发「元宇宙」时ღ★◈ღ,Meta 就曾与微软携手把 Office ღ★◈ღ、Microsoft Teams 等效率工具兼容到 Quest 设备中向日葵视频app污污网站ღ★◈ღ。
微软同时押注 Meta 和 OpenAIღ★◈ღ,或许是想要同时在开源和闭源领域广撒网ღ★◈ღ,不错过每一种可能性ღ★◈ღ。
高通在一份新闻稿中表示ღ★◈ღ,高通正在和 Meta 合作优化 Meta Llama 2 大语言模型直接在终端侧的执行ღ★◈ღ,计划在 2024 年起ღ★◈ღ,在搭载骁龙平台的旗舰智能手机和 PC 上支持基于 Llama 2 的 AI 部署ღ★◈ღ,赋能开发者使用骁龙平台的 AI 能力ღ★◈ღ。
高通认为ღ★◈ღ,终端侧的 AI 部署能显著降低开发成本ღ★◈ღ,提升用户隐私保护ღ★◈ღ、满足用户的安全偏好ღ★◈ღ,增强应用可靠性以及实现个性化的服务ღ★◈ღ。
也许到明年的这个时候向日葵视频app污污网站ღ★◈ღ,你正在用着的骁龙芯片手机正在运行 Llama 2 模型为你解决问题也说不定呢ღ★◈ღ。凯发k8娱乐官网app下载ღ★◈ღ。云端计算ღ★◈ღ!凯发天生赢家一触即发ღ★◈ღ,人工智慧ღ★◈ღ,凯发k8ღ★◈ღ,ChatGPT凯发国际K8官网ღ★◈ღ,
0871-63302133 63302233
昆明市盘龙区新兴路霖岚国际凯发天生赢家一触即发
http://www.gd-baijiayan.com