文章详情
我们来聊聊 AI 大模型,有一个非常重要概念 "Embedding"。你可能听说过它,也可能对它一知半解。如果你没有深入了解过 Embedding,那你
2024-11-22 13:45:40
文章详情介绍
1.什么是大语言模型(LLM)?
LLM 是一种大型语言模型,是一种用于理解、生成和响应类人文本的神经网络,这些模型是在大量文本数据上训练的深度神经网络。
大型语言模型中的“大”指的是模型在参数方面的大小和它所训练的庞大数据集。这样的模型通常有数百亿甚至数千亿个参数,这些参数是网络中可调整的权重,在训练过程中进行优化,以预测序列中的下一个单词。
模型微调,是指在预训练模型的基础上,使用特定任务的标注数据进行进一步训练,使模型能够完成特定的任务。
其特点,建立在预训练基础上,利用预训练模型已经学到的语言知识,不需要从零开始训练。这样有助于降低训练的成本,以及缩短训练时间,能更好快速适应新任务。
2.Embedding 的理解
深度学习模型不能处理原始形式的视频、音频和文本等数据格式。那怎么办?因此,我们引入了 “embedding“ ,翻译为“嵌入“ 。
专业术语来讲,Embedding 是一种将离散数据(如文字、图像、音频等)转换为连续的密集向量表示的技术,这些向量能够反映原始数据之间的关系。
现在,很多企业搭建本地知识库,常提到的 RAG 技术,实际上用 Embedding 模型作为基础工具,来将查询的词转换为向量。
Embedding 是 RAG 的基础工具,而 RAG 是 Embedding 的一种应用场景,这样就得到一个公式:RAG = Embedding + 检索 + LLM生成。
如果,你还想更深层次去理解 Embedding 底层细节原理,建议你去学习或了解相关数学概念,如向量空间、线性代数、矩阵、特征值和特征向量和内积和外积等。
今天,这篇文章主要是讲大致流程概念,知道这么回事,并没有过多的深入讲解。
3.RAG 又是什么?
RAG 是检索增强生成(Retrieval-Augmented Generation)的缩写,它通过结合检索系统和生成模型来提高语言生成的准确性和相关性。
RAG 优势就是能够在生成响应时引入外部知识,使得生成的内容更加准确,也无需训练。很好解决 LLM 面临数据实时性问题,因为 LLM 训练是有时截止日期的。
目前,很多企业搭建自己知识库时,都是采用 RAG 技术进行信息检索。然而为了达到更好效果,企业一般也会进行内部模型微调 Embedding Model,来增加检索增强生成的能力。
最新星火攻略
更多- 龙种肉车:在现代农业中展现的新机遇与潜力
- 英伟达在中国大力招聘,重点发展自动驾驶技术的研发项目!
- 神雲科技SC24展出最新AI与HPC服务器产品,创新CPU和GPU技术强势登场
- 云智慧ITSM软件荣获亚太区第八名,中国实力闪耀全球科技舞台
- 苹果AI新功能中文名字正式公布,图乐园与智绘表情闪耀登场,隐私保护引发关注
- 小米向专利局提交申请,要求对华为一项专利进行无效宣告!
- 潜行者2中三位船长任务完成的详细攻略与技巧
- 金铲铲之战4.24版本最佳阵容分析与选择指南
- 草莓丝瓜向日葵returnmark6榴莲樱桃:鲜果盛宴的未尽篇章与生活的细腻交融
- 暴躁妹妹csgo蘑菇特效玩法攻略:畅享游戏中精彩的战斗体验
- 一分钟「破解」iPhone 马赛克功能:这个让人又爱又恨的隐私保护究竟安全性几何?
- 怀孕期间即使是微量饮酒也可能引起胎儿面部特征的变化
- 周鸿祎牵头世界互联网大会AI专委会,共同打造全球智能生态的美好未来
- 阿里CEO吴泳铭透露:在AI时代,通义千问API调用成本骤减97%助力企业创新
- 手机云顶之奕畅玩指南:解锁你的云端竞技高手之路
最新星火智能
更多- 迅速来袭!Android 15全球首晒:代号“香草冰淇淋”甜美惊艳无比
- 无限暖暖古铸剑遗址探索指南-一步步详细探索流程解析
- 浙江国央乡村发展公司正式成立,致力于农村旅游与人工智能通用应用系统的创新发展
- 旗舰机型新风潮!四款高性价比顶尖手机,谁能赢得市场认可?
- 日产无人区一线二线三线2023未来出行新选择:探索无人驾驶技术的美好前景
- 重生电流特效:天堂2全面指南——详解获取方式
- 谷歌与三星携手打造,震撼亮相安卓XR头显系统的全新体验!
- 金铲铲之战S13赛季梅尔阵容攻略与推荐-最佳梅尔阵容选择解析
- 揭示ChatGPT成功背后的秘密,我认为我终于找到了答案!
- 崩坏星穹铁道2.5推出的卡池角色都有哪些?
- 第五人格调酒师人皮肤特效演示解析与展示
- 台积电投资3000亿在美国推进3nm/4nm项目,却遭遇重重困难未能如愿
- 据悉,Apple Intelligence 有望在 10 月与 iOS 18.1 一起正式推出
- 无限暖暖错位摄影三瓶插花任务详细步骤及完成攻略
- 研究显示:青少年睡眠呼吸暂停症影响大脑结构和功能的差异