🗒️ AI大模型场景下智能计算技术选型分析
🗒️ 从BERT到ChatGPT-大模型训练中的存储挑战与技术发展
type
status
data
slug
summary
tags
category
password
icon
从BERT到ChatGPT：大模型训练中的存储挑战与技术发展
摘 要：
以ChatGPT为代表的大模型在文字生成、语义理解等任务上表现卓越，引起了工业界和学术界的广泛关注．大模型的参数量在3年内增长数万倍，且仍呈现增长的趋势．首先分析了大模型训练的存储挑战，指出大模型训练的存储需求大，且具有独特的计算模式、访存模式、数据特征，这使得针对互联网、大数据等应用的传统存储技术在处理大模型训练任务时效率低下，且容错开销大．然后分别阐述了针对大模型训练的3类存储加速技术与2类存储容错技术．针对大模型训练的存储加速技术包括：1）基于大模型计算模式的分布式显存管理技术，依据大模型计算任务的划分模式和计算任务间的依赖关系，设计模型数据在分布式集群中的划分、存储和传输策略；2）大模型训练访存感知的异构存储技术，借助大模型训练中的访存模式可预测的特性，设计异构设备中的数据预取和传输策略；3）大模型数据缩减技术，针对大模型数据的特征，对模型训练过程中的数据进行缩减．针对大模型训练的存储容错技术包括：1）参数检查点技术，将大模型参数存储至持久化存储介质；2）冗余计算技术，在多张GPU中重复计算相同版本的参数．最后，给出了总结和展望．
🗒️ 大模型用于信息检索综述Large Language Models for Information Retrieval-A Survey
type
status
data
slug
summary
tags
category
password
icon
Abstract：
IR是信息获取的主要手段，在对话、问答、推荐系统中均有应用。IR从最初基于term的方法演化到基于高级神经网络的方法后，仍然受到数据稀疏性、准确性等挑战。在chatgpt和gpt-4为代表的大模型的兴起后，IR系统也尝试使用大模型。本综述整理了现有的方法，并探索未来的方向。
INTRODUCTION：
信息获取是日常基础需求之一，除了搜索引擎（百度、谷歌、bing）,信息检索在对话系统、问答系统、图像搜索等领域也扮演着重要的角色。
信息检索系统的核心是检索，需要从文本、图像、音乐等等不同类别的信息里找到和用户需求相关的内容。本摘要聚焦在文本检索系统中，query和检索doc的相关性由两者的匹配分衡量。IR系统的效率非常重要，为了提升用户体验，常常从上游（查询query改写）和下游（排序、Reading）两个方面增强检索性能。
🗒️ 读论文：大模型的 RAG 调查
type
status
data
slug
summary
tags
category
password
icon
本文原作为论文“Retrieval-Augmented Generation for Large Language Models: A Survey”，作者为Yunfan Gao、Yun Xiong、Xinyu Gao 、Kangxiang Jia、Jinliu Pan、Yuxi Bi、Yi Dai、Jiawei Sun、Qianyu Guo、Meng Wang、Haofen Wang。该论文全面审视了大型语言模型中的RAG（检索增强生成，Retrieval-Augmented Generation）技术，提出了RAG的新视角和发展方向。论文深入探讨了RAG的三大组成部分：检索、生成和增强，以及RAG的不同范式，包括初级RAG、高级RAG和模块化RAG，是理解和掌握RAG技术的重要资源，相关研究人员和从业者都值得一读哦～
论文框架
本文篇幅较长，框架如下：
0. 前言
LLM（大型语言模型，Large Language Model）展现出了其强大的能力，但也面临着幻觉、知识过时以及推理过程不透明、无法追踪等诸多挑战。为了应对这些挑战，RAG（检索增强生成，Retrieval-Augmented Generation）应运而生。 RAG可以将LLM内在的知识与外部数据库庞大、动态的资源库协同融合，不仅提高了模型的准确性和可信度，还支持持续更新知识和整合特定领域的信息 ，这在知识密集型任务中尤其有效。这篇综合性的评论文章详细考察了RAG范式的发展，包括初级RAG、高级RAG和模块化RAG，仔细研究了RAG框架的三大基础组成部分，包括检索、生成和增强技术，突出了嵌入在这些关键组成部分中的最先进技术，提供了对RAG系统进步的深入理解。此外，本文还介绍了RAG模型的评估指标和基准，以及最新的评估框架。最后，文章概述了未来研究的可能方向，包括挑战识别、多模态性扩展，以及RAG基础设施及其生态系统的发展。
🗒️ State of GPT: A Programmer's Perspective（万字长文梳理学习GPT的相关资料）
type
status
data
slug
summary
tags
category
password
icon
🔗 原文链接：
⏰ 剪存时间：2023-10-10 15:06:02 (UTC+8)
2023 上半年科技与创投圈的最大热点无疑是大模型及其相关技术。自从 OpenAI 在去年 11 月底发布 ChatGPT [1] ，其表现出来的强大能力迅速震撼了科技从业者、创作者，并以历史最快的速度获取了超过 1 亿用户 [2] 。在接下来的 2023 年上半年，各大科技公司与科研机构关于大模型的发布令人眼花缭乱 [3] [4] [5] [6] [7] [8] ，大多数人才开始意识到原来以 GPT 为代表的一系列深度学习的技术已经走得如此之远。如果我们点开 「State of AI」 [9] 从 2018 年开始做的每年 AI 年度回顾报告的话，我们也许会进一步深刻意识到世界这一螺旋式发展的规律，在经历了上一波由 AlphaGo [10] 引发的创投 AI 热潮与沉寂之后，以 Transformer [11] 和 Diffusion Model [12] 为代表的相关技术仍然在草蛇灰线地向前发展着，直到这一次才再度点燃世界。
TLDR
- 本文所有的资料来源于互联网的公开信息，更多是从程序员的视角去理解和梳理相关技术。本文结构主要参考自 [34] 和 [13] ，强烈推荐和鼓励大家去阅读本文附录的原始资料，希望本文可以作为众多程序员们学习 GPT 相关技术的一个资料索引。
🗒️ 【发布】ChatGLM2-6B：性能大幅提升，8-32k上下文，推理提速42%
type
status
data
slug
summary
tags
category
password
icon
自3月14日发布以来， ChatGLM-6B 深受广大开发者喜爱，截至 6 月24日，来自 Huggingface 上的下载量已经超过 300w。
为了更进一步促进大模型开源社区的发展，我们再次升级 ChatGLM-6B，发布 ChatGLM2-6B 。
在主要评估LLM模型中文能力的C-Eval榜单中，截至6月25日ChatGLM2模型以 71.1 的分数位居 Rank 0 ，ChatGLM2-6B 模型以 51.7 的分数位居 Rank 6，是榜单上排名最高的开源模型。
- * CEval榜单，ChatGLM2暂时位居Rank 0，ChatGLM2-6B位居 Rank 6*
性能升级
🗒️ OpenAI 发布新版 GPT-4、GPT-3.5，部分降价 25%，以及支持长达 20 页上下文的 GPT-3.5-16K ，旧版本今年 9 月份将被弃用
type
status
data
slug
summary
tags
category
password
icon
OpenAI 发布新版 GPT-4、GPT-3.5，部分降价 25%，以及支持长达 20 页上下文的 GPT-3.5-16K ，旧版本今年 9 月份将被弃用
OpenAI 刚刚在 blog 发布了新文章：Function calling and other API updates，宣布了更新和改进的模型：
gpt-4-0613 和 gpt-3.5-turbo-0613，以及 GPT-3.5-16K 版本，16k 上下文意味着该模型现在可以在单个请求中支持约 20 页文本，比起 GPT-4-32K 版本还有差距。另外老版本（gpt-3.5-turbo-0301 和 gpt-4-0314）将于 2023年9月13日停止服务。最后，“未来几周会放出更多 GPT-4 邀请”。@Appinn旧模型弃用时间表
对于使用 ChatGPT 的用户，并无法直接感受具体的模型版本，而对于调用 API 的用户，此前使用最多的是以下几个：
- gpt-3.5-turbo-0301
- gpt-4-0314
🗒️ Could not load dynamic library ‘libcudart.so.10.0‘
type
status
data
slug
summary
tags
category
password
icon
Could not load dynamic library ‘libcudart.so.10.0‘
2022-04-29 03:35:16.853021: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'libcudart.so.10.0'; dlerror: libcudart.so.10.0: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/cuda-10.1/lib64 2022-04-29 03:35:16.853249: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'libcublas.so.10.0'; dlerror: libcublas.so.10.0: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/cuda-10.1/lib64 2022-04-29 03:35:16.853461: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'libcufft.so.10.0'; dlerror: libcufft.so.10.0: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/cuda-10.1/lib64 2022-04-29 03:35:16.853664: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'libcurand.so.10.0'; dlerror: libcurand.so.10.0: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/cuda-10.1/lib64 2022-04-29 03:35:16.853869: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'libcusolver.so.10.0'; dlerror: libcusolver.so.10.0: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/cuda-10.1/lib64 2022-04-29 03:35:16.854067: W tensorflow/stream_executor/platform/default/dso_loader.cc:55] Could not load dynamic library 'libcusparse.so.10.0'; dlerror: libcusparse.so.10.0: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/cuda-10.1/lib64
出现问题的原因
根本原因在于CUDA版本（10.1）和TensorFlow版本（1.14.0）不一致造成的。因为最新的CUDA版本已经更新到10.1+，但是TensorFlow最新只支持到10.0，所以才会出现各种找不到10.0的库。为什么耗费了这么久？因为CUDA很狡猾，在用nvcc -V命令查看时，给出的版本号是10.0，但用watch -n 1 nvidia -smi查询时，右上角显示的却是10.1。这里推荐用下面这个命令查询：
(tianguoguo) usr@ubuntu16:~$ conda list
在其中找到cudatoolkit这一项，这个版本号是比较准确的。
🗒️ Python字符串相似性的几种度量方法
type
status
data
slug
summary
tags
category
password
icon
Python字符串相似性的几种度量方法
字符串的相似性比较应用场合很多，像拼写纠错、文本去重、上下文相似性等。
评价字符串相似度最常见的办法就是：把一个字符串通过插入、删除或替换这样的编辑操作，变成另外一个字符串，所需要的最少编辑次数，这种就是编辑距离（edit distance）度量方法，也称为Levenshtein距离。海明距离是编辑距离的一种特殊情况，只计算等长情况下替换操作的编辑次数，只能应用于两个等长字符串间的距离度量。
其他常用的度量方法还有 Jaccard distance、J-W距离（Jaro–Winkler distance）、余弦相似性（cosine similarity）、欧氏距离（Euclidean distance）等。
python-Levenshtein 使用
使用
pip install python-Levenshtein 指令安装 Levenshtein
更多