深入解析自然语言处理中的Token概念及其与BERT模型性能的关系

几年前，我第一次与自然语言处理模型BERT接触。

在评估该模型的性能时，领导者说，该模型的性能需要每秒达到200个令牌。尽管他知道这是一个性能指标，但令牌的概念并不十分清楚。

因为当时有更多的视觉模型，所以在视觉模型的性能评估中有一个关键指标，称为FPS，通常被理解为可以在一秒钟内处理的图片数量。 #

fps值越大，模型的吞吐量性能越好（您可以检查吞吐量的概念：[[我不再害怕被问到吞吐量和延迟之间的区别]。 #

那么每秒的令牌是什么？要弄清楚这一点，您必须首先了解令牌是什么。

1。什么是代币 #

在计算机字段中，令牌通常是指一串字符或符号。例如，微信公共平台的钥匙称为令牌，它实际上是一串字符。 #

在人工智能的领域，尤其是自然语言处理（，NLP），“令牌”是指处理文本的最小单元或基本要素。

它可以是一个单词，一个短语，标点符号，子字或字符。 #

目前，许多大型模型都基于令牌，无论它们显示功能还是收费定价。例如，充电标准为：GPT-4和1K令牌收费$ 0.01。

那么您如何理解令牌？

#

假设AI模型想识别以下句子：“我爱！”。 #

该模型并不直接理解该句子的含义，而需要首先将其分解为令牌序列。 #

例如，可以将此句子分解为以下内容： #

最终的标点符号也是一个令牌，因此该模型看到基本令牌单元，这有助于AI模型了解该句子的结构和含义。 #

2。如何拆分令牌？

在NLP任务中，在处理文本之前，您需要首先执行文本，即 Text，然后对其进行操作。 #

有许多算法可以完成此过程，因此我不会在这里扩展。 #

当您看到这个时，您可能会问，不仅是一个单词吗？ #

实际上，事实并非如此。如上所述，令牌可以是一个单词，短语或某些子字。 #

例如，在舞台上，“纽约市”的三个词可能被视为令牌，因为这三个词具有特定的含义，被称为纽约市。 #

还可以将“调试”一词视为两个令牌，即“ de”和“ bug”，以便模型可能知道“ de”前缀表示“降低”的含义。

如果您遇到另一个相遇被by过什么意思是什么，例如“”，它将分为两个令牌，即“ de”和“ value”，您可以知道“降低价值”的含义。

#

这样的令牌是单词的子字。这样做有很多好处，其中之一是该模型不需要记住太多的单词。

#

（AI照片） #

否则，该模型可能需要记住四个令牌：“错误”，“调试”，“ value”和“”。 #

一旦单词分为子字，该模型只需要记住“错误”，“ value”和“ de”的三个令牌，并且还可以扩展和识别“”的含义。

#

看到这一点后，令牌可以代表一个单词，短语或字符和标点符号。 #

3。一个有趣的测试 #

实际上，有一种非常简单的方法来测试模型是否将文本处理为最小的单元。

我们使用一个大型模型，例如3.5，让它倒入一小部分文本。 #

可以看出，句子中的“一个”仍然是逆转后的“一个”，而不是“一个”。 #

这可能是因为当处理模型时，“ A”被视为令牌，这是另一个基本单元，无法进一步拆分和完成反转。 #

如果您使用GPT-4执行相同的实验，则可以看到它已解决此问题。这是因为GPT-4大大更新了其逻辑推理功能。在更复杂的场景中，它甚至会编写代码本身以完成复杂的逻辑推理。

#

如果您有使用环境，则可以测试它，以查看是否可以逆转句子。 #

通常，令牌可以理解为自然语言模型处理的最小文本单元。

#

它可能不是一个词，可能是一个短语，可能是一些前缀，例如“ de”，或者可能是一些标点符号（例如感叹号可能代表更强的情绪），等等。

#

一旦您知道什么是令牌，那么令牌 / s的含义就非常简单。该单元表示该模型可以在一秒钟内处理的令牌数量。

#

这个数字越大，模型处理文本的速度就越快，无论是识别文本还是输出文本，用户将使用它更顺畅。

如何学习AI模型？

我在一线互联网公司工作了十多年，并指导了同龄人的许多年轻一代。帮助许多人学习和成长。

我意识到，有很多值得与所有人共享的经验和知识，我们还可以通过我们的能力和经验来回答我们在人工智能学习中的许多困惑，因此，当我忙于工作时，我仍然坚持以各种方式进行分类和分享。但是，由于知识传播的渠道有限，互联网行业中的许多朋友无法获得正确的信息来学习和改进。因此，他们将共享重要的AI模型材料，包括AI模型介绍学习思维地图，高质量的AI模型学习手册，视频教程，实践学习和其他录制视频。 #

第一阶段：从大型模型系统的设计开始，解释了大型模型的主要方法； #

第二阶段：从模型提示文字工程的角度开始； #

第三阶段：大型模型平台的应用程序开发使用阿里巴巴云PAI平台在电子商务领域构建虚拟拟合系统；

#

第4阶段：大规模知识库的应用开发以该框架为例，以建立一个智能的问答系统，用于物流行业咨询； #

第5阶段：大型模型的微调和开发用于建立适合大型健康，新零售和新媒体领域的当前领域的大型模型；

#

第6阶段：主要基于SD多模式大型模型，建立了 Mini-的案例。 #

第7阶段：专注于大规模模型的应用和开发，大规模模型是通过成熟的大型模型（例如Spark Big Model和 Big Model）构建的。

学习后学习的内容： #

?基于大规模全栈工程（前端，后端被by过什么意思是什么，产品经理，设计，数据分析等）的实施，可以通过本课程获得不同的能力； #

?能够使用大型模型来解决相关的实际项目需求：在大数据时代，越来越多的企业和机构需要处理大量数据。使用大型模型技术可以更好地处理这些数据并提高数据分析和决策的准确性。因此，掌握大型模型应用程序开发的技能可以使程序员能够更好地满足实际项目需求； #

?基于大型模型和企业数据AI应用程序的开发，实现大型模型理论，GPU计算能力，硬件，开发框架和项目实践技能，并学习一站式精通精细培训大型培训大型模型（数据准备，数据蒸馏和大型模型部署）； #

?能够在大型模型的垂直字段中完成当前流行的模型培训功能，并提高程序员的编码功能：大型模型应用程序开发需要掌握机器学习算法，深度学习框架和其他技术。掌握这些技术可以改善程序员的编码和分析功能，使程序员能够更熟练地编写高质量的代码。

#

1。大型模型学习路线图 #

2.100套AI大型模型的商业实施计划 #

3.100大型模型视频教程 #

4.200大型PDF书籍 #

5。LLM采访问题的收集 #

6。AI产品经理资源收集 #

如何获得： #

有需要的朋友可以保存图片以免费扫描第二个V代码[可保证100％免费] #