引言在当今AI领域，大型预训练语言模型已成为一种关键技术，推动了自然语言处理领域的进步。本文旨在提供一个辅助指南，如何准备预训练模型大小、数据集大小，以及帮助读者了解如何提升预训练模型的表现。本文将分

一、ChatQA11微调如下图，ChatQA微调包含两个阶段，SupervisedFine-tuning和Context-EnhancedInstructionTuning111阶段

在构建检索增强生成（RAG）Pipeline时，一个关键组件是Retriever。我们有多种embedding模型可供选择，包括OpenAI、CohereAI和开源sentencetransform

01前言Mixtral-8x7B在各大榜单中取得了及其优异的表现，本文主要分享我们微调Mixtral-8x7BMoE模型的初步实践。我们使用Firefly项目对其进行微调，在一张V100上，仅使用4

此前，我们更多专注于大模型训练方面的技术分享和介绍，然而在完成模型训练之后，上线推理也是一项非常重要的工作。后续，我们将陆续撰写更多关于大模型推理优化的技术文章，包括但不限于KVCache、Page

我是小冬瓜AIGC，原创超长文知识分享微信公众号【手撕LLM】知乎小🍠也可以找到我【小冬瓜AIGC】原创课程已帮助多名同学速成上岸LLM赛道一、课程概况课程内容：直播+往期录播 +手撕级Not