2024年3月18日，马斯克兑现诺言，开源了其大模型Grok。有网友戏谑：这很马斯克，一言不合就开源，随后还不忘对OpenAI进行一番嘲笑。说起开源大模型，Meta早在2023年7月就开源了LLama

【点击】加入大模型技术交流群原文：https:zhuanlanzhihucomp677948929众所周知的是，在GPU上对LLM有着三个核心的影响因素：(1)GPU计算总量 (2)G

【点击】加入大模型技术交流群原文：https:zhuanlanzhihucomp680341931本文主要基于当前主流GPU硬件、量化算法最新论文，参考量化开源项目，探讨一下量化推理加速的

前言资源单机两4090，如图在这里插入图片描述单卡24G，baichuan-13b-chat单卡推理需要至少26G，因此仅用一张卡，我们是无法加载百川13B的模型，所以，无论是推理还是训练，我们都必须

今天分享一个来自同济大学HaofenWang的关于检索增强生成的报告：《Retrieval-AugmentedGeneration(RAG):Paradigms,Technologies,

今天来讲一下大模型中的模型融合，并给出大模型融合的有效方法的原理和实现。模型融合大家以前用的很多，特别是在判别模型里，属于永远都能稳定提升的那一类方法。但是生成语言模型，因为解码的过程存在，并不像判别