开云kaiyun官方网站为复杂的任务提供了凝视长想维链-kai云体育app官方下载app最新版本-kai云体育app官方登录入口

新闻中心

你的位置：kai云体育app官方下载app最新版本-kai云体育app官方登录入口 > 新闻中心 > 开云kaiyun官方网站为复杂的任务提供了凝视长想维链-kai云体育app官方下载app最新版本-kai云体育app官方登录入口

开云kaiyun官方网站为复杂的任务提供了凝视长想维链-kai云体育app官方下载app最新版本-kai云体育app官方登录入口

发布日期：2026-10-24 07:46 点击次数：103

参数目仅0.3B，内存占用仅600MB，更恰当端侧部署还带想维链的模子来了。

腾讯混元最新推出头向消费级硬件场景的"极小"模子HY-1.8B-2Bit，体量甚而比常用的一些手机利用还小。

该模子基于混元团队草创的产业级 2Bit 端侧量化有谋划，通过对此前混元的小尺寸言语模子—— HY-1.8B-Instruct 进行 2 比特量化感知教练（QAT）产出，对比原始精度模子等效参数目裁汰了 6 倍，在沿用原模子全想考智商同期，在信得过端侧开采上对比原始精度模子生成速率擢升 2 — 3 倍，可大幅擢升使用体验。

跟着大言语模子普及，如何将模子在比如手机、耳机或者智能家居开采利用，成为业界贫瘠，尤其不少利用对模子的离线部署、玄机性等齐有更高的需求，这就需要更多概况在端侧运行的又小又强的模子。

端侧部署的伸开，骨子上是一条在"小而精，快而准"的粗重探索之路，咱们既需要模子弥散机灵，能大意变化多端的信得过需求，又必须将它料理在极其有限的硬件资源里面署并快速推理，这就好像在给模子进行"减脂增肌，减重提质"。

△ HY-1.8B 原始精度模子

△ HY-1.8B-2Bit 模子

比特（Bit）是计较机存储的最小单元，1 比特能暗意 2 种情状（0 或 1），2 比特能暗意 4 种情状，以此类推，一般模子的精度有 2 比特、4 比特、8 比特、32 比寥落暗意要领，数值越大模子的精度更高，所占的内存就越大。

天然 2 比特量化的精度亏本较大，但通过 QAT 和先进的量化计策，照旧能让 2 比特模子接近全精度模子的性能。

在模子智商方面，对比 4 比特 PTQ 模子版块数学、代码、科学等盘算上证实终点，结束了"小而强"的想象标的。同期，这一模子照旧支握了 gguf 样式，在信得过端侧开采上对比原始精度模子生成速率擢升 2 — 3 倍，不错大幅擢升用户使用体验。

此外，HY-1.8B-2Bit 模子还沿用了 Hunyuan-1.8B-Instruct 的全想考智商，用户不错机动使用，为肤浅的查询提供了残害的想维链，为复杂的任务提供了凝视长想维链，用户不错把柄其利用的复杂性和资源贬抑机动地礼聘这两种现象。

时间上，量化手脚大模子部署上线不成或缺的一环，肩负了裁汰部署资本与保精度的服务，大部分情况下关于 int4、int8、fp8 的压缩精度条件，接纳 PTQ 量化计策即可结束简直无损，但跟着原始模子大小的松开、压缩 bit 数的进一步裁汰，PTQ 带来的量化亏本是巨大的。

因此，关于原始模子大小只好 1.8B，量化 bit 数只好 2bit 的 HY-1.8B-2Bit，混元团队接纳了量化感知教练计策，这显赫擢升了量化后模子的性能。

腾讯混元还通过数据优化、弹性拉伸量化以及教练计策翻新三个要领来最大贬抑的擢升 HY-1.8B-2Bit 的全科智商。

数据优化

对不同类别的数据进行实验标明，提高理科数据占比和加入安妥的长文数据概况昭彰提高 QAT 后模子的全面智商，估量这是由于量化后的模子关于逻辑推理和长文的亏本是要远繁密于其他 Topic。因此，本次模子教练强化了这部分数据的比例手脚 HY-1.8B-2Bit 的教练数据集。

弹性拉伸量化

针对 2-bit 极低精度的挑战，HY-1.8B-2Bit 在量化算法上进行了各异化布局。为了躲避高 bit QAT 中常见有谋划在超低比特下导致的精度垮塌，归并前序参议，利用了"弹性拉伸量化"（SEQ）计策。

SEQ 计策的中枢逻辑是舍弃了传统包含 0 值的非对称映射（如 INT2{-2, -1, 0, 1}），转而接纳 {-1.5, -0.5, 0.5, 1.5} 的对称映射有谋划。这一考订旨在通过平移量化重点，处治 2-bit 下有用能级受限的问题，从而最大化动态鸿沟的遮蔽智商。

合营算法对量化区间缩放因子的自安妥微调，该有谋划显赫缓解了极低精度下的信息流失，为 HY-1.8B-2Bit 在有限位宽下捕捉高维特征踱步提供了坚实的算法撑握。

教练计策

教练感知量化，在教练阶段就让模子提前安妥权重被量化到更低比特数下产生的精度亏本，腾讯混元团队采用 Instruct 模子而不是预教练权重手脚 QAT 模子的开动化权重，以简约教练 token 使模子更快连续。

2bit 量化和高 bit 量化（3bit 以上）在 QAT 过程中存在显赫各异，其根底原因在于 3bit 以上的量化信息亏本并不大，QAT 主淌若在在"抵偿"精度亏本，模子权重保握在原始踱步隔壁；而 2bit 量化中，QAT 更多的是一种"重构"过程，权重踱步会发生剧烈变化以安妥新的低精度暗意。因此，教练设立的搜索尤为热切。

为了快速锁定正确的教练设立，通过多半的风洞训练在小限度数据下（10B）训练确定了最优的超参设立，并通过不同 token 数目的对比实验确定最低贬抑 token，以追求效果与精度的最好均衡。最终，教练 HY-1.8B-2Bit 所徒然的 token 数目仅为 Bitnet-2B 的 10%，这意味着低比特模子的 QAT 教练不需要从预教练起原作念起，使用更少的教练资本就不错取得极低比特版块的模子，为极低 bit 的模子坐褥限度化带来信心。

部署方面，腾讯混元提供了 HY-1.8B-2Bit 的 gguf-int2 样式的模子权重与 bf16 伪量化权重，对比原始精度模子，HY-1.8B-2Bit 施行模子大小直降 6 倍，仅有 300MB，概况机动用于端侧开采上。该模子也已在 Arm 等计较平台上完成适配，可部署于启用 Arm SME2 时间的出动开采上，并结束高效运行。

在 MacBook M4 芯片上，HY-1.8B-2Bit 固定了线程数为 2 测试了不同窗口大小下的首字时延和生成速率，模子采用 fp16、Q4、HY-1.8B-2Bit 三种 gguf 样式手脚对比，首字时延在 1024 输入内概况保握 3~8 倍的加快，生成速率上常用窗口下对比原始模子精度，HY-1.8B-2Bit 概况结束至少 2 倍踏实加快。