趋境科技与清华共同开源的高性能异构推理框架KTransformers股票配资十大平台，其论文《KTransformers:Unleashing the Full Potential of CPU/GPU Hybrid Inference for MoE Models》近日成功入选 “计算机系统领域奥斯卡”SOSP 2025。这标志着其异构计算技术得到全球顶尖学术与工业界的认可。
KTransformers专注于高效利用底层GPU、CPU、内存等多样化算力，让大模型在更低算力、更灵活的硬件架构上高效运行。在大模型推理中，趋境科技提出了一条不同以往的道路：一套面向CPU+GPU异构架构的MoE推理系统方案，让原本只能依赖昂贵多卡GPU的大模型，能在CPU参与的硬件环境中实现接近同等性能的推理体验。技术层面上，它通过一系列系统级创新，让GPU负责注意力和主干网络的高并行计算，CPU则承担稀疏专家模块的推理任务，实现了高效的CPU+GPU协同执行。
11月6日，月之暗面发布Kimi-K2-Thinking模型后，KTransformers已完成对该模型的全面适配，支持用户在单卡环境下完成推理任务。同时，趋境科技也已完成了该模型在昇腾NPU上的全面适配，提供了完善的全国产化推理解决方案。
针对模型微调，KTransformers与LLaMA-Factory深度集成，支持用户使用LoRA等轻量级微调方法，在极少量GPU资源下完成模型定制。传统上，LoRA微调千亿模型成本高达数百万，趋境科技提供的异构微调能力将资源需求降低到单个消费级GPU（如RTX 4090）起，这使得高校、中小型实验室、初创公司甚至个人开发者都有机会参与进来。该微调方案在较小规模的MoE模型（DeepSeek-14B）上面也展现了超过传统方案1.8倍的吞吐、显存占用降低 82%，成为消费级显卡上微调超大参数MoE模型的唯一可行方案。
KTransformers已成为一个被开发者、厂商与开源社区广泛复用的共建式底层框架。全球头部开源模型方面，如Qwen、Kimi、智谱AI等多个主流大模型，都在模型发布首日就推荐KTransformers作为推理引擎支持；其工程实践与兼容性也被多家一体机产品线采纳。趋境科技是异构路线的核心推动者，已与多个国产CPU、GPU硬件平台合作，共同推进全国产高性价比方案；为数十家行业开发伙伴提供算力底座，逐步实现算力普惠。趋境希望。让AI能力不再专属于少数企业，让大模型真正为业务所用。
南方+记者 郜小平
七星配资平台提示：文章来自网络，不代表本站观点。
相关文章
热点资讯
推荐资讯
