苹果因应用商店追踪政策被意大利罚款9800万欧元
12月22日消息，据欧洲新闻网报道，意大利竞争管理局对苹果公司、苹果分销国际公司和苹果意大利公司处以 9800 万欧元的罚款，原因...
文章目录
[+]
编辑 | 李水青
智东西11月5日消息，刚刚，华为正式开源了UCM（Unified Cache Manager）推理记忆数据管理，这是一项针对AI推理加速的关键技术。
▲GitCode项目页面
今年8月12日，华为正式发布了UCM技术，发布会上华为公布，经大量测试验证，UCM可将首Token时延最高降低90%，系统吞吐最大提升22倍，实现10倍级上下文窗口扩展，AI推理性能显著提升。
▲8月12日UCM技术发布，图源：智东西
时隔近3个月，这一技术正式开源，比发布会上预计的9月稍晚。目前UCM在ModelEngine社区开放了基础框架和工具链，开发者可以在社区获取UCM源代码和技术文档。
▲Github项目页面
GitCode开源地址：https://gitcode.com/ModelEngine/unified-cache-management Github开源地址： https://github.com/ModelEngine-Group/unified-cache-management 总体来看，UCM是以KV Cache和记忆管理为中心的推理加速套件，可以提供全场景系列化推理加速方案，通过推理框架、算力、存储三层协同，优化Tokens在各业务环节中流转的效率，破解长序列推理效率低、成本高的难题，以实现AI推理的更优体验、更低成本。其主要服务对象是企业用户。 Agentic AI时代，AI推理的KV Cache容量增长已超出HBM的承载能力。通过一系列算法，UCM可根据记忆热度在HBM、DRAM、SSD等存储介质中自动分级缓存，提升整个系统的效率，一定程度上降低对HBM的需求。 UCM融合了多类型缓存加速算法工具，可分级管理在推理过程中产生的KV Cache记忆数据。 UCM架构包含多个协同工作的关键功能模块，具体如下： ·UCM稀疏化模块 （UcmSparseBase）：兼容多种稀疏算法的统一基类，负责稀疏KV Cache Block的卸载、加载与计算，实现“零感知”插拔式稀疏化。在不影响整体推理流程的前提下，能够灵活适配不同稀疏算法以提升推理效率。 ·稀疏化KV管理器 （SparseKVManager）：面向算法级定制的KV Cache Block分配总控器，各稀疏算法以多态子类形式将自身分配逻辑注入框架，实现不同稀疏算法策略与推理引擎解耦，满足差异化推理场景需求。 ·KV Cache存储组件 （UcmKVStoreBase）：负责提供与外部存储通信的通用接口。该组件支持稀疏算法与存储后端解耦，可无缝对接任意存储系统，同时支持前缀缓存，为数据存储提供了灵活多样的选择。 ·UCM连接器（UC Connector）：桥接KV Cache存储组件与推理引擎，保障数据在不同组件之间的高效传输，实现高可靠的前缀缓存能力。
▲UCM产品架构
图中所有灰色框代表vLLM 0.9.2版本中的现有类，绿色框则代表UCM新增组件。浅绿色框展示了基于此框架未来规划扩展的子类。 基于以上架构，UCM目前具备四个关键能力：稀疏注意力、前缀缓存、预填充卸载、异构PD解耦。 做UCM的动机是什么？ 根据GitCode官方信息，当前随着模型尺寸的不断增长，KV缓存也变得越来越大，且越来越稀疏，对于长序列请求来说尤为明显。为了减小GPU显存的使用，主流的方向是将全量的KV数据卸载到外部存储中，而在GPU显存中只保留部分或者被压缩的KV数据。这同时可以减小GPU的运算量，在解码时增加最大生成序列长度和批大小。 有许多种不同的稀疏KV缓存的实现。最新的论文指出，能够最好地适配所有场景和所有模型的方法是不存在的。因此，更好的做法是搭建一套公共的框架，并在此之上接入不同的稀疏化算法，就像KV连接器和PC一样。 根据GitCode官方信息，UCM的核心原理是持久化LLM的KVCache，并通过多种检索机制替代冗余计算。UCM支持前缀缓存（prefix cache,PC），同时提供了多种无需训练的稀疏注意力检索方法，在处理极长序列推理任务时达到更高性能；此外，UCM基于存算分离架构提供了PD分离方案，使得异构计算资源的管理更简单灵活。结语：应对性能挑战，缓解资源瓶颈 UCM开源或加速AI推理落地
你可能想看：
