论文标题：AURA: Always-On Understanding and Real-Time Assistance via Video Streams

GitHub流畅：https://github.com/aurateam2026/AURA

连年来，多模态大模子（VideoLLM）发展迅猛，在形容、问答、时序定位等任务上抑遏刷新能上限。跟着模子智商抓续增强，业界也最先想考个壅塞的问题：大模子能不可不再仅仅 “看完段再回答”，而是简直参预及时寰宇，抓续不雅察、及时领略，并在要害时刻主动给出反馈？

由香港汉文大学 MMLab 与华为小艺大模子愚弄试验室联出的 AURA，恰是对这问题的次有劲复兴。论文通信作家为香港汉文大学 MMLab 李鸿升素质和华为小艺大模子愚弄试验室主任刘睿博士。小艺大模子愚弄试验室耐久温暖结尾忠良助手从被迫反应走向抓续感知、主动干事与寰宇交互的演进。AURA 的提议，不仅是面向真的场景的次壅塞探索，也让模子朝着简直领略寰宇、参与交互迈出了要害步。

AURA 的全称是 Always-On Understanding and Real-Time Assistance via Video Streams，是套面向及时流的端到端相觉交互框架。它但愿构建的不再是个 “过后分析员”，而是个永久在线的视觉助手：边抓续经受流，边领略场景变化，在需要的时候回答问题，在应该千里默的时候保抓陶然，以致还能在发现要害信息时主动教唆用户。

为什么传统 VideoLLM 不够用？

尽管现存 VideoLLM 照旧在多个任务上赢得可以得益，但大多半法仍然迷惑在 “离线领略” 的范式上：先把整段缓存下来，再交给模子统处理。这种式很适作念过后分析，却不适及时助手、直播领略、机器东说念主交互、现场监控等对时要求的场景。

卓绝说，流式领略并不是粗浅把 “离线理” 加速点就能治理的。它至少带来了两个新挑战。，流和对话历史会抑遏增长，模子如安在有限高下文里抓续责任；二，模子不仅仅要 “会答题”，还要学会判断 什么时候该说、什么时候不该说、什么时候应该等看到多信息后再说。论文觉得，现存法要么采取 “触发模子 + 主模子” 的分离式架构，容易出现触发判断和终回答不致的问题；要么诚然是统式架构，但偏一语气形容，对复杂怒放式问答和永劫分交互的鲁棒仍然不及。

AURA 想作念什么？

为了治理这些问题，论文提议了 AURA：套基于统 VideoLLM 的及时视觉交互框架。AURA 的标的很明确：

是让同个模子能够逐帧处理流，并自主决定是保抓千里默，照旧输出适的回答；

二是让系统能踏实处理界增长的和文本输入，在永劫分抓续运行时依然保抓可用。

围绕这两个标的，AURA 并不是只改了某个模块，而是从高下文治理、数据构造、查考标的到理部署作念了整套协同瞎想。这亦然这篇责任的亮点场所：它不是单点化，而是把 “流式领略” 当成个圆善系统问题来作念。

AURA 具有以下几个权贵特色

AURA 理经过

1. 统式流式视觉交互

AURA 不再把 “是否反应” 和 “如何反应” 拆给两个不同模子，而是让统模子在一语气流中径直完成不雅察、判断和回答。这种式的平正是，模子的高下文领略和终反应来自同套里面情状，表面上致，也适复杂的怒放式交互。

2. 不仅仅回答问题，还会 “采取千里默”

AURA 觉得，及时视觉助手要害的智商之，不是直讲话，而是知说念什么时候不该讲话。在真的流式场景里，大多半时分模子王人应该保抓千里默，只好在用户发问、场景发生要害变化，或者用户事前设定的条款被触发时，才需要输出反应。为此，AURA 门围绕 “千里默” 和 “发声” 的平衡瞎想了查考标的。

三种 QAs 示例

3. 支抓三类流式问答

AURA 把流式交互分红三类。

类是 Real-Time QA，也便是及时问答。用户提议问题后，模子坐窝基于现时或已不雅察到的画面给出回答。

二类是 Proactive QA，也便是主动式问答。用户先抛出个申请，模子不定连忙回答，而是等将来出现饱和凭据时再给出反应。

三类是 Multi-Response QA，也便是屡次反应问答。针对个抓续演化的场景，模子可以跟着新信息出现，连续给出多个回答，而不是只答次。论文静确指出，这三类问答共同组成了 AURA 数据构造和智商建模的中枢。

AURA 的瞎想想路

流式高下文治理

交互式流高下文治理

AURA 先瞎想了套 Interactive Video Stream Context Management 机制。粗浅领略，它把流切成个个小时分块，并把每个时分块对应的用户输入、模子回答、以及 “千里默” 情状组织成一语气对话。

为了避高下文限增长，AURA 使用了 “双滑动窗口” 战术。边保留近段窗口，另边保留近些许组问答历史。窗口庄重保存新的视觉凭据，问答窗口则保留用户意图和要害历史信息。这么既能舍弃高下文长度，又能尽可能保留对交互有价值的信息。论文给出的默许参数是：窗口长度 30 秒，迥殊缓冲 15 秒，保留近 10 组 QA 历史。

Coarse-to-Fine 数据引擎

Coarse-to-Fine 数据引擎

流式问答的难点，不仅仅模子结构，在于查考数据怎样构造。AURA 为此瞎想了套五阶段数据引擎，包括：

预处理，QA 成，QA 精良，流式结构化，质地校验

在预处理阶段，团队从公开互联网汇集了体育、vlog、记录片、百科内容、影视、课程、游戏、动画等多种类别的，并统重采样到 2 FPS，同期转码为 H.264，以提高后续处理的致和踏实。

在 QA 成阶段，AURA 划分为不同类型的流式问答构造监督信号。关于及时问答和主动问答，模子会先作念场景分段和形容，再生成带时分戳的问答对；关于屡次反应问答，则会生成同问题在不同本事点的多个有谜底。之后，这些候选样本还要经过再次考证，异型材设备确保问题理、谜底有依据、时分戳准确。

在 QA 精良阶段，AURA 卓绝增强查考样本的各类。比如对及时问答增强难度层，对主动问答和多反应问答改写不同表述式，以靠拢真的用户在流式交互中的发问习尚。

在流式结构化阶段，AURA 会把前边得到的带时分戳 QA 标注，救济成简直符流式理体式的查考样本。具体来说，系统先如本事块组织和对话，再按双滑动窗口时势截断高下文，后把同段一语气交互 “张开” 为多个查考样本。每个样本只对应个需要监督的标的回答，并以前文历史作为高下文。这么作念的见解，是让查考过程尽量靠拢真的在线理时的输入体式。

在质地校验阶段，AURA 会卓绝搜检：经过窗口截断后，现时保留住来的内容和历史高下文，是否仍然足以救助标的谜底。如若凭据不及，模子就可能学到 “明明看不到也硬答” 的坏习尚，增多幻觉风险。因此，AURA 会过滤掉那些视觉依据不充分、时分对应不准确、或者谜底与高下文不致的样本，只保留简直可靠的数据。关于及时问答，搜检谜底是否有视觉救助、是否事实正确、是否时分致；关于主动问答和多反应问答，则搜检回答时机是否理、内容是否准确且 grounded。

门为 “千里默与发声” 瞎想的查考标的

AURA 的查考标的叫 Silent-Speech Balanced Loss。这个瞎想特地要害。

原因在于：在流式场景里，千里默音讯远比非千里默回答多得多。如若径直用平凡交叉熵查考，模子很可能学到个 “安全战术”—— 尽量直千里默。与此同期，由于滑动窗口会截断高下文，较早的历史回答在现时窗口中可能照旧莫得饱和凭据救助，如若连续把这些回答王人作为监督标的，还会增多模子幻觉风险。

因此，AURA 采取了两项战术：

是只监督系数千里默音讯和后个非千里默回答；

二是对千里默类标的降权，让 “千里默” 和 “发声” 在查考中保抓相对平衡。

从消融试验来看，这个瞎想特地有。若改回默许交叉熵亏欠，AURA 在 OmniMMI 上的总体得益会从 25.4 降到 16.4，其中主动教唆智商 PA 以致会径直掉到 0.0。这讲明关于流式智能体来说，“什么时候不说” 确乎和 “说什么” 样壅塞。

及时部署怎样作念？

除了查考，AURA 还门瞎想了及时理系统。系统把流、ASR 和 TTS 集成在起，支抓输入、语音输入、多模态理和语音输出的圆善闭环。

为了保证永劫分运行时的低蔓延，AURA 在理阶段引入了 KV cache 复用和带缓冲区的浮动窗口战术。比较每来帧就坐窝删旧内容的粗浅 FIFO 式，这种瞎想能减少前缀变化频率，从而地复用已缱绻过的缓存，权贵裁汰重叠缱绻。论文试验标明，滑动窗口和 prefix caching 两者结，材干同期舍弃高下文增长并保管较低的 token 蔓延。

在部署层面，AURA 以 Qwen3-VL-8B-Instruct 为底座模子，并集成 ASR 和 TTS，终已矣了个可本色演示的及时系统。部署化后，系统可在 两张 80G 加速卡 上以 2 FPS 及时运行。

AURA 的查考与试验效果

StreamingBench 测试效果

OVO-Bench 测试效果

OmniMMI 测试效果

查考面，AURA 使用约 11.5 万条流式 QA 样本 和约 5.9 万条离线 QA 样本，合计约 17.4 万条样本、约 12 亿 token。模子最先化自 Qwen3-VL-8B-Instruct，只微调 LLM 部分，视觉编码器和汇聚模块保抓冻结。

在基准测试上，AURA 在三个代表流式领略 benchmark 上王人赢得了现时效果：

在 StreamingBench 上，AURA 总分达到 73.1；

在 OVO-Bench 上，AURA 总分达到 65.3；

在 OmniMMI 上，AURA 总分达到 25.4。

值得注意的是，AURA 不仅过了多种开源基线，在部分方针上也过了 GPT-4o 和 Gemini-1.5-Pro 等闭源模子，讲明它在 “及时视觉领略 + 主动交互” 这个朝上确乎作念出了比较圆善的系统率性。

天然，AURA 也不是莫得代价。论文报告走漏，经过流式查考后，模子在传统离线理免除务上的进展比较底座模子会有定回落，但举座仍然保抓了较强竞争力。这也讲明，AURA 并不是粗浅追求 benchmark，而是在离线智商与在线交互智商之间作念了次相对平衡的工程采用。

及时能进展如何？

蔓延测试效果

论文还给出了端到端蔓延拆解。

ASR 转写蔓延约 84.2 ms

AURA 主模子 TTFT 约 75.0 ms

句解码时分约 60 ms

TTS 块语音蔓延约 93.0 ms

综估算，从用户语音输入到系统输出段语音回复的总蔓延约为 312.2 ms。关于个同期触及领略、语音识别、文本生成和语音成的系统来说，这个速率照旧特地接近及时交互体验。

流畅：https://mp.weixin.qq.com/s/SqftzxwTD3g1-TatJEvYfw

流畅：https://mp.weixin.qq.com/s/SqftzxwTD3g1-TatJEvYfw

流畅：https://mp.weixin.qq.com/s/SqftzxwTD3g1-TatJEvYfw

归来

从这篇论文可以看出，AURA 想治理的并不是传统的问答，而是个接近真的寰宇的问题：如何让大模子成为个永久在线、抓续不雅察、懂得千里默、能够主动反应的视觉助手。

它的中枢价值，不仅仅提议了个新模子，而是把流式领略这件事拆解成了整套可落地的法：

有高下文治理，有三类流式交互界说，有系统化的数据引擎，有门为 “千里默 — 发声” 平衡瞎想的查考标的，还有面向及时部署的理框架。

如若说昔时的大模子像 “看完摄像后写报告的东说念主”，那么 AURA 想作念的，便是个简直站在现场、抓续值守、随时反应的 AI 助手。跟着这类责任抑遏进，将来的视觉智能系统大要不再仅仅 “回答你问了什么”，而是能卓绝领略场景、领略时机，并在简直壅塞的时候主动启齿。

1.本网站以及本平台支持关于《新广告法》实施的“极限词“用语属“违词”的规定，并在网站的各个栏目、产品主图、详情页等描述中规避“违禁词”。
2.本店欢迎所有用户指出有“违禁词”“广告法”出现的地方，并积极配合修改。
3.凡用户访问本网页，均表示默认详情页的描述，不支持任何以极限化“违禁词”“广告法”为借口理由投诉违反《新广告法》，以此来变相勒索商家索要赔偿的违法恶意行为。