論文の概要: OmniRoute: Mapping Temporal Semantic Evidence to Audio-Visual Token Budgets for Efficient Omnimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2609.37052v1
- Date: Tue, 29 Sep 2026 08:58:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.346375
- Title: OmniRoute: Mapping Temporal Semantic Evidence to Audio-Visual Token Budgets for Efficient Omnimodal Large Language Models
- Title（参考訳）: OmniRoute:効率的なOmnimodal Large Language Modelのための時間的セマンティックエビデンスを音声-視覚的トーケン予算にマッピングする
- Abstract要約: 時間的変動と局所連続性によって動機づけられた学習自由な2段階圧縮フレームワークであるOmniRouteを提案する。
4つの代表的なベンチマークの実験では、推論効率とパフォーマンスのトレードオフが競合ベースラインよりも優れていることが示されている。
- 参考スコア（独自算出の注目度）: 16.81735641234066
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Omnimodal large language models (Omni-LLMs) encode audio and visual streams into temporally interleaved token sequences for multimodal reasoning. However, processing long audio-visual token sequences incurs substantial prefill costs. Existing compression methods have made progress, but often overlook temporal changes in audio-visual semantic relevance. Motivated by temporal variation and local continuity, we propose OmniRoute, a training-free, two-stage compression framework. First, Temporal Evidence-Guided Budgeting (TEGB) derives chunk-wise modality preferences and initial leading-modality budgets from semantic relevance and local content variation. Second, Budget-Constrained Semantic Compression (BCSC) compresses the leading modality and then calibrates the follower's retention target using the actual retained fraction. For video, it combines spatiotemporal grouping with query-guided selection; for audio, it selects tokens based on encoder attention and query relevance, then merges residual tokens into context anchors under visual guidance. Experiments on four representative benchmarks demonstrate a better trade-off between inference efficiency and performance than competitive baselines. The code and interface will be released to facilitate further research.
- Abstract（参考訳）: オムニモーダル大言語モデル(Omni-LLMs)は、音声と視覚ストリームを時間的にインターリーブされたトークンシーケンスにエンコードし、マルチモーダル推論を行う。
しかし、長い音声-視覚トークンシーケンスを処理すると、かなりのプリフィルコストが発生する。
既存の圧縮手法は進歩してきたが、しばしば音声と視覚のセマンティック関連性の時間的変化を見落としている。
時間的変動と局所連続性によって動機づけられた学習自由な2段階圧縮フレームワークであるOmniRouteを提案する。
第一に、時間的エビデンス誘導予算(TEGB)は、意味的関連性や局所的内容の変化から、チャンクワイドなモダリティの選好と初期先進的なモダリティの予算を導出する。
第二に、Budget-Constrained Semantic Compression (BCSC)は、先頭のモダリティを圧縮し、実際の保持率を用いてフォロワーの保持目標を校正する。
ビデオでは、時空間的なグループ化とクエリ誘導の選択を組み合わせる。オーディオでは、エンコーダの注意とクエリ関連性に基づいてトークンを選択し、視覚的ガイダンスの下で残留トークンをコンテキストアンカーにマージする。
4つの代表的なベンチマークの実験では、推論効率とパフォーマンスのトレードオフが競合ベースラインよりも優れていることが示されている。
コードとインターフェースは、さらなる研究を促進するためにリリースされます。
関連論文リスト
- Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。
本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
論文 参考訳（メタデータ） (2026-08-10T07:49:10Z) - OmniDelta: Skill-Driven Budget Allocation for Token Compression in OmniLLMs [27.392988683974256]
本稿では,意図認識型モーダルアロケーションとコンテンツ認識型イントラモーダルアロケーションを併用した,トレーニングフリーなスキル駆動型フレームワークを提案する。
Qwen2.5-Omni-7Bの25%のトークン保持で、OmniDeltaはGPUメモリを22.0%削減し、フルトークン推論よりも1.64倍のエンドツーエンドのスピードアップを達成する。
論文 参考訳（メタデータ） (2026-07-28T12:50:31Z) - Omni-Prune: Query-Aware Unified Token Pruning for Efficient Omnimodal Large Language Models [18.902147033940434]
Omni-Pruneは、トレーニング不要で、クエリ対応のオーディオ-ビジュアルトークンプルーニングフレームワークである。
タスク関連のクロスモーダルな証拠を保持しながら、両方のモダリティから冗長性を取り除く。
最大3.25倍のプリフィルスピードアップと1.3倍のメモリ削減を実現し、フルモデル性能の99%を維持できる。
論文 参考訳（メタデータ） (2026-07-26T03:51:39Z) - OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models [72.34361439042634]
我々は,OmniLLMのトレーニング不要なクエリ誘導トークン圧縮手法を提案し,ビデオとオーディオの重要度を独立に推定する。
Qwen2.5-Omniモデルの4つのオーディオ・ビジュアル・ベンチマークによる実験は、OmniFocusが低トークン保持比で強い圧縮性能を維持していることを示している。
論文 参考訳（メタデータ） (2026-07-03T07:41:00Z) - OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models [49.34557936004057]
本稿では,マルチモーダル入力に対する適切な圧縮戦略を動的に選択する,トレーニングフリーなモダリティ適応型トークンプルーニングフレームワークを提案する。
本手法は, 訓練を必要とせず, 高い性能を維持しつつ, 効率的なマルチモーダルトークン削減を実現する。
論文 参考訳（メタデータ） (2026-05-18T08:33:52Z) - Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。
統一デコーダは 時空間のスムーズなバイアスを示します
LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
論文 参考訳（メタデータ） (2026-04-16T02:30:41Z) - DASH: Dynamic Audio-Driven Semantic Chunking for Efficient Omnimodal Token Compression [5.201210378318278]
トークン圧縮と意味構造を協調する動的オーディオ駆動セマンティックcHunking(DASH)を提案する。
DASHは音声埋め込みをセマンティックアンカーとして扱い、コサイン類似性不連続性によって境界候補を検出する。
AVUT、VideoMME、WorldSenseの実験では、DASHは従来の方法に比べて高い圧縮比を達成しつつ、優れた精度を維持している。
論文 参考訳（メタデータ） (2026-03-15T15:22:06Z) - EchoingPixels: Cross-Modal Adaptive Token Reduction for Efficient Audio-Visual LLMs [28.295585578439212]
EchoingPixelsは、現実世界のシーンにおける視覚と音の共存と相互作用にインスパイアされたフレームワークである。
これは、モダリティごとに固定予算を使うのではなく、オーディオ・ビジュアル・トークンの合計プールからトークンを減らします。
オリジナルのトークンの5～20%しか使用せず、2～3倍のスピードアップとメモリ削減を実現している。
論文 参考訳（メタデータ） (2025-12-11T06:18:58Z) - OmniZip: Audio-Guided Dynamic Token Compression for Fast Omnimodal Large Language Models [21.542205813984243]
本稿では,マルチモーダルトークン表現と推論を最適化する,トレーニング不要な音声視覚トークン圧縮フレームワークを提案する。
具体的には、OmniZipはまず健全な音声トークンを特定し、その後、各タイムグループの音声保持スコアを計算して情報をキャプチャする。
タイムウィンドウ毎に、OmniZipはインターリーブ時間スキームを使用してビデオトークンを圧縮する。
論文 参考訳（メタデータ） (2025-11-18T15:22:32Z) - Discrete Audio Tokens: More Than a Survey! [137.3721175670642]
本稿では,離散型音声トークンの体系的レビューとベンチマークを行う。
音声、音楽、一般的なオーディオドメインをカバーしている。
本稿では,エンコーダデコーダ,量子化技術,トレーニングパラダイム,ストリーム性,アプリケーションドメインに基づくトークン化アプローチの分類法を提案する。
論文 参考訳（メタデータ） (2025-06-12T01:35:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。