論文の概要: R$^2$-Omni: Reducing Structural and Precision Redundancy in Omni-LLMs for Long-Form Generation

• arxiv url: http://arxiv.org/abs/2611.03247v1
• Date: Mon, 02 Nov 2026 14:57:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 05:32:07.714869
• Title: R$^2$-Omni: Reducing Structural and Precision Redundancy in Omni-LLMs for Long-Form Generation
• Title（参考訳）: R$^2$-Omni:長期発電用Omni-LLMの構造と高精度冗長性低減
• Abstract要約: 大規模言語モデルは通常、音声視覚入力から大量のマルチモーダルトークンを処理し、相当な計算コストとキー値キャッシュのメモリフットプリントを発生させる。 このギャップは、包括的な生成に必要な詳細を破棄しながら、回答選択の十分な証拠を保持することができるクエリ誘導選択に起因している。 トークン表現におけるこれらの2つのレベルの冗長性に対処するために、R$2$-Omniというトレーニング不要のフレームワークを導入する。
• 参考スコア（独自算出の注目度）: 14.171301432697115
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Omni-modal large language models (Omni-LLMs) typically process large numbers of multimodal tokens from audio-visual inputs, incurring substantial computational costs and a large memory footprint for the key-value (KV) cache. Aggressive token pruning can alleviate this problem while maintaining competitive performance on multiple-choice tasks, which require only a single option as output. However, we observe substantial quality degradation when generating long-form, open-ended responses. We attribute this gap to query-guided selection, which can retain sufficient evidence for answer selection while discarding details needed for comprehensive generation. This motivates reducing overlapping information across tokens, termed structural redundancy, while preserving diverse content. However, the retained representations may still contain precision redundancy due to unnecessarily high numerical precision in their cached values. To address these two levels of redundancy in token representations, we introduce a training-free framework named R$^2$-Omni. First, Structure-Aware Token Consolidation (STC) consolidates redundant representations using spatiotemporal similarity in video and local continuity in audio. Then, Semantic-Sensitivity Guided Precision Allocation (SSPA) allocates value precision to the retained representations according to the estimated reduction in attention-output error under quantized keys, with query attention and audio-visual alignment providing a semantic prior. Extensive experiments on long-form generation benchmarks demonstrate an average 5.0$\times$ reduction in the memory footprint while preserving 97.98% of baseline generation quality and achieving a 1.48$\times$ end-to-end speedup, highlighting the benefits of jointly reducing structural and precision redundancy.
• Abstract（参考訳）: オムニモード大言語モデル(Omni-LLMs)は、通常、音声視覚入力から大量のマルチモーダルトークンを処理し、相当な計算コストとキー値(KV)キャッシュのメモリフットプリントを発生させる。 攻撃的トークンプルーニングは、出力として1つのオプションのみを必要とする複数選択タスクの競合性能を維持しながら、この問題を軽減することができる。 しかし,長大かつオープンな応答を生成する際には,かなりの品質劣化が観察される。 このギャップは、包括的な生成に必要な詳細を破棄しながら、回答選択の十分な証拠を保持することができるクエリ誘導選択に起因している。 これは、多彩なコンテンツを保持しながら、構造的冗長性と呼ばれるトークン間の重なり合う情報の減少を動機付けている。 しかし、保持されている表現は、キャッシュされた値に不必要に高い数値の精度のため、精度の冗長性を含む可能性がある。 トークン表現におけるこれらの2つのレベルの冗長性に対処するために、R$^2$-Omniというトレーニング不要のフレームワークを導入する。 まず,ビデオの時空間的類似度と音声の局所的連続度を用いて,コンストラクチャ・アウェア・トークン統合(STC)を冗長表現に統合する。 次に、セマンティック・センシティビティ誘導精度割当(SSPA)は、量子化キー下での注意出力誤差の推定低減に応じて、保持された表現に値精度を割り当て、クエリ注意と音声視覚アライメントがセマンティックな事前情報を提供する。 長期生成ベンチマークに関する大規模な実験では、メモリフットプリントの平均5.0$\times$が減少し、ベースライン生成品質の97.98%が保たれ、エンドツーエンドのスピードアップが1.48$\times$達成された。

関連論文リスト

• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• Adaptive Tokenisation Via Temporal Redundancy Masking And Latent Inpainting [18.71433885255431]
  適応的ビデオトークン化(Adaptive Video tokenisation)は、シーケンスの基盤となる視覚的複雑さに基づいて、トークンの予算を動的に割り当てる。 凍結連続ビデオトークンの潜伏空間は,直接利用可能な時間的冗長性を本質的に符号化していることを示す。 パラメータフリー適応トークン割り当て機構を導入し,時間-L1差分に対する固定しきい値を適用した。
  論文  参考訳（メタデータ） (2026-06-04T13:31:12Z)
• SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
  大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。 最近の圧縮法はトークンマージによるコストを軽減している。 これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-19T17:44:56Z)
• Fast SAM2 with Text-Driven Token Pruning [52.8350457627401]
  Segment Anything Model 2 (SAM2) では、視覚計算モデルがプロンプト駆動のビデオオブジェクトセグメンテーションにおいて大幅に進歩している。 SAM2パイプラインは、イメージエンコーダが生成するすべての視覚トークンを、ターゲットオブジェクトとの関係にかかわらず、下流の時間的推論モジュールを通じて伝達する。 本稿では,時間的伝播に先立ってトークン密度を選択的に低減し,推論効率を向上させるためのテキスト誘導型トークンプルーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-24T18:59:05Z)
• Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
  トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2025-12-10T01:54:57Z)
• Memory- and Latency-Constrained Inference of Large Language Models via Adaptive Split Computing [8.705453442427585]
  大規模言語モデル(LLM)は様々な推論タスクでほぼ人間に近い性能を達成した。 リソース制約のあるIoT(Internet-of-Things)デバイスへのデプロイメントは、大量のパラメータフットプリントとメモリ集約型の自己回帰デコーディングのため、依然として現実的ではない。 この研究は、エッジデバイスにLLMを配置するために明示的に設計された最初の自動回帰対応分割コンピューティングフレームワークを紹介した。
  論文  参考訳（メタデータ） (2025-11-06T02:55:07Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。