論文の概要: Learning to Reason with Compressed Context: Ground-Truth-Free Adaptation of OmniLLMs via Self-Distillation

• arxiv url: http://arxiv.org/abs/2609.39953v1
• Date: Wed, 30 Sep 2026 15:24:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:27.971899
• Title: Learning to Reason with Compressed Context: Ground-Truth-Free Adaptation of OmniLLMs via Self-Distillation
• Title（参考訳）: 圧縮文脈による推論の学習:自己蒸留によるOmniLLMの地層構造自由適応
• Abstract要約: CAFD (Compressed-Context Adaptation via Full-Context Distillation) は、OmniLLMsを固定圧縮パイプラインに適応させる、基調のない自己蒸留フレームワークである。 5つのオーディオビデオベンチマーク、5つの圧縮パイプライン、5つのデプロイメント予算を評価した。
• 参考スコア（独自算出の注目度）: 13.971594218658401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Omni-modal large language models (OmniLLMs) enable unified audio-video understanding, but their long multimodal token sequences make deployment computationally expensive. Token compression reduces this cost, yet aggressive compression often lowers accuracy. Existing works predominantly focus on designing better compression mechanisms; however, adapting the underlying language model to reason effectively over the remaining compressed context remains under-explored. To address this, we propose CAFD (Compressed-Context Adaptation via Full-Context Distillation), a ground-truth-free self-distillation framework that adapts OmniLLMs to fixed compression pipelines without requiring reference answers, rationales, or correctness rewards. CAFD leverages the full-token view of the same multimodal sample as a source of privileged information: a full-context self-teacher provides soft target supervision to a compressed-context student along the student's on-policy trajectory. Evaluated on Qwen2.5-Omni-7B across five audio-video benchmarks, five compression pipelines, and five deployment budgets, CAFD demonstrates consistent gains, improving 120 out of 125 conditions with an average accuracy boost of 1.44 points and recovering 26.9% of the accuracy gap on average. These results demonstrate that the proposed ground-truth-free adaptation offers an effective and practical route to improving the accuracy-efficiency trade-off in deployed OmniLLMs.
• Abstract（参考訳）: Omni-modal large language model (OmniLLMs) は、音声とビデオの統一的な理解を可能にするが、その長いマルチモーダルトークンシーケンスは、デプロイメントを計算的に高価にする。 トーケン圧縮は、このコストを削減するが、アグレッシブ圧縮は、しばしば精度を低下させる。 既存の作業は主により良い圧縮機構の設計に重点を置いているが、残りの圧縮されたコンテキストに対して効果的に推論するために基礎となる言語モデルを適用することは、まだ未定のままである。 そこで本研究では,OmniLLMを参照応答や有理性,正当性を必要とせず,固定された圧縮パイプラインに適応させる,地平自由な自己蒸留フレームワークであるCAFDを提案する。 CAFDは、特権情報のソースとして、同じマルチモーダルサンプルの完全な視点を利用する: フルコンテクストの自己教育者は、学生のオンライン軌道に沿って、圧縮されたコンテキストの学生にソフトターゲットの監督を提供する。 5つのオーディオビデオベンチマーク、5つの圧縮パイプライン、5つのデプロイメント予算でQwen2.5-Omni-7Bを評価すると、CAFDは一貫性のあるゲインを示し、125条件のうち120が改善され、平均精度は1.44ポイント向上し、平均精度ギャップの26.9%が回復した。 これらの結果から,提案手法は,OmniLLMの精度・効率トレードオフを改善するための有効かつ実用的な方法であることがわかった。

関連論文リスト

• Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models [65.49950267695267]
  我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。 本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
  論文  参考訳（メタデータ） (2026-08-10T07:49:10Z)
• OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models [72.34361439042634]
  我々は,OmniLLMのトレーニング不要なクエリ誘導トークン圧縮手法を提案し,ビデオとオーディオの重要度を独立に推定する。 Qwen2.5-Omniモデルの4つのオーディオ・ビジュアル・ベンチマークによる実験は、OmniFocusが低トークン保持比で強い圧縮性能を維持していることを示している。
  論文  参考訳（メタデータ） (2026-07-03T07:41:00Z)
• OmniRefine: Alignment-Aware Cooperative Compression for Efficient Omnimodal Large Language Models [14.355322423471018]
  我々は,Omni-LLMにおける効率的な音声・視覚トークン圧縮のためのトレーニングフリー2段階フレームワークを提案する。 第一に、対応保存チャンクリファインメントは、ネイティブチャンク境界をクロスモーダルな圧縮ユニットに洗練する。 第二に、Modality-Aware Cooperative Compressionは、各改良されたユニット内のビデオトークンとオーディオトークンを共同で圧縮し、重要な証拠を保持しながら冗長性を低下させる。
  論文  参考訳（メタデータ） (2026-05-12T12:42:44Z)
• CLAD: Efficient Log Anomaly Detection Directly on Compressed Representations [2.487363589269089]
  圧縮バイトストリーム上でLADを直接実行する最初のディープラーニングフレームワークであるCLADを紹介する。 本稿では,拡張畳み込みバイトエンコーダ,ハイブリッドトランスフォーマー--mLSTM,4方向アグリゲーションプールを統合した汎用アーキテクチャを提案する。 CLADは5つのデータセットで評価され、最先端の平均F1スコアは0.9909であり、最高のベースラインを2.72ポイント上回る。
  論文  参考訳（メタデータ） (2026-04-14T17:57:01Z)
• Prune Redundancy, Preserve Essence: Vision Token Compression in VLMs via Synergistic Importance-Diversity [54.95089105944234]
  視覚言語モデル(VLM)は、過剰な視覚トークンの生成によって引き起こされる計算の非効率性に直面する。 2段階パイプラインを特徴とする訓練不要なSynergistic Importance-DiversityアプローチPruneSIDを提案する。 LLaVA-NeXTでは11.1%のトークン保持率で96.3%の精度、極端な圧縮速度(5.6%)で92.8%の精度を実現した。
  論文  参考訳（メタデータ） (2026-03-10T10:31:58Z)
• Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression [55.63153956934198]
  Chain-of-Thought (CoT)推論はLarge Language Models (LLMs)の推論能力をうまく向上させる 既存のCoT圧縮法は、しばしば高い圧縮比で論理的忠実度が著しく低下する。 本稿では,Extra-CoTと呼ばれる新しいEXTreme-RAtio Chain-of-Thought Compressionフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-09T06:57:15Z)
• Accelerating Chain-of-Thought Reasoning: When Goal-Gradient Importance Meets Dynamic Skipping [3.521097198612099]
  Adaptive GoGI-Skipは、教師付き微調整によって動的CoT圧縮を学ぶ新しいフレームワークである。 CoTトークンの数を平均で45%以上削減し、1.6～2.0倍の推論スピードアップを実現している。 特に、高い効率の圧縮速度でも精度を保ち、既存のベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2025-05-13T09:39:18Z)
• Learning Accurate Performance Predictors for Ultrafast Automated Model Compression [86.22294249097203]
  フレキシブルネットワーク展開のための超高速自動モデル圧縮フレームワークSeerNetを提案する。 本手法は,探索コストを大幅に削減した競合精度・複雑度トレードオフを実現する。
  論文  参考訳（メタデータ） (2023-04-13T10:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。