論文の概要: Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models
- arxiv url: http://arxiv.org/abs/2608.09227v1
- Date: Mon, 10 Aug 2026 07:49:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:37.13269
- Title: Omni2LoRA: Coherence-Preserving Parametric Memory for Efficient Omni Language Models
- Title（参考訳）: Omni2LoRA:効率的なOmni言語モデルのためのコヒーレンス保存パラメトリックメモリ
- Abstract要約: 我々はコヒーレンス保存コンテクスト蒸留によるパラメトリックメモリの効率的な圧縮フレームワークであるOmni2LoRAを紹介する。
本手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時間のマルチモーダルトーケン負荷をゼロにする。
- 参考スコア（独自算出の注目度）: 65.49950267695267
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Omnimodal language models (OLMs) enable unified audio-visual understanding, but processing long joint token sequences makes inference computationally prohibitive. While recent token compression methods attempt to alleviate this burden, compressing modalities in isolation often destroys the temporal cross-modal anchors necessary for coherent reasoning. We introduce Omni2LoRA, a two-stage framework for efficient parametric memory compression via coherence-preserving context distillation that bypasses the token bottleneck entirely. First, a Perceiver hypernetwork processes intermediate representations from a frozen OLM to encode the multimodal context into a full-rank Low-Rank Adaptation (LoRA) adapter in a single forward pass. To prevent the resulting parameter footprint from scaling linearly with recording length, we optimize a discrete rank allocation policy via Group Relative Policy Optimization (GRPO) that uses a modality-ablated counterfactual reward to explicitly penalize the loss of audio-visual coherence, forcing the model to allocate its fixed sub-linear rank budget to synergistic cross-modal anchors rather than isolated visual features. Across three omnimodal backbones, Omni2LoRA operating at a 30% rank budget outperforms direct full-context inference and strong token-compression baselines (OmniZip, OMAC, O-MARC) on four audio-visual question answering benchmarks, improving average accuracy by 8-12% over the strongest baseline and remaining stable under compression ratios as tight as 75%, where token-pruning methods degrade sharply. By converting multimodal memory into a fixed-budget, reusable parameter state, our method drives answer-time multimodal-token load to zero, cutting per-query Time to First Token (TTFT) by up to 12x relative to full-context inference and amortizing to under 0.5s after a handful of queries.
- Abstract（参考訳）: Omnimodal Language Model (OLM)は、音声と視覚の統一的な理解を可能にするが、長いジョイントトークンシーケンスの処理は推論を計算的に禁止する。
最近のトークン圧縮法では、この負担を軽減しようとするが、単独でモダリティを圧縮すると、コヒーレントな推論に必要な時間的クロスモーダルアンカーが破壊される。
トークンボトルネックを完全に回避したコヒーレンス保存型コンテキスト蒸留による2段階のパラメトリックメモリ圧縮フレームワークであるOmni2LoRAを紹介する。
まず、Perceiverハイパーネットワークは凍結したOLMから中間表現を処理し、マルチモーダルコンテキストを1つのフォワードパスでフルランクのローランド適応(LoRA)アダプタにエンコードする。
パラメータのフットプリントが記録長と線形にスケールするのを防止するため,モーダリティを付加した逆ファクト報酬を用いたグループ相対ポリシー最適化(GRPO)による離散的なランク割り当てポリシを最適化し,音声-視覚的コヒーレンス損失を明示的に補償し,固定されたサブ線形ランク予算を,分離された視覚特徴よりも相乗的クロスモーダルアンカーに割り当てる。
OmniZip, OMAC, O-MARC) は、4つの音声視覚質問応答ベンチマークで直接全文推論と強力なトークン圧縮ベースライン(OmniZip, OMAC, O-MARC)を上回り、最強のベースラインよりも平均精度を8-12%向上し、75%の圧縮比で安定している。
提案手法は,マルチモーダルメモリを固定予算で再利用可能なパラメータ状態に変換することにより,応答時マルチモーダルトーケン負荷をゼロにし,クエリ毎に最大12倍の1次トーケン(TTFT)をカットし,クエリを0.5秒以下に短縮する。
関連論文リスト
- ZOMP: Zeroth-Order Multi-Modal Prompt Tuning for Vision-Language Models [14.64726819144383]
ZOMPは、クエリ効率が高く、完全にフォワードのみのプロンプトチューニング手法である。
BPフリーのプロンプトチューニング手法では、数ショットの精度とクエリ効率の両方で一貫して性能が向上する。
その結果,マルチモーダリティと低ランク構造を併用することで,実用的で実用的なBPフリープロンプトチューニングに有効な経路であることが示唆された。
論文 参考訳（メタデータ） (2026-08-08T10:55:58Z) - OmniFocus: Query-Guided Modality-Balanced Token Compression for Omni-Modal Large Language Models [72.34361439042634]
我々は,OmniLLMのトレーニング不要なクエリ誘導トークン圧縮手法を提案し,ビデオとオーディオの重要度を独立に推定する。
Qwen2.5-Omniモデルの4つのオーディオ・ビジュアル・ベンチマークによる実験は、OmniFocusが低トークン保持比で強い圧縮性能を維持していることを示している。
論文 参考訳（メタデータ） (2026-07-03T07:41:00Z) - An Efficient vLLM-Based Inference Pipeline for Unified Audio Understanding and Generation [63.50393485685279]
音声の理解と生成を統一する vLLM ベースの推論パイプラインを提案する。
共有直観自由誘導(CFG)のスループットを克服する。
連続バッチ内でペア条件と非条件要求を共スケジューリングすることにより、CFGの実装は、非CFGスループットの80%を維持できます。
論文 参考訳（メタデータ） (2026-07-02T12:55:11Z) - OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。
本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。
X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
論文 参考訳（メタデータ） (2026-05-19T10:53:03Z) - OmniSelect: Dynamic Modality-Aware Token Compression for Efficient Omni-modal Large Language Models [49.34557936004057]
本稿では,マルチモーダル入力に対する適切な圧縮戦略を動的に選択する,トレーニングフリーなモダリティ適応型トークンプルーニングフレームワークを提案する。
本手法は, 訓練を必要とせず, 高い性能を維持しつつ, 効率的なマルチモーダルトークン削減を実現する。
論文 参考訳（メタデータ） (2026-05-18T08:33:52Z) - OmniRefine: Alignment-Aware Cooperative Compression for Efficient Omnimodal Large Language Models [14.355322423471018]
我々は,Omni-LLMにおける効率的な音声・視覚トークン圧縮のためのトレーニングフリー2段階フレームワークを提案する。
第一に、対応保存チャンクリファインメントは、ネイティブチャンク境界をクロスモーダルな圧縮ユニットに洗練する。
第二に、Modality-Aware Cooperative Compressionは、各改良されたユニット内のビデオトークンとオーディオトークンを共同で圧縮し、重要な証拠を保持しながら冗長性を低下させる。
論文 参考訳（メタデータ） (2026-05-12T12:42:44Z) - CAWN: Continuous Acoustic Wave Networks for Autoregressive Language Modeling [46.16066322190728]
完全連続配列混合アーキテクチャであるCAWN(Continuous Acoustic Wave Network)を導入する。
CAWNは離散行列ベースの注意を代わりに、多面体複素ドメインファサーに隠された状態を計画している。
超長コンテキスト上での信号劣化を防止するため,デュアルゲート選択位相共振機構を導入する。
論文 参考訳（メタデータ） (2026-04-05T20:13:22Z) - OmniSIFT: Modality-Asymmetric Token Compression for Efficient Omni-modal Large Language Models [42.615226139135174]
我々はOmni-LLM向けに設計されたトークン圧縮フレームワークであるOmniSIFTを提案する。
フレームワーク全体が、差別化可能なストレートスルー推定器を通じてエンドツーエンドに最適化されている。
オリジナルのトークンコンテキストの25%に過ぎないため、OmniSIFTはすべての圧縮ベースラインを一貫して上回り、複数のタスクでフルトーケンモデルのパフォーマンスを上回ります。
論文 参考訳（メタデータ） (2026-02-04T17:51:05Z) - SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。
本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。
ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
論文 参考訳（メタデータ） (2026-01-05T21:02:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。