論文の概要: ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning
- arxiv url: http://arxiv.org/abs/2603.28610v1
- Date: Mon, 30 Mar 2026 15:57:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-31 23:18:45.497931
- Title: ResAdapt: Adaptive Resolution for Efficient Multimodal Reasoning
- Title（参考訳）: ResAdapt: 効率的なマルチモーダル推論のための適応分解能
- Authors: Huanxuan Liao, Zhongtao Jiang, Yupu Hao, Yuqiao Tan, Shizhu He, Jun Zhao, Kun Xu, Kang Liu,
- Abstract要約: ResAdaptは入力側適応フレームワークで、エンコーディングする前に各フレームがどれだけの視覚的予算を受け取るべきかを学ぶ。
同じビジュアル予算で最大16倍のフレームをサポートし、15%以上のパフォーマンス向上を実現している。
- 参考スコア（独自算出の注目度）: 28.243939309208525
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal Large Language Models (MLLMs) achieve stronger visual understanding by scaling input fidelity, yet the resulting visual token growth makes jointly sustaining high spatial resolution and long temporal context prohibitive. We argue that the bottleneck lies not in how post-encoding representations are compressed but in the volume of pixels the encoder receives, and address it with ResAdapt, an Input-side adaptation framework that learns how much visual budget each frame should receive before encoding. ResAdapt couples a lightweight Allocator with an unchanged MLLM backbone, so the backbone retains its native visual-token interface while receiving an operator-transformed input. We formulate allocation as a contextual bandit and train the Allocator with Cost-Aware Policy Optimization (CAPO), which converts sparse rollout feedback into a stable accuracy-cost learning signal. Across budget-controlled video QA, temporal grounding, and image reasoning tasks, ResAdapt improves low-budget operating points and often lies on or near the efficiency-accuracy frontier, with the clearest gains on reasoning-intensive benchmarks under aggressive compression. Notably, ResAdapt supports up to 16x more frames at the same visual budget while delivering over 15% performance gain. Code is available at https://github.com/Xnhyacinth/ResAdapt.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)は入力の忠実度を拡大することでより強力な視覚的理解を実現するが、結果として生じる視覚的トークンの成長は、高空間分解能と長期的文脈の禁忌を共同で維持する。
このボトルネックは、ポストエンコーディング表現の圧縮方法ではなく、エンコーダが受信したピクセルのボリューム内において、各フレームがエンコードする前にどれだけの視覚的予算を受けるべきかを学習する入力側適応フレームワークであるResAdaptに対処することにある、と我々は主張する。
ResAdaptはMLLMのバックボーンが変更されていない軽量のアロケータを結合するので、バックボーンは演算子変換入力を受けながら、そのネイティブなビジュアルトーケンインターフェイスを保持する。
我々は,アロケータを文脈的ビジットとして定式化し,スパースロールアウトフィードバックを安定した精度で学習信号に変換するCAPO(Cost-Aware Policy Optimization)を訓練する。
予算管理されたビデオQA、時間的グラウンド、画像推論タスク全体にわたって、ResAdaptは低予算の運用ポイントを改善し、しばしば効率・正確性フロンティアに置かれる。
特にResAdaptは、同じビジュアル予算で最大16倍のフレームをサポートし、15%以上のパフォーマンス向上を実現している。
コードはhttps://github.com/Xnhyacinth/ResAdapt.comで入手できる。
関連論文リスト
- EVATok: Adaptive Length Video Tokenization for Efficient Visual Autoregressive Generation [80.13014959623452]
EVATokは、$textbfE$fficient $textbfV$ideo $textbfA$daptive $textbfTok$enizersを生成するフレームワークである。
EVATok は UCF-101 上でより優れた再構成と最先端のクラス・ビデオ生成を実現する。
論文 参考訳（メタデータ） (2026-03-12T17:59:59Z) - CoPE-VideoLM: Codec Primitives For Efficient Video Language Models [56.76440182038839]
ビデオ言語モデル(Video Language Models, ビデオ言語モデル)は、ビデオの時間的ダイナミクスを理解するためのAIシステムである。
現在の方法では、マクロレベルのイベントとマイクロレベルの詳細の両方を見逃すことができるサンプリングを使用する。
多くのフレームに対して高価なフルイメージエンコーディングを必要とせず、ビデオ冗長性と疎結合性を符号化するビデオプリミティブを活用することを提案する。
論文 参考訳（メタデータ） (2026-02-13T18:57:31Z) - Less is More: Token-Efficient Video-QA via Adaptive Frame-Pruning and Semantic Graph Integration [24.337139909108117]
過剰なフレームが文脈の希釈によってパラドックス的に性能を低下させる「レスはそれ以上」現象である。
視覚エコー」は「視覚エコー」という時間的冗長性を有する
AFP"は、ResNet-50とCLIPの機能空間に適応的な階層的クラスタリングアルゴリズムを用いて、これらのエコーを単一の代表に識別し、マージする。
我々の完全なアプローチは、必要なフレームを86.9%まで、合計入力トークンを83.2%まで劇的に削減することを示しています。
論文 参考訳（メタデータ） (2025-08-05T11:31:55Z) - STORM: Token-Efficient Long Video Understanding for Multimodal LLMs [116.4479155699528]
STORMは、イメージエンコーダとビデオLLMの間に専用のテンポラリエンコーダを組み込んだ、新しいアーキテクチャである。
我々は,STORMが様々な長いビデオ理解ベンチマークにおいて最先端の結果を達成することを示す。
論文 参考訳（メタデータ） (2025-03-06T06:17:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。