論文の概要: Calibrating Attention-Based Token Pruning for Efficient Multi-Image Synthesis in UMMs
- arxiv url: http://arxiv.org/abs/2610.39467v1
- Date: Thu, 29 Oct 2026 06:39:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 23:43:56.268904
- Title: Calibrating Attention-Based Token Pruning for Efficient Multi-Image Synthesis in UMMs
- Title（参考訳）: UMMにおける効率的な複数画像合成のための留意点に基づくトーケンプルーニングの校正
- Abstract要約: CATPは、UMM生成に適したトレーニング不要の文脈圧縮手法である。
Guidance-Consistent Pruning (GCP)は、条件付きブランチ間でプルーニング決定を同期させる。
Fast Scoring Operator (FSO) は、キャリブレーションをオンライン版Softmaxに融合してプルーニングコストを削減する。
- 参考スコア（独自算出の注目度）: 32.37937378581086
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unified Multimodal Models (UMMs) enable powerful multi-image synthesis but incur substantial computation from long visual contexts. While token pruning offers a direct route to accelerating inference, existing methods are primarily adapted from understanding tasks, suffering from insufficient reference image exploration, confused conditional guidance, and pooling-induced ambiguity that degrades generation quality. To address these issues, we propose CATP, the first training-free context-compression method tailored to UMM generation, which \textbf{C}alibrates the discrepancies of general \textbf{A}ttention-based \textbf{T}oken \textbf{P}runing for better quality-efficiency trade-off. Concretely, building on independent layer-wise pruning during denoising, we introduce Guidance-Consistent Pruning (GCP) to synchronize pruning decisions across conditioning branches, and a Taylor-Calibrated Attention Metric (TCAM) that derives a theoretically grounded second-order correction for pooling-induced bias. In addition, a Fast Scoring Operator (FSO) fuses the calibration into tiled online Softmax to reduce pruning cost. Extensive experiments across representative UMMs and benchmarks demonstrate that CATP consistently outperforms state-of-the-art token-reduction methods, achieving up to 2.09$\times$ attention-core speedup.
- Abstract（参考訳）: 統一マルチモーダルモデル(UMM)は、強力なマルチイメージ合成を可能にするが、長い視覚的コンテキストからかなりの計算を得られる。
トークンプルーニングは推論を加速する直接的な経路を提供するが、既存の手法は主に理解作業に適応しており、参照画像探索の不十分、条件誘導の混乱、生成品質を低下させるプーリングによる曖昧さに悩まされている。
これらの問題に対処するため,CATP は UMM 生成に適した最初の学習自由文脈圧縮法であり,汎用 \textbf{A}ttention-based \textbf{T}oken \textbf{P}runing の相違を補正し,品質効率のトレードオフを改善する。
具体的には、デノナイズ中の独立したレイヤワイドプルーニングに基づいて、条件付きブランチ間のプルーニング決定を同期させる誘導一貫性プルーニング(GCP)と、プールによるバイアスに対する理論的に基底付けられた2次補正を導出するTaylor-Calibrated Attention Metric(TCAM)を導入する。
さらに、FSO(Fast Scoring Operator)は、キャリブレーションをオンライン版Softmaxに融合してプルーニングコストを削減する。
代表的UMMとベンチマークの広範な実験により、CATPは最先端のトークン還元法を一貫して上回り、最高2.09$\times$ attention-core speedupを達成した。
関連論文リスト
- MCPO: Modality-Contrastive Preference Optimization for Multimodal Chain-of-Thought Compression [40.580984703096945]
そこで本研究では,900点未満のトレーニングサンプルを必要とする2段階長圧縮法を提案する。
圧縮段階では、ステップレベルの正規化相互情報プルーニングアルゴリズムを導入する。
アライメント段階では、非対称なマルチモーダル長制御された選好損失を用いる。
実験の結果,CoT長を最大69.5%削減し,最大3.34倍の高速化を実現できることがわかった。
論文 参考訳（メタデータ） (2026-09-04T09:54:53Z) - Structured Redundancy Modeling for Efficient Visual Token Pruning in High-Resolution MLLMs [9.080169376642433]
本稿では,スコアリング空間に直接冗長性制御を組み込む視覚トークンプルーニングの構造的再構成を提案する。
提案手法は,Qwen2.5-VLの512トークンにおいて,112.4msから2.5msまでのトークン選択プロセスを110msまで削減し,安定な選択コストを維持していることを示す。
論文 参考訳（メタデータ） (2026-07-25T05:08:22Z) - SuCo: Sufficiency-guided Continuous Adaptive Reasoning [59.17222918775686]
大型共振モデル(LRM)は、しばしば超長鎖(CoT)を生成する。
この非効率を緩和するための既存の取り組みは、通常、個別の推論モードや固定予算層に依存します。
我々は,CoTトラジェクトリの最短接頭辞として定義された最小サフィシエント CoT (MSC) を導入する。
論文 参考訳（メタデータ） (2026-06-16T08:52:15Z) - Focus When Necessary: Adaptive Routing and Collaborative Grounding for Training-Free Visual Grounding [56.38477453373368]
LazyMCoTは動的でトレーニング不要なフレームワークで、サンプルの難易度に基づいて視覚的接地作業を適応的に割り当てる。
LazyMCoTは、推論精度を同時に改善し、平均推論レイテンシを低減することで、トレーニングベースのアプローチと競合する。
論文 参考訳（メタデータ） (2026-06-15T03:17:44Z) - LaME: Learning to Think in Latent Space for Multimodal Embedding via Information Bottleneck [28.83441191878705]
本稿では,埋め込み指向の潜伏推論を弱教師付き情報ボトルネックとして定式化するLaMEを提案する。
LaMEは、学習可能な理由トークンを固定容量ボトルネックとして使用し、すべての推論を単一の前方パスで完了させる。
MMEB-v2 と MRMR の実験では、LaME はいくつかのCoT ベースのモデルを上回る競争性能を達成している。
論文 参考訳（メタデータ） (2026-06-11T08:47:25Z) - MAny: Merge Anything for Multimodal Continual Instruction Tuning [52.50936513604062]
textbfMAny(textbfMAny)は、textbfCross-modal textbfProjection textbfMergingを通じてタスク固有の知識を統合するフレームワークである。
textbfLow-rank textbfParameter textbfMerging (textbfLPM)
論文 参考訳（メタデータ） (2026-04-15T15:57:23Z) - GEM-TFL: Bridging Weak and Full Supervision for Forgery Localization through EM-Guided Decomposition and Temporal Refinement [24.929199892659636]
Temporal Forgery Localizationは、ビデオやオーディオストリーム内で操作されたセグメントを正確に識別することを目的としており、マルチメディアの法医学とセキュリティの解釈可能な証拠を提供する。
しかし、Wakly Supervised TFL (WS-TFL) は、バイナリビデオレベルラベルからのみ学習することでラベリングコストを削減する。
GEM-TFLは,学習と推論の監督のギャップを効果的に埋める2段階の分類回帰フレームワークである。
論文 参考訳（メタデータ） (2026-03-05T12:07:26Z) - Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。
TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
論文 参考訳（メタデータ） (2025-12-10T01:54:57Z) - Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。
Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
論文 参考訳（メタデータ） (2025-09-28T13:27:38Z) - Multimodal LLM-Guided Semantic Correction in Text-to-Image Diffusion [52.315729095824906]
MLLM Semantic-Corrected Ping-Pong-Ahead Diffusion (PPAD) は,マルチモーダル大言語モデル(MLLM)を推論中の意味的オブザーバとして導入する新しいフレームワークである。
中間世代をリアルタイムに分析し、潜在意味的不整合を識別し、フィードバックを制御可能な信号に変換し、残りの認知ステップを積極的に導く。
大規模な実験ではPPADの大幅な改善が示されている。
論文 参考訳（メタデータ） (2025-05-26T14:42:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。