論文の概要: ENCORE: Entropy-Guided Cropping and Attention Regularization for Robust Vision--Language Understanding

• arxiv url: http://arxiv.org/abs/2608.22996v1
• Date: Mon, 24 Aug 2026 09:00:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:44.003492
• Title: ENCORE: Entropy-Guided Cropping and Attention Regularization for Robust Vision--Language Understanding
• Title（参考訳）: ENCORE:Entropy-Guided Cropping and Attention Regularization for Robust Vision--Language Understanding
• Abstract要約: Vision-Language Models (VLM) は様々な視覚言語タスクでうまく機能するが、トランスフォーマーベースのビジュアルエンコーダは画像を固定解像度のサブイメージに分割する。 既存の手法は視覚的モダリティにのみ焦点を合わせており、プロンプト関連領域の完全性を動的に保存することができない。 2つのコンポーネントを持つエントロピー誘導フレームワークである textbfENCORE を提案する。
• 参考スコア（独自算出の注目度）: 40.664306877870715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-Language Models (VLMs) perform well on diverse vision-language tasks, but transformer-based visual encoders split images into fixed-resolution sub-images, compromising object integrity in lightweight VLMs. Existing methods only focus on the visual modality and fail to dynamically preserve the integrity of prompt-relevant regions, limiting performance. In this work, we observe that the early-layer image-text entropy of cross-modal attention strongly correlates with answer grounding quality and task accuracy. Building on this finding, we propose \textbf{ENCORE}, an entropy-guided framework with two components: At inference, an \textbf{Entropy-based Cropping Strategy} (ECS) evaluates a small set of candidate crops and selects the one with minimal entropy, preserving contiguous regions relevant to the prompt. At training, \textbf{Entropy Regularization Training} (ERT) augments next-token prediction with an entropy term that sharpens attention on key visual tokens while down-weighting irrelevant ones. Experiments on ten VQA benchmarks show that ENCORE, fine-tuning only 0.14\% of parameters, achieves an average 1.43\% accuracy gain and state-of-the-art performance among recent 2B-parameter VLMs. Our code is released in https://github.com/baokou-fw2/ENCORE.
• Abstract（参考訳）: VLM(Vision-Language Models)は様々な視覚言語タスクでうまく機能するが、トランスフォーマーベースのビジュアルエンコーダは画像を固定解像度のサブイメージに分割し、軽量なVLMにおけるオブジェクトの整合性を損なう。 既存の手法は視覚的モダリティにのみ焦点を合わせ、プロンプト関連領域の整合性を動的に保たず、性能を制限している。 本研究では,クロスモーダルアテンションの早期層画像テキストエントロピーが,応答基盤品質とタスク精度とを強く関連付けることを観察する。 この発見に基づいて,2つのコンポーネントを持つエントロピー誘導フレームワークである \textbf{ENCORE} を提案する。 推論において, \textbf{Entropy-based Cropping Strategy} (ECS) は,少数の候補作物を評価し,最小のエントロピーを持つものを選択する。 トレーニングでは、'textbf{Entropy Regularization Training} (ERT) は、重要視トークンに注意を向け、無関係なトークンに注意を向けるエントロピー用語で、次のトーケン予測を強化する。 10のVQAベンチマークでの実験では、ENCOREはパラメータの0.14\%しか微調整していないため、最近の2BパラメータのVLMでは平均1.43\%の精度向上と最先端のパフォーマンスが達成されている。 私たちのコードはhttps://github.com/baokou-fw2/ENCOREで公開されています。

関連論文リスト

• [CLS] is Not Enough: Multi-Label Recognition via Patch-Level Inference and Adaptive Aggregation [20.637119409165418]
  PIAAは、アダプティブアグリゲーション(Adaptive Aggregation)によって、パッチレベルの推論として予測を定式化する。 パッチレベルのスコアを最終的なマルチラベル予測に集約するアダプティブアグリゲーションモジュールを導入する。 実験の結果,提案手法は最小限の余剰計算で強い改善を達成できることがわかった。
  論文  参考訳（メタデータ） (2026-05-25T13:19:12Z)
• Beyond Attention Magnitude: Leveraging Inter-layer Rank Consistency for Efficient Vision-Language-Action Models [75.27089289058613]
  textbfTIES(textbfTau-guided textbfInter-layer textbfEfficient textbfSelection)は、層間トークンランキングの整合性によって導かれる動的フレームワークである。 CogACT + SIMPLERベンチマークでは、TIESは平均成功率を6%改善し、トークン使用率を78%削減した。
  論文  参考訳（メタデータ） (2026-03-26T02:13:03Z)
• Nüwa: Mending the Spatial Integrity Torn by VLM Token Pruning [82.39668822222386]
  ビジョントークンプルーニングは、効率的なビジョン言語モデル(VLM)のための効果的なアクセラレーション手法であることが証明された。 空間的整合性を維持しつつ,効率的な特徴集約を実現するための2段階のトークンプルーニングフレームワークである$textNwa$を提案する。 実験によると、textNwa$は複数のVQAベンチマーク(94%から95%)でSOTAのパフォーマンスを達成し、視覚的グラウンドタスク(7%から47%)を大幅に改善している。
  論文  参考訳（メタデータ） (2026-02-03T00:51:03Z)
• ResAgent: Entropy-based Prior Point Discovery and Visual Reasoning for Referring Expression Segmentation [21.87321809019825]
  Referring Expression(RES)は、自由形式の言語表現によるターゲットのピクセルレベルの理解を可能にする、コアビジョン言語セグメンテーションタスクである。 textbfmodelは textbfEntropy-textbfBased Point textbfDiscovery (textbfEBD) と textbfVision-textbfBased textbfReasoning (textbfVBR) を統合する新しいRESフレームワークである。 model は coarse-to を実装します
  論文  参考訳（メタデータ） (2026-01-23T01:56:04Z)
• AdaptInfer: Adaptive Token Pruning for Vision-Language Model Inference with Dynamical Text Guidance [7.594255363909475]
  視覚言語モデル(VLM)は、視覚的質問応答(VQA)のような多モーダル推論タスクにおいて印象的な性能を達成した。 プリフィル段階で処理される多数の視覚トークンのために、それらの推論コストは依然として大きな課題である。 既存のプルーニング手法は、しばしばアテンションパターンや静的テキストプロンプトガイダンスを直接使用することに依存し、推論時に発生する動的内部信号の活用に失敗する。 InVLMにおける適応型視覚トークンプルーニングのためのプラグイン・アンド・プレイフレームワークであるAdaptInferを提案する。
  論文  参考訳（メタデータ） (2025-08-08T07:27:26Z)
• End-to-End Vision Tokenizer Tuning [73.3065542220568]
  低レベルの再構築のために最適化された視覚トークンーは、様々な表現と意味論を必要とする下流タスクである。 視覚トークン化の損失は、ターゲットタスクの表現ボトルネックになる可能性がある。 本研究では,視覚トークン化と目標自己回帰タスクを協調的に最適化するエンド・ツー・エンドの視覚トークン化チューニング手法であるETTを提案する。
  論文  参考訳（メタデータ） (2025-05-15T17:59:39Z)
• Back to Fundamentals: Low-Level Visual Features Guided Progressive Token Pruning [8.284127681482202]
  LVTPは、マルチスケールのTsallisエントロピーと2倍のクラスタリングを備えた低レベル視覚特徴によってガイドされるプログレッシブトークンプルーニングフレームワークである。 高レベルのセマンティクスと、正確なセグメンテーションのための基本的な視覚属性を統合している。 プラグアンドプレイモジュールとして、アーキテクチャの変更や追加のトレーニングは必要ありません。
  論文  参考訳（メタデータ） (2025-04-25T00:43:20Z)
• Robust Scene Change Detection Using Visual Foundation Models and Cross-Attention Mechanisms [27.882122236282054]
  本稿では,視覚基礎モデルDINOv2の頑健な特徴抽出機能を活用したシーン変化検出手法を提案する。 我々は,VL-CMU-CDとPSCDの2つのベンチマークデータセットに対するアプローチと,その視点評価バージョンについて検討した。 実験では,F1スコアにおいて,特に画像ペア間の幾何学的変化を伴うシナリオにおいて,顕著な改善が示された。
  論文  参考訳（メタデータ） (2024-09-25T11:55:27Z)
• VisMin: Visual Minimal-Change Understanding [7.226130826257802]
  Visual Minimal-Change Understanding (VisMin)と呼ばれる新しい挑戦的なベンチマークを導入する。 VisMinは、2つの画像と2つのキャプションによって正しい画像キャプチャマッチを予測するモデルを必要とする。 我々は,大規模言語モデルと拡散モデルを用いた自動フレームワークを構築し,続いて人間のアノテーションによる厳密な4段階の検証プロセスを構築した。
  論文  参考訳（メタデータ） (2024-07-23T18:10:43Z)
• ArcSin: Adaptive ranged cosine Similarity injected noise for Language-Driven Visual Tasks [43.42682181017004]
  本稿では,視覚言語学習のための画像入力をテキストに置き換える。 先行ノイズ注入法に着想を得て、適応範囲のコサイン類似性注入ノイズ(ArcSin)を導入する。 実験結果から,これらのモデルが画像上で訓練されたモデルと性能的に密接に競合していることが判明した。
  論文  参考訳（メタデータ） (2024-02-27T08:20:45Z)
• Learning Feature Matching via Matchable Keypoint-Assisted Graph Neural Network [52.29330138835208]
  画像のペア間の局所的な特徴の正確なマッチングは、コンピュータビジョンの課題である。 従来の研究では、注意に基づくグラフニューラルネットワーク(GNN)と、画像内のキーポイントに完全に接続されたグラフを使用するのが一般的だった。 本稿では,非繰り返しキーポイントをバイパスし,マッチング可能なキーポイントを利用してメッセージパッシングを誘導する,疎注意に基づくGNNアーキテクチャであるMaKeGNNを提案する。
  論文  参考訳（メタデータ） (2023-07-04T02:50:44Z)
• Explicit Visual Prompting for Low-Level Structure Segmentations [55.51869354956533]
  我々はExplicit Visual Prompting(EVP)という新しいビジュアルプロンプトモデルを提案する。 EVPは、同じ量のチューナブルパラメータの下で、他のパラメータ効率のチューニングプロトコルを著しく上回る。 EVPはまた、様々な低レベル構造セグメンテーションタスクにおける最先端のパフォーマンスも達成している。
  論文  参考訳（メタデータ） (2023-03-20T06:01:53Z)
• COTS: Collaborative Two-Stream Vision-Language Pre-Training Model for Cross-Modal Retrieval [59.15034487974549]
  画像テキスト検索のための新しいコラボレーティブな2ストリームビジョン言語事前学習モデルCOTSを提案する。 我々のCOTSは,2ストリーム方式の中で最も高い性能を達成し,推論の速度は10,800倍に向上した。 重要なことは、我々のCOTSはテキストからビデオへの検索にも適用でき、広く使われているMSR-VTTデータセットに新たな最先端技術をもたらすことである。
  論文  参考訳（メタデータ） (2022-04-15T12:34:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。