論文の概要: Readout Blindness: VLM Scores Miss the Spatial Direction Their Frozen Encoders Retain

• arxiv url: http://arxiv.org/abs/2610.06324v1
• Date: Mon, 05 Oct 2026 13:36:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 09:10:15.035334
• Title: Readout Blindness: VLM Scores Miss the Spatial Direction Their Frozen Encoders Retain
• Title（参考訳）: VLM、冷蔵エンコーダの空間的方向を見逃す
• Abstract要約: 我々は,字幕語を凍結した特徴のイメージパッチと整列し,一致した物体セントロイド間の符号付き変位によって各関係をスコアする非対称変位読み出し手法を提案する。 ADRは配置されたスコアよりも大幅に改善され、微調整エンコーダであってもほとんどの方向バランスのセットにほぼ近い確率で維持されることを示す。 より複雑な読み出しと比較すると、ADRは評価されたMLLM確率読み出しよりも優れており、計算のごく一部でチャット推論と競合する。
• 参考スコア（独自算出の注目度）: 49.084687777528046
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: CLIP-like vision-language models remain a cornerstone of multimodal systems, yet their scores stay near chance on directed spatial relations, such as whether one object is left of another. We call this failure readout blindness and analyze, theoretically and empirically, why deployed scores miss the direction: when scoring rules treat the subject and object symmetrically, direction cancels regardless of encoder training. Guided by this analysis, we introduce Antisymmetric Displacement Readout (ADR), which aligns caption words with image patches in the frozen features and scores each relation by the signed displacement between matched object centroids. Notably, ADR succeeds without additional training or learned parameters, thereby demonstrating that directional information remains in the frozen encoder. However, text and world priors can inflate accuracy, so we further introduce prior deflation, which measures the benefit of the image-text pairing as the grounded gain over a null that pairs each item with an unrelated image. Extensive experiments across encoder families show that ADR substantially improves over deployed scores, which remain near chance on most direction-balanced sets even for fine-tuned encoders. Compared with more complex readouts, ADR outperforms the evaluated MLLM likelihood readouts and is competitive with their chat inference at a small fraction of the computation. These results support our claim that directional information can be recovered from frozen features by an appropriate readout. Our implementation and evaluation kit will be publicly available.
• Abstract（参考訳）: CLIPのような視覚言語モデルは、マルチモーダルシステムの基盤のままであるが、そのスコアは、一方の物体がもう一方の物体に残されているかどうかのような、向き付けられた空間関係にほぼ近い確率で留まっている。 評価ルールが対象と対象を対称に扱う場合、エンコーダのトレーニングにかかわらず方向がキャンセルされる。 この分析で導かれた非対称変位読み出し(ADR)は,字幕語を凍結した特徴のイメージパッチと整列し,一致した対象セントロイド間の符号付き変位によって各関係をスコアする。 特に、ADRは追加のトレーニングや学習パラメータなしで成功し、凍ったエンコーダに方向情報が残っていることを示す。 しかし,テキストとワールドの先行値の精度は向上するので,各項目と無関係な画像とをペアリングするヌルに対する接地ゲインとして,画像テキストペアリングの利点を測定する事前デフレも導入する。 エンコーダファミリ間の大規模な実験により、ADRは配置されたスコアよりも大幅に改善され、微調整されたエンコーダであってもほとんどの方向バランスセットにおいてほぼチャンスが保たれることが示された。 より複雑な読み出しと比較すると、ADRは評価されたMLLM確率読み出しよりも優れており、計算のごく一部でチャット推論と競合する。 これらの結果は、適切な読み出しによって、凍結した特徴から方向情報を復元できるという我々の主張を支持します。 実装と評価キットを公開します。

関連論文リスト

• PAIQ: Patch-Aligned Semantic Injection via Residual Rotation [10.977493951022863]
  パッチ整合型セマンティックインジェクションフレームワークPAIQを紹介する。 PAIQは、ジョイントソースアロケーションを通じて補完的なSigLIP機能を集約し、アグリゲートベースの違いを注入する。 多様な言語のバックボーン全体にわたって、PAIQは判断された正確性において広い利得を得る。
  論文  参考訳（メタデータ） (2026-09-29T14:32:11Z)
• Coherence-Aware Distributional Evaluation of Open-Ended Text Generation [4.3363673706639885]
  グローバル・コヒーレンス・失敗の 中心的ボトルネックとしての表現です CHORD (Coherence-aware Hidden-state Open- Generation Reference Distance) は生成されたコーパスと人書きコーパスを符号化する。 結果は、信頼性の高い分布評価の中心として表現設計を確立する。
  論文  参考訳（メタデータ） (2026-09-28T03:44:27Z)
• A Redundancy Reduction Approach for Controllable Sequential Recommendations [2.807396037026279]
  逐次リコメンデータにおける表現幾何を形作るメカニズムとして特徴デコレーションを考察する。 本稿では,次点予測を補助的冗長性推論項で強化するデコリレーション規則化トレーニングフレームワークを提案する。 本稿では,デコリレーションがユーザ表現空間における低ランク方向の共有をいかに抑制するかを示す。
  論文  参考訳（メタデータ） (2026-09-20T20:05:14Z)
• Towards Human-Like Interactive Speech Recognition With Agentic Correction and Semantic Evaluation [53.844308305341166]
  単一パスのASRフロントエンドと意味的訂正,意図のルーティング,推論に基づく編集を組み合わせた閉ループフレームワークである textbfAgentic ASR を提案する。 複数言語、名前付き集中型、コードスイッチングベンチマークの実験は、反復的相互作用が意味的誤りを一貫して減少させることを示している。
  論文  参考訳（メタデータ） (2026-05-28T06:23:31Z)
• Evaluating Remote Sensing Image Captions Beyond Metric Biases [20.77920438007019]
  本稿では,レファレンスフリー評価指標ReconScoreを紹介する。 我々はReconScoreを使ってキャプションの品質を評価し、生成したテキストからのみオリジナルのビジュアル要素を再構築する。 ReconScoreを自己補正機構として利用することにより、計算微調整のオーバーヘッドを伴わずにMLLM出力のセマンティック精度を反復的に改善する。
  論文  参考訳（メタデータ） (2026-04-22T12:28:04Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• RSAR: Restricted State Angle Resolver and Rotated SAR Benchmark [61.987291551925516]
  単位円制限損失を組み込んで角度予測精度を向上させるユニットサイクルリゾルバを導入する。 提案手法は,既存の最先端教師あり手法の性能を効果的に向上させることができる。 UCRの助けを借りて、これまでで最大の多クラス回転SARオブジェクト検出データセットであるRSARをさらに注釈し、導入する。
  論文  参考訳（メタデータ） (2025-01-08T11:41:47Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Unsupervised Dense Retrieval with Relevance-Aware Contrastive Pre-Training [81.3781338418574]
  関連性を考慮したコントラスト学習を提案する。 我々は、BEIRおよびオープンドメインQA検索ベンチマークにおいて、SOTAアン教師なしコントリバーモデルを一貫して改善する。 本手法は, 目標コーパスの事前訓練後, BM25に打ち勝つだけでなく, 優れた数発学習者として機能する。
  論文  参考訳（メタデータ） (2023-06-05T18:20:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。