論文の概要: Foveated Probes Recover Localized Binding Information in Vision Foundation Models
- arxiv url: http://arxiv.org/abs/2608.00726v1
- Date: Sat, 01 Aug 2026 15:47:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.878826
- Title: Foveated Probes Recover Localized Binding Information in Vision Foundation Models
- Title（参考訳）: 視覚基礎モデルにおける局所結合情報の探索
- Abstract要約: 我々は,事前学習した視覚エンコーダを凍結させ,最終的なパッチトークンに適用される読み出しだけを変更させることにより,その区別について検討する。
標準的なグローバルな読み出しと、軽量なフェーブ付き読み出しを比較します。
反ファクト的ニュアンス-信号比は、合成失敗を説明する。
- 参考スコア（独自算出の注目度）: 18.68401728256603
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Frozen vision foundation models are commonly evaluated through a single global image embedding, but this interface can conflate missing information with information lost at readout time. We study this distinction by keeping a pretrained vision encoder frozen and varying only the readout applied to its final patch tokens. We compare standard global readouts against a lightweight foveated readout, which attention-pools patch tokens using a learned or question-conditioned query, and against an oracle readout with access to the annotated target region. We evaluate these interfaces on three localized binding problems: a controlled synthetic color--shape binding task under clutter, a color-free crowded shape-detection variant, and a GQA-derived natural-image task where paired questions ask for the colors of different same-category objects in the same image. Global readouts perform near perfectly when the synthetic target appears alone, but collapse under clutter and counterfactual target edits, whereas the foveated readout recovers most of the oracle-accessible signal. On the GQA-derived task, question-independent global image vectors improve only modestly over question-only priors, while question-conditioned foveation substantially improves paired localized color accuracy. A counterfactual nuisance-to-signal ratio explains the synthetic failures: global pooling dilutes localized label-changing evidence while exposing the probe to nuisance variation from irrelevant objects. These results indicate that apparent spatial blindness in frozen vision models can arise from the global embedding interface rather than from an absence of spatial information in the frozen patch tokens.
- Abstract（参考訳）: 凍結視覚基礎モデルは、単一のグローバルなイメージ埋め込みを通じて一般的に評価されるが、このインタフェースは、不足した情報を読み出し時に失われる情報で分割することができる。
我々は、事前訓練された視覚エンコーダを凍結させ、最終的なパッチトークンに適用される読み出しだけを変化させることで、この区別を研究する。
我々は、学習や質問条件付きクエリを使ってパッチトークンをアテンションプールする軽量な葉書読出と、注釈付きターゲット領域にアクセス可能なオラクル読出とを比較した。
本研究は,3つの局所結合問題に対して, クラッタ下での合成色-形状結合タスク, 無色混在形状検出用変種, GQA由来の自然画像タスクについて検討する。
グローバルな読み出しは、合成対象が単独で現れるとほぼ完璧に実行されるが、乱雑で偽造対象の編集で崩壊する。
GQA由来のタスクでは、質問非依存のグローバルイメージベクターは、質問のみの先行よりも穏やかに改善する一方、質問条件のファベーションはペアの局所的な色精度を大幅に改善する。
大域的なプールは、無関係な物体からのニュアンス変化にプローブを露出させながら、局所的なラベル変化の証拠を局所化する。
これらの結果は、凍結したパッチトークンに空間情報が存在しないことよりも、グローバルな埋め込みインタフェースから、凍結した視覚モデルにおける明らかな空間的盲点が生じることを示唆している。
関連論文リスト
- SC-Diff: Semantically Calibrated Diffusion for Visible-to-Infrared Image Translation [52.62632888060867]
可視赤外画像変換は、豊富な可視画像を用いて赤外線トレーニングデータを拡張するための実用的な方法を提供する。
既存の拡散に基づくメソッドは、通常、外部条件としてのみセマンティックプリエントを使用する。
SC-Diffは、条件付きガイダンスと内部自己注意校正の両方にセマンティックな事前情報を利用する意味論的潜伏拡散フレームワークである。
論文 参考訳（メタデータ） (2026-08-09T07:57:40Z) - DriftScope: Measuring The Hidden Effects of Diffusion Model Adaptation [50.584834483403675]
新しい視覚概念を学習するか、望ましくないものを消去するか、事前学習したテキスト・画像拡散モデルに適応させることは、意図した効果だけで日常的に評価される。
適応が意味論的に無関係な概念を、構造的にメトリクスを集約することができない方法で体系的に損なうことを実証する。
DriftScopeは、任意の2つのモデルチェックポイントを取り込み、視覚的概念が最も移行したトークンのランクリストを返す、プロンプトレベルの診断ツールである。
論文 参考訳（メタデータ） (2026-06-30T20:57:51Z) - Surflo: Consistent 3D Surface Flow Model with Global State [57.57234680235885]
Surfloは、方向付けられた3次元表面点を、ノイズからフローマッチングを通じて独立して表面へ輸送することでデコードする。
独立なポイント単位の復号化に固有の局所的不整合を抑制するために、光度勾配を注入することにより、推定時間誘導項が近傍の点と相関する。
Surfloは、サーフェスメトリクスのフィードフォワードベースラインにマッチし、数百のビューを必要とする最適化ベースのメソッドよりも桁違いに高速に動作し、グローバルなラテントと任意の解像度のデコーディングを組み合わせた唯一のフィードフォワードアプローチである。
論文 参考訳（メタデータ） (2026-06-11T17:48:38Z) - Provable Sparse Inversion and Token Relabel Enhanced One-shot Federated Learning with ViTs [77.42033827176806]
ワンショットフェデレートラーニング(One-Shot Federated Learning)は、単一のコミュニケーションラウンドでグローバルモデルを学ぶ中央サーバが、有望なパラダイムとして登場したものだ。
本稿では,合成画像の全パッチをフル活用してグローバルモデルをトレーニングする,新しいフェデレーションモデルインバージョンとトークンリラベルフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-11T15:49:08Z) - Auto-Comp: An Automated Pipeline for Scalable Compositional Probing of Contrastive Vision-Language Models [34.62069348601896]
現代視覚言語モデル(VLM)は、構成的推論において重大な欠陥を示す。
これらの失敗の視覚的および言語的ルーツを遠ざけることは、堅牢な評価の根本的な課題である。
スケーラブルなベンチマークを生成するための、完全に自動化され合成されたパイプラインであるAuto-Compを紹介します。
論文 参考訳（メタデータ） (2026-02-02T12:39:39Z) - Accuracy is Not Enough: Poisoning Interpretability in Federated Learning via Color Skew [1.732435844754418]
敵対的クライアントが適用した小さなカラー摂動は、モデルの正当性マップを意味論的に意味のある領域から切り離すことができることを示す。
我々の攻撃は、Grad-CAMの説明におけるピークアクティベーションの重複を最大35%削減し、すべての評価データセットで96%以上の分類精度を維持する。
論文 参考訳（メタデータ） (2025-11-17T16:07:54Z) - Towards Imperceptible JPEG Image Hiding: Multi-range Representations-driven Adversarial Stego Generation [19.5984577708016]
JPEG画像隠蔽のためのMRAGと呼ばれるマルチレンジ表現駆動型逆スチーゴ生成フレームワークを提案する。
MRAGは、畳み込みの局所レンジ特性と変換器のグローバルレンジモデリングを統合する。
シュプロゲートステガナライザーの分類された特徴に基づいて、カバーとステゴ間の敵対的損失を計算する。
論文 参考訳（メタデータ） (2025-07-11T06:45:07Z) - Unified Local and Global Attention Interaction Modeling for Vision Transformers [1.9571946424055506]
本稿では,視覚変換器(ViT)の自己認識機構を拡張し,多様なデータセット間でより正確な物体検出を行う手法を提案する。
ViTは、オブジェクト検出、セグメンテーション、分類などの画像理解タスクに強力な能力を示す。
従来の自己意識フレームワークには,局所的特徴混合のための新たなアグレッシブ・コンボリューション・プール戦略と,新たな概念的アテンション・トランスフォーメーションという,2つの改良が加えられている。
論文 参考訳（メタデータ） (2024-12-25T04:53:19Z) - Learning Real-World Image De-Weathering with Imperfect Supervision [57.748585821252824]
既存の現実世界のデヒータリングデータセットは、接地トラス画像と入力された劣化画像の間に、一貫性のない照明、位置、テクスチャを示すことが多い。
我々は、入力劣化画像と可能な限り一貫性のある擬似ラベルを生成するための一貫性ラベルコンストラクタ(CLC)を開発した。
我々は,従来の不完全ラベルと擬似ラベルを組み合わせることで,情報割当戦略による脱ウェザリングモデルを共同で監督する。
論文 参考訳（メタデータ） (2023-10-23T14:02:57Z) - Synthesizing the Unseen for Zero-shot Object Detection [72.38031440014463]
そこで本研究では,視覚領域における視覚的特徴と視覚的対象の両方を学習するために,視覚的特徴を合成することを提案する。
クラスセマンティックスを用いた新しい生成モデルを用いて特徴を生成するだけでなく,特徴を識別的に分離する。
論文 参考訳（メタデータ） (2020-10-19T12:36:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。