論文の概要: Investigating Anisotropy in Visual Grounding under Controlled Counterfactual Perturbations

• arxiv url: http://arxiv.org/abs/2605.09090v1
• Date: Sat, 09 May 2026 17:54:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.063914
• Title: Investigating Anisotropy in Visual Grounding under Controlled Counterfactual Perturbations
• Title（参考訳）: 制御された対物摂動下での視覚的接地における異方性の調査
• Abstract要約: 接地モデルは意味的にミスマッチしたキャプションで評価されることは滅多にない。 本研究は, 埋込異方性が反現実的失敗に寄与するかどうかを考察する。
• 参考スコア（独自算出の注目度）: 1.423280626666929
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Visual Grounding benchmarks assume that the object described by a referring expression is always present in the image, and grounding models are therefore rarely evaluated under semantically mismatched captions. In such cases, models frequently exhibit approximation behavior, producing a plausible bounding box that satisfies only part of the expression (\eg, preserving the original object while ignoring modified contextual cues). Because mismatched captions represent realistic edge cases, this behavior compromises reliability and raises concerns from an explainability perspective. Identifying its underlying causes is thus essential for improving model faithfulness and interpretability. Adopting a mechanistic interpretability viewpoint, this work examines whether embedding anisotropy contributes to counterfactual failures. A similarity-controlled counterfactual caption generation protocol is introduced to systematically perturb object or contextual components within predefined embedding similarity intervals, enabling a fine-grained analysis of grounding behavior as a function of alignment. Experiments on two Transformer-based models with markedly different embedding geometries (BERT-based TransVG and CLIP-based SwimVG) reveal no meaningful correlation between cosine similarity and approximation. These findings suggest that anisotropy alone does not account for counterfactual errors, and that robustness requires investigating finer-grained geometric properties of the embedding space.
• Abstract（参考訳）: 視覚的グラウンドリングベンチマークは、参照表現によって記述されたオブジェクトが常に画像の中に存在し、したがってグラウンドリングモデルが意味的にミスマッチしたキャプションで評価されることは滅多にないと仮定する。 このような場合、モデルはしばしば近似の振る舞いを示し、表現の一部のみを満たす有界な有界ボックスを生成する(\egは、修正された文脈的手がかりを無視しながら元のオブジェクトを保存する)。 ミスマッチされたキャプションは現実的なエッジケースを表すため、この動作は信頼性を損なうとともに、説明可能性の観点から懸念を喚起する。 したがって、その根本原因を特定することは、モデルの忠実さと解釈可能性を改善するために不可欠である。 機械論的解釈可能性の観点から、この研究は異方性埋め込みが反現実的失敗に寄与するかどうかを考察する。 類似性制御された対物キャプション生成プロトコルは、予め定義された類似性間隔内で、体系的に摂動オブジェクトまたはコンテキストコンポーネントに導入され、アライメントの関数としての接地行動のきめ細かい分析を可能にする。 非常に異なる埋め込みジオメトリ(BERTベースのTransVGとCLIPベースのSwimVG)を持つTransformerベースの2つのモデルの実験では、コサイン類似性と近似の間に有意な相関は示されていない。 これらの結果から, 異方性だけでは反事実的誤差を考慮せず, 埋め込み空間のよりきめ細かい幾何学的性質を調査する必要があることが示唆された。

関連論文リスト

• Proximity-CLIP: Text-Guided Semantic Proximity Learning for Zero-Shot Anomaly Detection [7.184018933441995]
  ビジョン言語モデルはゼロショット異常検出(ZSAD)に有望なアプローチを提供する 通常のテキストと異常なテキストのプロトタイプは、高いセマンティックオーバーラップを示す。 Proximity-CLIPは視覚的適応を誘導するために意味的マージンを視覚的に校正するフレームワークである。
  論文  参考訳（メタデータ） (2026-09-07T08:48:27Z)
• Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
  カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。 既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。 動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-25T09:57:46Z)
• Geo-ID: Test-Time Geometric Consensus for Cross-View Consistent Intrinsics [37.614964138575935]
  内在的な画像分解は、画像からアルベド、粗さ、および金属性などの物理ベースのレンダリングパラメータを推定することを目的としている。 ビデオベースのモデルは、クロスフレームの一貫性を改善することができるが、高密度で順序付けられたシーケンスと相当な計算を必要とする。 クロスビュー一貫した分解を生成するために,未学習の単視点予測器を本質的に再利用する新しいテストタイムフレームワークであるGeo-IDを提案する。
  論文  参考訳（メタデータ） (2026-03-14T09:36:27Z)
• OrthoFormer: Instrumental Variable Estimation in Transformer Hidden States via Neural Control Functions [0.0]
  シーケンシャルなモデリングにおいて優れたトランスフォーマーアーキテクチャは、相関学習によって基本的に制限される。 そこで我々はOrthoFormerを提案する。OrthoFormerは機械的変数推定をニューラル制御機能を介してTransformerブロックに直接組み込む因果的基底アーキテクチャである。
  論文  参考訳（メタデータ） (2026-03-08T03:05:16Z)
• On the Structural Non-Preservation of Epistemic Behaviour under Policy Transformation [51.56484100374058]
  このような情報条件の相互作用パターンを振る舞い依存として定式化する。 これにより、$$-behavioural equivalenceというプローブ相対的な概念と、政治内行動距離が導かれる。 その結果、共通政策変換の下でプローブ条件の挙動分離が保存されない構造条件が明らかになった。
  論文  参考訳（メタデータ） (2026-02-24T22:55:21Z)
• Simulated Adoption: Decoupling Magnitude and Direction in LLM In-Context Conflict Resolution [3.0242762196828448]
  大規模言語モデル(LLM)は、既存のパラメトリックメモリよりもコンテクスト内での競合情報を優先することが多い。 モデルが「未学習」や内部の真理の大きさを抑えるのではなく、幾何変位のメカニズムを用いていることを示す。
  論文  参考訳（メタデータ） (2026-02-04T06:13:11Z)
• Unlearning-based Neural Interpretations [51.99182464831169]
  静的関数を用いて定義される現在のベースラインは、バイアスがあり、脆弱であり、操作可能であることを示す。 UNIは、学習不可能で、偏りがなく、適応的なベースラインを計算し、入力を最も急な上昇の未学習方向に向けて摂動させることを提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:02:39Z)
• Semantic Sensitivities and Inconsistent Predictions: Measuring the Fragility of NLI Models [44.56781176879151]
  State-of-the-art Natural Language Inference (NLI)モデルは、表面形状の変化を保存するマイナーセマンティクスに敏感である。 セマンティックな感度は、平均$textbfin-$と$textbfout-of-$ドメイン設定よりも平均$12.92%と$23.71%のパフォーマンス劣化を引き起こす。
  論文  参考訳（メタデータ） (2024-01-25T14:47:05Z)
• An Indirect Rate-Distortion Characterization for Semantic Sources: General Model and the Case of Gaussian Observation [83.93224401261068]
  ソースモデルは、情報の意味的側面に対する最近の関心の高まりによって動機付けられている。 intrinsic状態は、一般に観測不可能なソースの意味的特徴に対応する。 レート歪み関数は、ソースのセマンティックレート歪み関数である。
  論文  参考訳（メタデータ） (2022-01-29T02:14:24Z)
• Where and What? Examining Interpretable Disentangled Representations [96.32813624341833]
  解釈可能なバリエーションの獲得は、長い間、絡み合い学習の目標の1つだった。 独立性の仮定と異なり、解釈性は教師なしの設定での絡み合いを促進するために使われることは滅多にない。 本論文では, 解釈対象と解釈対象の2つの質問について検討し, 離散表現の解釈可能性を検討する。
  論文  参考訳（メタデータ） (2021-04-07T11:22:02Z)
• Structural Causal Models Are (Solvable by) Credal Networks [70.45873402967297]
  因果推論は、干潟網の更新のための標準的なアルゴリズムによって得ることができる。 この貢献は, 干潟ネットワークによる構造因果モデルを表現するための体系的なアプローチと見なされるべきである。 実験により, 実規模問題における因果推論には, クレーダルネットワークの近似アルゴリズムがすぐに利用できることがわかった。
  論文  参考訳（メタデータ） (2020-08-02T11:19:36Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。