論文の概要: Prompt Sensitivity in Vision-Language Grounding: How Small Changes in Wording Affect Object Detection
- arxiv url: http://arxiv.org/abs/2604.17126v1
- Date: Sat, 18 Apr 2026 19:55:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-21 21:52:52.346714
- Title: Prompt Sensitivity in Vision-Language Grounding: How Small Changes in Wording Affect Object Detection
- Title(参考訳): 視覚言語接地におけるプロンプト感度 : 単語入力が物体検出に与える影響について
- Authors: Dawar Jyoti Deka, Amit Sethi, Syed Mohammad Ali,
- Abstract要約: 視覚言語モデルは、自然言語クエリを通してオープン語彙オブジェクトをグラウンド化できる。
その結果,「人」「人」「歩行者」といった重なり合うプロンプトが,頻繁に異なる事例を選択していることがわかった。
PCA分析は、この変数はランダムではなく、構造化され、方向性を示す。
- 参考スコア(独自算出の注目度): 6.055168011374501
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models enable open-vocabulary object grounding through natural language queries, under the implicit assumption that semantically equivalent descriptions yield consistent outputs. We examine this assumption using a controlled pipeline combining DETR for object proposals with CLIP for language-conditioned selection on 263 COCO val2017 images. We find that overlapping prompts such as "a person," "a human," and "a pedestrian" frequently select different instances, with mean instability of 2.11 distinct selections across six prompts. PCA analysis shows this variability is structured and directional, not random. Prompt ensembling does not improve quality and often shifts selections toward generic regions. We further show that text embedding proximity explains only 34% of grounding disagreement (r = -0.58), confirming that instability arises from the argmax selection mechanism rather than text-level distances alone.
- Abstract(参考訳): 視覚言語モデルは、意味論的に等価な記述が一貫した出力をもたらすという暗黙の仮定の下で、自然言語クエリを基盤とするオープン語彙オブジェクトを可能にする。
オブジェクト提案にDETRとCLIPを組み合わせた制御パイプラインを用いて,263COCO val2017画像上の言語条件の選択を行う。
その結果,「人」「人」「歩行者」といった重なり合うプロンプトが,6つのプロンプトで2.11個の異なる選択の不安定さを持つ場合が多いことがわかった。
PCA分析は、この変数はランダムではなく、構造化され、方向性を示す。
プロンプトアンサンブルは品質を向上せず、多くの場合、選択を一般的な領域にシフトさせる。
さらに, テキスト埋め込み近傍では, 接地不一致の34%(r = -0.58)しか説明できないことを示し, テキストレベル距離のみでなく, argmax選択機構から不安定が生じていることを確認する。
関連論文リスト
- The Truncation Blind Spot: How Decoding Strategies Systematically Exclude Human-Like Token Choices [3.322376966347217]
8つの言語モデルで180万以上のテキストを分析します。
人間の選択したトークンの8-18%が、典型的なトランケーション境界外にあることがわかった。
論文 参考訳(メタデータ) (2026-03-19T04:36:22Z) - Unifying Heterogeneous Multi-Modal Remote Sensing Detection Via Language-Pivoted Pretraining [59.2578488860426]
不均一なマルチモーダルリモートセンシングオブジェクト検出は、多様なセンサからオブジェクトを正確に検出することを目的としている。
既存のアプローチでは、下流の微調整中にモーダリティアライメントとタスク固有の最適化が絡み合う遅延アライメントパラダイムが採用されている。
本稿では,下流のタスク学習からモダリティアライメントを明確に分離する,統一型言語パイロット事前学習フレームワークであるBabelRSを提案する。
論文 参考訳(メタデータ) (2026-03-02T11:38:12Z) - From Disagreement to Understanding: The Case for Ambiguity Detection in NLI [3.5164356851161984]
このポジションペーパーでは、自然言語推論(NLI)におけるアノテーションの不一致は単なるノイズではなく、しばしば意味のある変化を反映していると主張している。
まず、あいまいな入力ペアを識別し、それらの型を分類し、次に推論に進む、あいまいさを意識したNLIへのシフトを呼びます。
論文 参考訳(メタデータ) (2025-07-20T20:27:35Z) - Evaluating Semantic Variation in Text-to-Image Synthesis: A Causal Perspective [50.261681681643076]
本稿では,SemVarEffectとSemVarBenchというベンチマークを用いて,テキスト・画像合成における入力のセマンティックな変化と出力の因果性を評価する。
本研究は,T2I合成コミュニティによるヒューマンインストラクション理解の探索を促進する効果的な評価枠組みを確立する。
論文 参考訳(メタデータ) (2024-10-14T08:45:35Z) - A Hitchhikers Guide to Fine-Grained Face Forgery Detection Using Common Sense Reasoning [9.786907179872815]
視覚と言語の可能性は、いまだに偽造検出に過小評価されている。
顔偽造検出を視覚質問応答(VQA)タスクに変換する方法論が必要である。
このギャップに対処するために,従来の二項決定パラダイムから分岐する多段階的アプローチを提案する。
論文 参考訳(メタデータ) (2024-10-01T08:16:40Z) - Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot
Translation [79.96416609433724]
Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。
推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。
近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
論文 参考訳(メタデータ) (2023-09-28T17:02:36Z) - The Devil is in the Details: On the Pitfalls of Vocabulary Selection in
Neural Machine Translation [12.207265136294678]
本稿では、文脈化エンコーダ表現から許容される単語の集合を予測するニューラルネットワークモデルに統合された語彙選択モデルを提案する。
これは、WMTニューステスト2020と慣用表現に関する人間の評価によって測定された、制約のないシステムの翻訳品質を復元する。
論文 参考訳(メタデータ) (2022-05-13T13:13:03Z) - Fake it Till You Make it: Self-Supervised Semantic Shifts for
Monolingual Word Embedding Tasks [58.87961226278285]
語彙意味変化をモデル化するための自己教師付きアプローチを提案する。
本手法は,任意のアライメント法を用いて意味変化の検出に利用できることを示す。
3つの異なるデータセットに対する実験結果を用いて,本手法の有用性について述べる。
論文 参考訳(メタデータ) (2021-01-30T18:59:43Z) - Intrinsic Probing through Dimension Selection [69.52439198455438]
現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。
このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。
本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
論文 参考訳(メタデータ) (2020-10-06T15:21:08Z) - Words aren't enough, their order matters: On the Robustness of Grounding
Visual Referring Expressions [87.33156149634392]
視覚的参照表現認識のための標準ベンチマークであるRefCOgを批判的に検討する。
83.7%のケースでは言語構造に関する推論は不要である。
比較学習とマルチタスク学習の2つの手法を提案し,ViLBERTのロバスト性を高める。
論文 参考訳(メタデータ) (2020-05-04T17:09:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。