論文の概要: Contextual inference from single objects in Vision-Language models

• arxiv url: http://arxiv.org/abs/2603.26731v1
• Date: Fri, 20 Mar 2026 13:24:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:13.11906
• Title: Contextual inference from single objects in Vision-Language models
• Title（参考訳）: 視覚言語モデルにおける単一物体からの文脈推論
• Authors: Martina G. Vilas, Timothy Schaumlöffel, Gemma Roig,
• Abstract要約: 一つのオブジェクトがどれくらいのシーンコンテキストを持つかは、人間のシーン知覚においてよく研究されている問題である。 この能力が視覚言語モデル(VLM)でどのように構成されるかはいまだに理解されていない。 本研究では,単一対象からの文脈推論の系統的・機械的解析を通じて,この問題を考察する。
• 参考スコア（独自算出の注目度）: 10.367669666212473
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How much scene context a single object carries is a well-studied question in human scene perception, yet how this capacity is organized in vision-language models (VLMs) remains poorly understood, with direct implications for the robustness of these models. We investigate this question through a systematic behavioral and mechanistic analysis of contextual inference from single objects. Presenting VLMs with single objects on masked backgrounds, we probe their ability to infer both fine-grained scene category and coarse superordinate context (indoor vs. outdoor). We found that single objects support above-chance inference at both levels, with performance modulated by the same object properties that predict human scene categorization. Object identity, scene, and superordinate predictions are partially dissociable: accurate inference at one level neither requires nor guarantees accurate inference at the others, and the degree of coupling differs markedly across models. Mechanistically, object representations that remain stable when background context is removed are more predictive of successful contextual inference. Scene and superordinate schemas are grounded in fundamentally different ways: scene identity is encoded in image tokens throughout the network, while superordinate information emerges only late or not at all. Together, these results reveal that the organization of contextual inference in VLMs is more complex than accuracy alone suggests, with behavioral and mechanistic signatures
• Abstract（参考訳）: 視覚言語モデル(VLM)において、この能力がどのように構成されているかはよく研究されているが、これらのモデルの堅牢性に直接影響する。 本研究では,単一対象からの文脈推論の系統的・機械的解析を通じて,この問題を考察する。 マスクされた背景に1つの対象を持つVLMを提示し、細粒度シーンカテゴリと粗いスーパーオーディネートコンテキスト(屋内対屋外)の両方を推測する能力を探索する。 一つのオブジェクトが両方のレベルでオーバーチャンス推論をサポートし、人間のシーン分類を予測するのと同じオブジェクト特性によって性能が変調されていることがわかった。 あるレベルでの正確な推論は、他のレベルでの正確な推論を必要としないし、他のレベルでの正確な推論を保証しない。 機械的には、背景コンテキストが削除されたときに安定したオブジェクト表現は、コンテキスト推論の成功をより予測する。 シーンのアイデンティティはネットワーク全体の画像トークンにエンコードされ、上位の情報は遅くなるか、全く現れないかのどちらかである。 これらの結果から, VLMにおける文脈推論の組織化は, 行動的, 機械的シグネチャを伴って, 精度のみが示唆するよりも複雑であることが明らかとなった。

関連論文リスト

• COOCO -- Common Objects Out-of-Context -- Semantic Violation in Scenes: Investigating Multimodal Context in Referential Communication [3.829419993067886]
  VLM(Vision-Language Models)は、オブジェクトへの参照を生成する際に、同様の方法でシーンコンテキストに依存することを学習していることを示す。 本研究は,物体とシーン間の意味的関連性や騒音のレベルによって,モデルがシーンコンテキストを適応的に活用できることを示唆する。
  論文  参考訳（メタデータ） (2025-06-27T14:44:45Z)
• Common Inpainted Objects In-N-Out of Context [21.387506141979188]
  Common Inpainted Objects In-N-Out of Context (COinCO)は、既存のビジョンデータセットにおけるコンテキスト外例の不足に対処する新しいデータセットである。 本研究では,COCO画像のオブジェクトを拡散型塗布により体系的に置き換えることにより,コンテキスト的に一貫性のあるシーンと一貫性のないシーンの両方を特徴付ける97,722個のユニークな画像を生成する。
  論文  参考訳（メタデータ） (2025-05-31T21:42:12Z)
• Aligning and Prompting Everything All at Once for Universal Visual Perception [79.96124061108728]
  APEは、さまざまなタスクを実行するために、すべてのことを一度に調整し、促す、普遍的な視覚知覚モデルである。 APEは、言語誘導接地をオープン語彙検出として再構成することで、検出と接地の収束を推し進める。 160以上のデータセットの実験では、APEが最先端のモデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2023-12-04T18:59:50Z)
• Suspected Object Matters: Rethinking Model's Prediction for One-stage Visual Grounding [93.82542533426766]
  疑似オブジェクト間の対象オブジェクト選択を促進するため,疑似オブジェクト変換機構(SOT)を提案する。 SOTは既存のCNNとTransformerベースのワンステージ視覚グラウンドにシームレスに統合できる。 実験の結果,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-03-10T06:41:07Z)
• Context-LGM: Leveraging Object-Context Relation for Context-Aware Object Recognition [48.5398871460388]
  本稿では,オブジェクト・コンテキスト関係を階層的にモデル化する新しいコンテキスト潜在生成モデル(Contextual Latent Generative Model,Context-LGM)を提案する。 文脈的特徴を推定するために、変数自動エンコーダ(VAE)の目的関数を再構成し、対象物に対する後続条件付き分布として文脈的特徴を学習する。 本手法の有効性は,2つのコンテキスト認識オブジェクト認識タスクにおける最先端性能によって検証される。
  論文  参考訳（メタデータ） (2021-10-08T11:31:58Z)
• Synthesizing the Unseen for Zero-shot Object Detection [72.38031440014463]
  そこで本研究では,視覚領域における視覚的特徴と視覚的対象の両方を学習するために,視覚的特徴を合成することを提案する。 クラスセマンティックスを用いた新しい生成モデルを用いて特徴を生成するだけでなく,特徴を識別的に分離する。
  論文  参考訳（メタデータ） (2020-10-19T12:36:11Z)
• Deriving Visual Semantics from Spatial Context: An Adaptation of LSA and Word2Vec to generate Object and Scene Embeddings from Images [0.0]
  我々は、注釈付き画像からオブジェクトとシーンの埋め込みを学習するための2つのアプローチを開発した。 最初のアプローチでは、画像全体におけるオブジェクトの共起から、オブジェクトのためのもの、シーンのためのものへの埋め込みを生成する。 第2のアプローチでは、シーンの全体像を分析する代わりに、画像のサブリージョン内のオブジェクトの共起に焦点をあてる。
  論文  参考訳（メタデータ） (2020-09-20T08:26:38Z)
• COBE: Contextualized Object Embeddings from Narrated Instructional Video [52.73710465010274]
  そこで本稿では,教師ビデオの自動書き起こしからコンテキスト適応型オブジェクト埋め込みを学習するための新しいフレームワークを提案する。 言語の意味的・構成的構造を視覚的検知器を訓練し,オブジェクトとその関連するナレーションの文脈的単語埋め込みを予測する。 実験の結果,検出器は多種多様なコンテキストオブジェクト情報を予測し,少数ショットおよびゼロショット学習の設定において極めて有効であることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T19:04:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。