論文の概要: Evaluation of Multilingual Ability to Use Spatial Deictic Expressions in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2607.07251v1
• Date: Wed, 08 Jul 2026 10:34:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-09 22:50:30.354786
• Title: Evaluation of Multilingual Ability to Use Spatial Deictic Expressions in Vision-Language Models
• Title（参考訳）: 視覚言語モデルにおける空間記述表現の多言語的能力の評価
• Abstract要約: 本稿では,視覚言語モデルを用いた空間的難解表現の多言語性を評価するためのベンチマークを開発する。 実験の結果、実験されたモデルは人間のものと異なる方法で実証薬を使用することが明らかとなった。
• 参考スコア（独自算出の注目度）: 14.511507458575542
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One of the expected abilities of vision-language models (VLMs) is spatial reasoning ability based on a given text and image. To evaluate the spatial reasoning abilities of VLMs, we focus on the use of spatial deictic expressions, which are defined as spatial expressions whose referent is determined by their situational context, such as ``this'' and ``that''. To handle spatial deictic expressions, VLMs must jointly reason over language and visual space, grounding context-dependent references in the image's spatial structure. In addition, selecting appropriate spatial deictic expressions across languages requires VLMs to understand the language-specific spatial distinctions encoded by these expressions. In this paper, we develop a benchmark to evaluate the multilingual ability of VLMs to use spatial deictic expressions in four languages. Our experiments using this benchmark reveal that the tested models use demonstratives in a manner different from that of humans, particularly in selecting the appropriate demonstratives based on the distance to the object.
• Abstract（参考訳）: 視覚言語モデル(VLM)の期待される能力の1つは、与えられたテキストと画像に基づいて空間的推論能力である。 VLMの空間的推論能力を評価するために,「 this」や「that」のような状況によって参照が決定される空間的表現として定義される空間的デリケート表現の利用に焦点を当てた。 空間的難解表現を扱うには、VLMは言語と視覚空間を共同で推論し、画像の空間構造に文脈に依存した参照を接地する必要がある。 さらに, 言語間で適切な空間ディシック表現を選択するためには, 言語固有の空間的区別をVLMで理解する必要がある。 本稿では,VLMが4つの言語で空間ディシック表現を使用する際の多言語的能力を評価するためのベンチマークを開発する。 このベンチマークを用いた実験により,実験対象モデルでは,実験対象からの距離に基づいて,特に適切な実証対象を選択する際に,人間のものと異なる方法で,実証対象を使用することが明らかとなった。

関連論文リスト

• Contextual Observer Grounding: Evaluating Situated Spatial Reasoning in Vision-Language Models [22.823647299309712]
  具体的タスクにおける言語命令に対する推論は、しばしば話者の位置から見た空間的関係を理解する必要がある。 近年の視覚言語モデル(VLM)は空間的推論が可能であるように見えるが、文脈的手がかりから話者の視点を推測する能力はいまだに不明である。
  論文  参考訳（メタデータ） (2026-09-07T00:00:13Z)
• OmniGF: A Dual-Branch Vision-Language Framework for Unified Gaze Following [59.53720386342017]
  拡張性のある多対人視線推論に基礎的な視覚言語モデルを適用する統合視覚言語フレームワークを提案する。 すべての個人をモデル化することにより、OmniGFは正確な空間的視線目標推定、意味的視線予測、複雑な社会的視線推定をシームレスに統合する。
  論文  参考訳（メタデータ） (2026-05-26T00:08:06Z)
• Referring Expressions as a Lens into Spatial Language Grounding in Vision-Language Models [22.672848927658958]
  視覚言語モデル(VLM)による空間推論評価のためのプラットフォームとして参照表現タスクを提案する。 このプラットフォームは,1)対象検出の曖昧さ,2)より長い文構造と複数の空間関係を持つ複雑な空間表現,3)否定を伴う表現("not")について,空間的理解と接地能力のより深い分析を行う機会を提供する。 本研究は,これらの課題と行動に注目し,研究のギャップと今後の方向性について考察する。
  論文  参考訳（メタデータ） (2025-11-08T21:43:09Z)
• A Neural Representation Framework with LLM-Driven Spatial Reasoning for Open-Vocabulary 3D Visual Grounding [78.99798110890157]
  Open-vocabulary 3D visual groundingは、自由形式の言語クエリに基づいてターゲットオブジェクトをローカライズすることを目的としている。 既存の言語フィールド手法は、言語クエリにおける空間的関係を利用してインスタンスを正確にローカライズするのに苦労する。 本研究では,大規模言語モデル(LLM)に基づく空間推論を用いたニューラル表現に基づく新しいフレームワークであるSpatialReasonerを提案する。
  論文  参考訳（メタデータ） (2025-07-09T10:20:38Z)
• Mind the Gap: Benchmarking Spatial Reasoning in Vision-Language Models [14.442394137843923]
  本稿では,まず空間的推論のコア要素を記述した詳細な分析を行う。 次に、これらのモデルの性能を、合成画像と実画像の両方で評価する。
  論文  参考訳（メタデータ） (2025-03-25T14:34:06Z)
• LayoutVLM: Differentiable Optimization of 3D Layout via Vision-Language Models [57.92316645992816]
  空間的推論は人間の認知の基本的側面であり、三次元空間における物体の直感的な理解と操作を可能にする。 視覚言語モデル(VLM)のセマンティック知識を活用するフレームワークおよびシーンレイアウト表現であるLayoutVLMを紹介する。 本稿では,既存のシーンデータセットから抽出したシーンレイアウト表現を用いた微調整VLMによる推論性能の向上を実証する。
  論文  参考訳（メタデータ） (2024-12-03T06:15:04Z)
• Do Vision-Language Models Represent Space and How? Evaluating Spatial Frame of Reference Under Ambiguities [27.940469021840745]
  視覚言語モデル(VLM)の空間的推論能力を評価するための評価プロトコルを提案する。 あいまいさを解消する英語の慣行と幾らかの整合性があるにもかかわらず、本実験はVLMの重大な欠点を明らかにした。 視覚言語モデルと人間の認知的直感の整合化を図りつつ、我々は空間的推論のあいまいさと文化的な多様性により多くの注意を払っている。
  論文  参考訳（メタデータ） (2024-10-22T19:39:15Z)
• Integrating Language Guidance into Vision-based Deep Metric Learning [78.18860829585182]
  埋め込み空間として意味的類似性を符号化した距離空間を学習することを提案する。 これらの空間は、トレーニング中に見られるもの以外のクラスに転送可能であるべきである。 これにより、学習された埋め込み空間は不完全な意味的コンテキストを符号化し、クラス間の意味的関係を誤って表現する。
  論文  参考訳（メタデータ） (2022-03-16T11:06:50Z)
• Spatial Language Understanding for Object Search in Partially Observed Cityscale Environments [21.528770932332474]
  空間言語観測空間を導入し、部分観測可能なマルコフ決定プロセス(POMDP)の枠組みの下でモデルを定式化する。 本稿では,言語提供者の参照の相対的フレーム(FoR)の環境コンテキストを予測する畳み込みニューラルネットワークモデルを提案する。 本稿では,FOR予測モデルとオブジェクト探索システムの一般化可能性を示す。
  論文  参考訳（メタデータ） (2020-12-04T16:27:59Z)
• Learning Universal Representations from Word to Sentence [89.82415322763475]
  この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。 本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。 適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
  論文  参考訳（メタデータ） (2020-09-10T03:53:18Z)
• From Spatial Relations to Spatial Configurations [64.21025426604274]
  空間関係言語は、推論に不可欠な、大きく包括的な空間概念の集合を表現することができる。 本稿では,既存の空間表現言語の機能を,セマンティクスのきめ細かい分解によって拡張する方法について述べる。
  論文  参考訳（メタデータ） (2020-07-19T02:11:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。