論文の概要: Asking What a Director Sees Can Change What Vision-Language Models Choose

• arxiv url: http://arxiv.org/abs/2610.29318v1
• Date: Wed, 21 Oct 2026 07:21:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.269588
• Title: Asking What a Director Sees Can Change What Vision-Language Models Choose
• Title（参考訳）: 監督に何がわかるか尋ねると、ビジョンランゲージモデルは何を選ぶかが変わる
• Abstract要約: 一般的な設計では、モデルに対して、その視点を報告し、その人物のために行動するよう求め、間違ったアクションの横にある正しいレポートを、その視点を使うのに失敗したとして読み取る。 私たちはそうでないことを示します。 まず、ディレクターが見ることができるブロックを問うと、6つのGPTモデルで12から88ポイント、Qwen3.8-27Bで17の割合で、この隠されたブロックを選択するリプライのシェアが上がる。
• 参考スコア（独自算出の注目度）: 9.110342604832026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models are now routinely tested on theory of mind: whether they can work out what another person sees, knows, and means. A common design asks the model to report that perspective and then to act for the person, and reads a correct report beside a wrong action as a failure to use the perspective. That reading rests on a quiet assumption: that asking for the report leaves the action unchanged. We show that it does not. In a rendered Director Task, a partition hides the largest block from a director who asks for "the largest block". Asking first which blocks the director can see raises the share of replies that choose this hidden block by 12 to 88 percentage points on six GPT models and by 17 on Qwen3.8-27B, even though the models mostly report correctly which blocks the director sees. Reasoning traces and prompt rewordings suggest why: the question shifts how the request is read, from the director's view toward the model's own. When the prompt states what the director knows and refers to, fewer than 1% of replies pair a correct report with a hidden-block choice. Any evaluation that elicits a perspective report before the action it scores needs a baseline without the question, and we deliver one: paired prompts that differ only in that question, a design any perspective-taking benchmark can adopt.
• Abstract（参考訳）: 視覚言語モデルは現在、心の理論に基づいて日常的にテストされている。 一般的な設計では、モデルに対して、その視点を報告し、その人物のために行動するよう求め、間違ったアクションの横にある正しいレポートを、その視点を使うのに失敗したとして読み取る。 その読みは静かな前提に当てはまる: レポートの要求は、アクションをそのままにしておきます。 私たちはそうでないことを示します。 レンダリングされたディレクタタスクでは、パーティションは、"最大のブロック"を求めるディレクタから最大のブロックを隠す。 まず、ディレクタが見ることができるブロックを問うと、6つのGPTモデルで12から88ポイント、Qwen3.8-27Bで17ポイント、ディレクタが見るブロックを正確に報告しているにもかかわらず、この隠れブロックを選択するリプライのシェアが上がる。 質問は、どのように要求が読まれるかを、ディレクターの視点からモデル自身のものへとシフトさせます。 プロンプトがディレクターが何を知って参照しているかを記述すると、1%未満のリプライが正しいレポートと隠れブロックの選択をペアリングする。 スコア付けするアクションの前にパースペクティブレポートを引き出す評価は、問題なくベースラインが必要です。

関連論文リスト

• Measuring and Reducing Unusable Replies of LLM Agents [31.60669924490176]
  人々はLLMエージェントにマルチステップの作業を委譲し、エージェントが返した返信のみを読みます。 現在の評価では、タスク完了とレポートの忠実度をスコアし、要求者が応答を理解して利用できるかどうかを公開している。 我々は、このプロパティ応答のユーザビリティを、要求者の位置を判断するリーダーモデルで測定し、要求者が見たものから応答が解釈可能かどうかをテストし、要求者の言語で応答する。
  論文  参考訳（メタデータ） (2026-10-14T06:35:49Z)
• Thinking Inertia: LLMs Keep Thinking When Told Not To [64.47373136313377]
  大規模言語モデルの2つの軸に沿った非思考行動について検討する。 以前の作業では、障害思考モードや長いトレースの欠如など、プロキシによる思考は定義されていない。 明示的な非思考制御は、目に見える推論を確実に排除できない。
  論文  参考訳（メタデータ） (2026-10-08T11:49:37Z)
• DelegationBench: Measuring When AI Agents Should Ask Before Acting [0.0]
  合意スコアが信頼できるかどうかをテストするために、DelegationBenchを導入します。 4つの可能なレスポンスを持つ156のシナリオがある(実行、許可の要求、行方不明の情報の要求、拒否)。 5家族の10モデルのうち、合意のスコアは3つの点で誤解を招く。
  論文  参考訳（メタデータ） (2026-10-04T20:54:35Z)
• LAVOIR: Teaching a Single-Pass Decision Encoder When and What to Ask with Amortized Value of Information [0.0]
  LAVOIRでは,解答オプションの隣の入力に欠落した情報(スロット)の候補を配置する。 見えるスキーマの決定はベイズ天井と統計的に区別できない。 ABCDの実際の会話では、LAVOIRが要求する8.3ポイントの精度が向上し、そうでなければそのままにしておく。
  論文  参考訳（メタデータ） (2026-09-25T02:31:02Z)
• Guardrail-Agnostic Societal Bias Evaluation in Large Vision-Language Models [46.12812175336961]
  大規模視覚言語モデル(LVLM)のための社会的バイアス評価手法を提案する。 本手法はガードレール付きLVLMであっても拒絶を回避し,信頼性の高いバイアス測定を可能にする。 最新の20のLVLMに適用すると、すべてのモデルが、人間に関係のないタスクにおいて、ユーザー人口統計情報を好ましくは使わないことが分かる。
  論文  参考訳（メタデータ） (2026-08-30T06:22:16Z)
• A Probe Direction Is a Property of Its Prompt [0.0]
  テストされていると感じたときに異なる振る舞いをするモデルは、私たちが依存している評価を損なうことになります。 標準楽器は、実行しないプロンプトに対する評価をアナウンスするプロンプトのアクティベーションとは対照的である。 評価をアナウンスするプロンプト」はプロンプトではなく、多くの人にとって選択肢である。
  論文  参考訳（メタデータ） (2026-08-13T14:57:37Z)
• BLINK-Twice: You see, but do you observe? A Reasoning Benchmark on Visual Perception [67.89135437537179]
  我々は視覚中心の推論ベンチマークであるBLINK-Twiceを紹介した。 外部の知識に頼るのではなく、私たちのタスクは視覚的コンテンツのみから推論するモデルを必要とします。 事前の知覚ベンチマークと比較すると、浅い知覚を超越し、きめ細かい観察と分析的推論を必要とする。
  論文  参考訳（メタデータ） (2025-10-10T13:14:13Z)
• Interactive Reasoning: Visualizing and Controlling Chain-of-Thought Reasoning in Large Language Models [54.85405423240165]
  トピックの階層構造としてチェーンオブ思考出力を可視化するインタラクション設計であるInteractive Reasoningを導入する。 私たちは、不確実なトレードオフに直面したAIによる意思決定のプロトタイプであるHippoで、インタラクティブな推論を実装しています。
  論文  参考訳（メタデータ） (2025-06-30T10:00:43Z)
• Rephrase, Augment, Reason: Visual Grounding of Questions for Vision-Language Models [59.05769810380928]
  Rephrase, Augment and Reason (RepARe) は勾配のないフレームワークで、基礎となる視覚言語モデルを用いて画像に関する詳細な情報を抽出する。 その結果、VQAv2では3.85%(絶対)、A-OKVQAでは6.41%、VizWizでは7.94%の増加が見られた。
  論文  参考訳（メタデータ） (2023-10-09T16:57:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。