論文の概要: Which one is banana man? Evaluating vision-language models in multi-turn pragmatic interpretation
- arxiv url: http://arxiv.org/abs/2608.29571v1
- Date: Sun, 30 Aug 2026 05:36:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.99982
- Title: Which one is banana man? Evaluating vision-language models in multi-turn pragmatic interpretation
- Title（参考訳）: バナナマンとは何者か? 多ターン実用的解釈における視覚言語モデルの評価
- Abstract要約: 反復参照ゲームは、文脈に敏感な実用的な推論を行うエージェントの能力のテストケースを示す。
我々は、反復した参照ゲームで生成された記述の意図した意味を識別する能力に基づいて、人間と視覚言語モデルを試した。
- 参考スコア（独自算出の注目度）: 1.0195618602298684
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Flexible adaptation to context and shared pragmatic intuitions contribute to smooth human conversation. Iterated reference games---in which players repeatedly pick out novel referents using language---present a test case for agents' ability to perform context-sensitive pragmatic reasoning in multi-turn linguistic environments. We tested humans and vision--language models on their ability to identify the intended meaning of descriptions produced in iterated reference games, varying the provided context in terms of amount, order, and relevance. While humans performed well consistently, the models we evaluated could make use of prior context to interpret humans' referring expressions, but they struggled to build up the relevant context to interpret those expressions effectively. Our results suggest that the models we evaluated lack core skills needed for efficient linguistic collaboration.
- Abstract（参考訳）: 文脈への柔軟な適応と共有現実的な直感は、スムーズな人間の会話に寄与する。
反復参照ゲーム - エージェントがマルチターン言語環境で文脈に敏感なプラグマティック推論を行うためのテストケースとして、プレイヤーが言語を用いて新しいレファレンスを繰り返し選択する。
我々は、反復参照ゲームで生成された記述の意図された意味を識別し、提供されたコンテキストを量、順序、関連性の観点から変化させる能力に基づいて、人間と視覚言語モデルを検証した。
人間は順調に行動したが、評価したモデルは、人間の参照表現を解釈するために事前の文脈を利用することができたが、それらの表現を効果的に解釈するために関連する文脈を構築するのに苦労した。
その結果,評価したモデルには,効率的な言語協調に必要なコアスキルが欠如していることが示唆された。
関連論文リスト
- Context informs pragmatic interpretation in vision-language models [1.3941150400549018]
反復参照ゲームは、文脈に敏感な実用的な推論を行うエージェントの能力のテストケースを示す。
我々は、反復参照ゲームによる試行において、人間と視覚言語モデルを試した。
論文 参考訳（メタデータ） (2025-11-05T23:14:59Z) - A Psycholinguistic Evaluation of Language Models' Sensitivity to Argument Roles [0.06554326244334868]
我々は,人間の議論的役割処理に関する心理言語学的研究を再現することにより,大規模言語モデルの議論的役割に対する感受性を評価する。
言語モデルでは,動詞とその先行する引数の関係から,可否が決定されるような,可否的かつ不可解な文脈で現れる動詞を識別することができる。
このことは、言語モデルが動詞の可読性を検出する能力は、人間のリアルタイム文処理の基盤となるメカニズムから生じるものではないことを示唆している。
論文 参考訳（メタデータ） (2024-10-21T16:05:58Z) - UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。
予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。
私たちはUNcommonsenseという新しい英語コーパスをリリースします。
論文 参考訳（メタデータ） (2023-11-14T19:00:55Z) - A fine-grained comparison of pragmatic language understanding in humans
and language models [2.231167375820083]
言語モデルと人間を7つの現実的な現象で比較する。
最大のモデルでは精度が高く,人間の誤りパターンと一致していることがわかった。
モデルと人間が同様の言語的手がかりに敏感であるという予備的な証拠がある。
論文 参考訳（メタデータ） (2022-12-13T18:34:59Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳（メタデータ） (2022-10-14T02:35:19Z) - Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
比喩的・比喩的な言語は言論において一般的である。
現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。
ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
論文 参考訳（メタデータ） (2022-04-26T23:42:22Z) - It's not Rocket Science : Interpreting Figurative Language in Narratives [48.84507467131819]
我々は2つの非構成的図形言語(イディオムとシミュラ)の解釈を研究する。
実験の結果、事前学習された言語モデルのみに基づくモデルは、これらのタスクにおいて人間よりもはるかにひどい性能を示すことがわかった。
また, 知識強化モデルを提案し, 具体的言語を解釈するための人的戦略を採用した。
論文 参考訳（メタデータ） (2021-08-31T21:46:35Z) - Infusing Finetuning with Semantic Dependencies [62.37697048781823]
シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。
次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
論文 参考訳（メタデータ） (2020-12-10T01:27:24Z) - Probing Contextual Language Models for Common Ground with Visual
Representations [76.05769268286038]
我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。
以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。
視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
論文 参考訳（メタデータ） (2020-05-01T21:28:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。