論文の概要: Context informs pragmatic interpretation in vision-language models
- arxiv url: http://arxiv.org/abs/2511.03908v1
- Date: Wed, 05 Nov 2025 23:14:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-07 20:17:53.235361
- Title: Context informs pragmatic interpretation in vision-language models
- Title(参考訳): コンテキストは視覚言語モデルにおける実用的解釈を通知する
- Authors: Alvin Wei Ming Tan, Ben Prystawski, Veronica Boyce, Michael C. Frank,
- Abstract要約: 反復参照ゲームは、文脈に敏感な実用的な推論を行うエージェントの能力のテストケースを示す。
我々は、反復参照ゲームによる試行において、人間と視覚言語モデルを試した。
- 参考スコア(独自算出の注目度): 1.3941150400549018
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Iterated reference games - in which players repeatedly pick out novel referents using language - present a test case for agents' ability to perform context-sensitive pragmatic reasoning in multi-turn linguistic environments. We tested humans and vision-language models on trials from iterated reference games, varying the given context in terms of amount, order, and relevance. Without relevant context, models were above chance but substantially worse than humans. However, with relevant context, model performance increased dramatically over trials. Few-shot reference games with abstract referents remain a difficult task for machine learning models.
- Abstract(参考訳): 反復参照ゲーム - プレイヤーが言語を用いて新しい参照語を繰り返し選択する - は、マルチターン言語環境で文脈に敏感な実用的推論を行うエージェントの能力のテストケースを示す。
我々は、反復参照ゲームによる試行において、人間と視覚言語モデルをテストし、量、順序、関連性の観点から、与えられたコンテキストを変化させた。
関連した文脈がなければ、モデルは偶然を超えるが、人間よりはるかに悪い。
しかし、関連する文脈では、試行錯誤によりモデル性能が劇的に向上した。
抽象参照を持つ参照ゲームはほとんどないが、機械学習モデルでは難しい課題である。
関連論文リスト
- Evaluating Large Language Models on Multiword Expressions in Multilingual and Code-Switched Contexts [2.519319150166215]
本研究では,現在最先端の言語モデルが,潜在的に慣用的なマルチワード表現のあいまいさをどのように処理するかを評価する。
大きな言語モデルは、その強みにも拘わらず、ニュアンスド言語に苦戦している。
論文 参考訳(メタデータ) (2025-04-10T16:39:28Z) - Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。
大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
論文 参考訳(メタデータ) (2023-10-23T03:48:24Z) - Quantifying the Plausibility of Context Reliance in Neural Machine
Translation [25.29330352252055]
我々は、PECoRe(Context Reliance)の可塑性評価を導入する。
PECoReは、言語モデル世代におけるコンテキスト使用量の定量化を目的として設計されたエンドツーエンドの解釈可能性フレームワークである。
我々は、文脈対応機械翻訳モデルの妥当性を定量化するために、pecoreを使用します。
論文 参考訳(メタデータ) (2023-10-02T13:26:43Z) - RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。
フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。
本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
論文 参考訳(メタデータ) (2023-08-15T17:59:18Z) - MiQA: A Benchmark for Inference on Metaphorical Questions [5.32836690371986]
本稿では,従来のメタファを用いた大規模言語モデルの推論能力を評価するためのベンチマークを提案する。
本稿では,バイナリ選択タスクにおける最先端の事前学習モデルの性能について検討する。
論文 参考訳(メタデータ) (2022-10-14T17:46:05Z) - Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
比喩的・比喩的な言語は言論において一般的である。
現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。
ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
論文 参考訳(メタデータ) (2022-04-26T23:42:22Z) - How Far are We from Effective Context Modeling? An Exploratory Study on
Semantic Parsing in Context [59.13515950353125]
文法に基づく意味解析を行い,その上に典型的な文脈モデリング手法を適用する。
我々は,2つの大きなクロスドメインデータセットに対して,13のコンテキストモデリング手法を評価した。
論文 参考訳(メタデータ) (2020-02-03T11:28:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。