論文の概要: Calibrated Ambiguity in Multimodal Language Models: Humans reach for cultural references, while models describe the picture
- arxiv url: http://arxiv.org/abs/2609.12575v1
- Date: Fri, 11 Sep 2026 08:25:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-15 10:54:53.418693
- Title: Calibrated Ambiguity in Multimodal Language Models: Humans reach for cultural references, while models describe the picture
- Title(参考訳): マルチモーダル言語モデルにおける校正曖昧性:人間は文化的な参照に手を伸ばす一方で、モデルは絵を記述する
- Abstract要約: 我々は、パーラーゲームDixitから引き出されたタスクで、キャリブレーションされたあいまいさの概念を運用する。
人間の言語モデルとマルチモーダル言語モデルによる手がかりの相違を, あいまいさを校正するための新しい符号化ルーブリックに基づいて比較する。
人間の手がかりとは異なり、AIが生成する手がかりは文化的な平らさも示しており、文化的な知識にはほとんど言及しない。
- 参考スコア(独自算出の注目度): 3.7696009147557867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Ambiguity is often treated as a bug for AI systems to resolve---but in human communication and culture, ambiguity can also be a generative resource. From humour to politics to art, people express themselves in words and images that are open enough to invite different interpretations, yet constrained enough to be interpretable. We operationalise this notion of calibrated ambiguity with a task drawn from the parlour game Dixit. We compare differences in clues generated by human vs multimodal language models, based on a novel coding rubric for calibrated ambiguity, and find that models consistently exhibit ambiguity collapse (i.e., their outputs are over-specified, leaving no room for multiple legitimate interpretations). Unlike human clues, AI-generated clues also exhibit cultural flattening; they almost never make reference to culturally-situated knowledge, even when prompted to use allusion and figurative language.
- Abstract(参考訳): あいまいさはAIシステムが解決するためのバグとして扱われることが多い。
ユーモアから政治、芸術に至るまで、人々は異なる解釈を招待するのに十分なオープンな言葉やイメージで自己表現するが、解釈できるほど拘束される。
我々は、このキャリブレーションされた曖昧さという概念を、パーラーゲームDixitから引き出されたタスクで操作する。
人間の言語モデルとマルチモーダル言語モデルによる手掛かりの違いを比較し、曖昧さを校正するための新しい符号化ルーブをベースとして、モデルが一貫してあいまいさの崩壊を示す(すなわち、出力が過剰に特定され、複数の正当な解釈の余地が残らない)ことを発見した。
人間の手がかりとは異なり、AIが生成する手がかりは文化的な平らさも示している。
関連論文リスト
- BanglaMemeX: Advancing Cultural Metaphoric Image Interpretation in Bangla with a Multimodal Explainable Dataset [2.8823932597429196]
インターネットのミームは、画像、オーバーレイドテキスト、皮肉、社会文化的知識の間の暗黙の相互作用から意味が生まれる、困難な状況を示す。
文化に根ざしたマルチモーダルベンチマークであるBanglaMemeXを紹介し, 3000個のBanglaミームに多次元ラベルを付加した。
本研究は,言語的・文化的な分布変化の背景として,文化的に意識されたマルチモーダルシステムの必要性を浮き彫りにしたものである。
論文 参考訳(メタデータ) (2026-09-07T22:27:18Z) - Which one is banana man? Evaluating vision-language models in multi-turn pragmatic interpretation [1.0195618602298684]
反復参照ゲームは、文脈に敏感な実用的な推論を行うエージェントの能力のテストケースを示す。
我々は、反復した参照ゲームで生成された記述の意図した意味を識別する能力に基づいて、人間と視覚言語モデルを試した。
論文 参考訳(メタデータ) (2026-08-30T05:36:41Z) - IDIOLEX: Unified and Continuous Representations for Idiolectal and Stylistic Variation [88.98544786373212]
既存の文表現は主に、その表現方法ではなく、ある文が何を言っているかを符号化する。
本研究は,意味内容から分離したスタイルと方言をキャプチャする文表現を開発する。
IDIOLEX(IDIOLEX)は,文の証明から文の内容の言語的特徴までを統括するモデルを訓練するためのフレームワークである。
論文 参考訳(メタデータ) (2026-04-06T14:17:24Z) - Identifying & Interactively Refining Ambiguous User Goals for Data Visualization Code Generation [48.63200319578052]
本研究では,この課題に現れるあいまいさの分類法を開発し,それらを定量化するための指標を提案する。
我々の研究は、マルチターン対話が曖昧さを減らし、ユーザ目標の整合性を高めてコード精度を向上させる方法についても検討している。
論文 参考訳(メタデータ) (2025-10-10T13:44:40Z) - Can visual language models resolve textual ambiguity with visual cues? Let visual puns tell you! [14.84123301554462]
語彙的曖昧さの解消におけるマルチモーダル入力の影響を評価するための新しいベンチマークUNPIEを提案する。
私たちのデータセットには1,000個の句が含まれており、それぞれに両方の意味を説明する画像が添付されています。
その結果,様々なソクラティック・モデルとビジュアル・ランゲージ・モデルにより,視覚的コンテキストが与えられた場合に,テキストのみのモデルよりも改善されることが示された。
論文 参考訳(メタデータ) (2024-10-01T19:32:57Z) - IRFL: Image Recognition of Figurative Language [20.472997304393413]
図形は、しばしば複数のモダリティ(例えば、テキストと画像の両方)を通して伝達される。
我々は、図形言語データセットの画像認識を開発する。
マルチモーダルな図形言語理解のためのベンチマークとして,2つの新しいタスクを導入する。
論文 参考訳(メタデータ) (2023-03-27T17:59:55Z) - Is the Elephant Flying? Resolving Ambiguities in Text-to-Image
Generative Models [64.58271886337826]
テキストから画像への生成モデルで生じるあいまいさについて検討する。
本稿では,ユーザから明確化を求めることによって,システムに与えられるプロンプトのあいまいさを軽減する枠組みを提案する。
論文 参考訳(メタデータ) (2022-11-17T17:12:43Z) - Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
比喩的・比喩的な言語は言論において一般的である。
現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。
ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
論文 参考訳(メタデータ) (2022-04-26T23:42:22Z) - Iconary: A Pictionary-Based Game for Testing Multimodal Communication
with Drawings and Text [70.14613727284741]
人間とのコミュニケーションは、世界の共通理解、複雑なセマンティクス、時にはマルチモーダルなジェスチャーを必要とするため、AIにとって難しい。
図面と推測の協調ゲームであるIconaryの文脈において,これらの課題を考察する。
我々は、Iconaryをプレイし、人間のプレイヤー間で55,000以上のゲームでそれらをトレーニングするモデルを提案する。
論文 参考訳(メタデータ) (2021-12-01T19:41:03Z) - It's not Rocket Science : Interpreting Figurative Language in Narratives [48.84507467131819]
我々は2つの非構成的図形言語(イディオムとシミュラ)の解釈を研究する。
実験の結果、事前学習された言語モデルのみに基づくモデルは、これらのタスクにおいて人間よりもはるかにひどい性能を示すことがわかった。
また, 知識強化モデルを提案し, 具体的言語を解釈するための人的戦略を採用した。
論文 参考訳(メタデータ) (2021-08-31T21:46:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。