論文の概要: Beneath the Surface: Investigating LLMs' Capabilities for Communicating with Subtext

• arxiv url: http://arxiv.org/abs/2604.05273v1
• Date: Tue, 07 Apr 2026 00:14:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.544071
• Title: Beneath the Surface: Investigating LLMs' Capabilities for Communicating with Subtext
• Title（参考訳）: 表面のベネター: LLMsがテキストでコミュニケーションできる能力を探る
• Abstract要約: 言語モデルがコミュニケーション設定でサブテキストを利用できるかどうかを体系的に研究する。 評価設定は、アレーゴリーの書き書きや解釈からマルチエージェントゲームやマルチモーダルゲームまで様々である。
• 参考スコア（独自算出の注目度）: 14.367312995215393
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human communication is fundamentally creative, and often makes use of subtext -- implied meaning that goes beyond the literal content of the text. Here, we systematically study whether language models can use subtext in communicative settings, and introduce four new evaluation suites to assess these capabilities. Our evaluation settings range from writing & interpreting allegories to playing multi-agent and multi-modal games inspired by the rules of board games like Dixit. We find that frontier models generally exhibit a strong bias towards overly literal, explicit communication, and thereby fail to account for nuanced constraints -- even the best performing models generate literal clues 60% of times in one of our environments -- Visual Allusions. However, we find that some models can sometimes make use of common ground with another party to help them communicate with subtext, achieving 30%-50% reduction in overly literal clues; but they struggle at inferring presence of a common ground when not explicitly stated. For allegory understanding, we find paratextual and persona conditions to significantly shift the interpretation of subtext. Overall, our work provides quantifiable measures for an inherently complex and subjective phenomenon like subtext and reveals many weaknesses and idiosyncrasies of current LLMs. We hope this research to inspire future work towards socially grounded creative communication and reasoning.
• Abstract（参考訳）: 人間のコミュニケーションは基本的に創造的であり、テキストのリテラルコンテンツを超えた意味を暗示するサブテキストを使うことが多い。 本稿では,言語モデルがサブテキストをコミュニケーション的設定で利用できるかどうかを体系的に検討し,これらの機能を評価するために4つの新しい評価スイートを導入する。 評価設定は、ディクシットのようなボードゲームのルールにインスパイアされたマルチエージェントゲームやマルチモーダルゲームなど、多岐にわたる。 私たちは、フロンティアモデルが一般的に、過度にリテラルで明示的なコミュニケーションに対する強いバイアスを示しており、その結果、ニュアンスのある制約を考慮できないことに気付きました。 しかし、あるモデルでは、時々他のモデルと共通基盤を利用して、それらがサブテキストと通信し、過剰にリテラルな手がかりを30%-50%削減することを発見したが、明示されていない場合、共通基盤の存在を推測するのに苦労している。 偏見的理解においては、パラテクストとペルソナの条件がサブテキストの解釈を著しく変える。 全体として、本研究は、サブテキストのような本質的に複雑で主観的な現象を定量的に測定し、現在のLLMの多くの弱点と慣用性を明らかにする。 この研究は、社会的基盤を持つ創造的なコミュニケーションと推論に向けた今後の研究を促すことを願っている。

関連論文リスト

• Multimodal QUD: Inquisitive Questions from Scientific Figures [63.41049609329304]
  我々は、科学的論文に携わるときに人間が生み出す疑問の深さに達する質問を生成する。 我々は、QUDの言語理論をテキストのみからマルチモーダルに拡張する。 MQUD上でのVLMの微調整により、一般的な低レベルの視覚的質問からコンテンツ固有のグラウンドへとモデルをシフトすることを示す。
  論文  参考訳（メタデータ） (2026-04-26T14:25:23Z)
• Can visual language models resolve textual ambiguity with visual cues? Let visual puns tell you! [14.84123301554462]
  語彙的曖昧さの解消におけるマルチモーダル入力の影響を評価するための新しいベンチマークUNPIEを提案する。 私たちのデータセットには1,000個の句が含まれており、それぞれに両方の意味を説明する画像が添付されています。 その結果,様々なソクラティック・モデルとビジュアル・ランゲージ・モデルにより,視覚的コンテキストが与えられた場合に,テキストのみのモデルよりも改善されることが示された。
  論文  参考訳（メタデータ） (2024-10-01T19:32:57Z)
• Is A Picture Worth A Thousand Words? Delving Into Spatial Reasoning for Vision Language Models [37.44286562901589]
  本研究では,空間推論の多様な側面をカバーする新しいベンチマークであるSpatialEvalを提案する。 我々は、競合する言語と視覚言語モデルを総合的に評価する。 文献で見過ごされてきたいくつかの反直感的な洞察が明らかとなった。
  論文  参考訳（メタデータ） (2024-06-21T03:53:37Z)
• ConTextual: Evaluating Context-Sensitive Text-Rich Visual Reasoning in Large Multimodal Models [92.60282074937305]
  テキストリッチな画像に対して文脈に敏感な推論を必要とする人為的な命令を特徴とする新しいデータセットであるConTextualを紹介した。 そこで本研究では,14の基盤モデルの性能評価実験を行い,人為的な性能基準を確立する。 GPT-4Vとヒトのパフォーマンスの30.8%の有意な性能差を観察した。
  論文  参考訳（メタデータ） (2024-01-24T09:07:11Z)
• Natural Language Decompositions of Implicit Content Enable Better Text Representations [52.992875653864076]
  本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。 我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。 本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
  論文  参考訳（メタデータ） (2023-05-23T23:45:20Z)
• OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
  テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。 OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
  論文  参考訳（メタデータ） (2023-05-13T11:28:37Z)
• The Goldilocks of Pragmatic Understanding: Fine-Tuning Strategy Matters for Implicature Resolution by LLMs [26.118193748582197]
  我々は、広く使われている最先端モデルの4つのカテゴリを評価する。 2進推論を必要とする発話のみを評価するにもかかわらず、3つのカテゴリのモデルはランダムに近い性能を示す。 これらの結果は、特定の微調整戦略がモデルにおける実用的理解を誘導する上ではるかに優れていることを示唆している。
  論文  参考訳（メタデータ） (2022-10-26T19:04:23Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• Emergent Communication of Generalizations [13.14792537601313]
  共有された視覚的コンテキストにおける1つのオブジェクトのコミュニケーションは、過度に適合する傾向があり、具体的な参照を超えて、言語が役に立つことを奨励しない、と我々は主張する。 抽象的な視覚概念を表すオブジェクトの集合上での通信一般化を必要とするゲームを提案する。 これらのゲームは学習言語の体系性と解釈可能性を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-06-04T19:02:18Z)
• Reading and Acting while Blindfolded: The Need for Semantics in Text Game Agents [18.743819704859703]
  人工エージェントがテキストのセマンティック理解をどのように利用するかは、まだ不明である。 表現空間を正規化し,探索を促す逆ダイナミクスデコーダを提案する。 将来のエージェントの設計における我々の発見の意義を、より強い意味論的理解で議論する。
  論文  参考訳（メタデータ） (2021-03-25T01:35:27Z)
• Interpretable Multi-Head Self-Attention model for Sarcasm Detection in social media [0.0]
  sarcastic expressionの曖昧さは、sarcasmの発見を非常に困難にしている。 マルチヘッドセルフアテンションとゲートリカレントユニットを用いた解釈可能なディープラーニングモデルを開発する。 本稿では,複数のデータセットで最新の結果を得る手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-01-14T21:39:35Z)
• A Benchmark for Systematic Generalization in Grounded Language Understanding [61.432407738682635]
  人間は慣れ親しんだ部分から成り立つ不慣れな状況を記述する表現を容易に解釈する。 対照的に、現代のニューラルネットワークは、新しい構成を理解するのに苦労している。 位置言語理解における合成一般化を評価するための新しいベンチマークであるgSCANを導入する。
  論文  参考訳（メタデータ） (2020-03-11T08:40:15Z)
• A Deep Neural Framework for Contextual Affect Detection [51.378225388679425]
  感情を持たない短い単純なテキストは、その文脈と共に読むときに強い感情を表現することができる。 文中の単語の相互依存を学習する文脈影響検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-01-28T05:03:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。