論文の概要: Unveiling the Limits of Large Language Models in Inferring Pragmatic Meaning from Non-Verbal Responses

• arxiv url: http://arxiv.org/abs/2606.01845v1
• Date: Mon, 01 Jun 2026 07:56:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:31.587222
• Title: Unveiling the Limits of Large Language Models in Inferring Pragmatic Meaning from Non-Verbal Responses
• Title（参考訳）: 非言語的応答からプラグマティックな意味を推測する大規模言語モデルの限界を解き明かす
• Authors: Sugyeong Eo, Heuiseok Lim,
• Abstract要約: 本稿では,非言語応答のみからなる対話における語用的意味を推測する大規模言語モデルの能力について,最初の体系的評価を行う。 我々は,LLMが非言語的応答から根底にある意味を推測するのに苦慮しており,その精度は動詞の応答に比べて最大60%低下することを示した。 さらなる分析により、LLMの非言語的行動解釈における行動パターンが明らかになり、文脈内学習が実用的な推論を促進することが示される。
• 参考スコア（独自算出の注目度）: 23.251610540579147
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although large language models (LLMs) have shown considerable progress in pragmatic language understanding, prior research has focused mainly on their comprehension of verbal behavior. Nonetheless, non-verbal behavior remains a fundamental component of human communication, especially when deliberately utilized in isolation to convey indirect meanings. In this work, we present the first systematic evaluation of LLMs' ability to infer pragmatic meaning in dialogue consisting solely of non-verbal responses. We explore three research questions: (1) Can LLMs recognize indirect intent conveyed through non-verbal responses? (2) When and how do LLMs fail to capture non-verbal intent? (3) How can we improve LLMs' ability to interpret non-verbal intent?. Through the evaluation, we observe that LLMs struggle to infer underlying meaning from non-verbal responses, with accuracy dropping by up to 60% points compared to verbal ones. Further extensive analysis reveals a behavioral pattern in LLMs' interpretations of non-verbal behavior and demonstrates that in-context learning facilitates pragmatic inference.
• Abstract（参考訳）: 大型言語モデル (LLM) は実用的言語理解においてかなりの進歩を見せているが、先行研究は主に言語行動の理解に焦点を当てている。 それにもかかわらず、非言語的行動は、特に間接的な意味を伝えるために孤立的に意図的に利用された場合、人間のコミュニケーションの基本的な構成要素である。 本研究では,非言語応答のみからなる対話における実用的意味を推測するLLMの能力について,初めて体系的評価を行った。 1)LLMは非言語的反応を通じて間接的意図を認識できるか? 2)LLMはいつ、どのようにして非言語意図を捕捉できないのか? (3)LLMの非言語意図の解釈能力を改善するにはどうすればいいのか? と。 評価の結果,LLMは非言語的応答から基礎的意味を推測するのに苦慮しており,その精度は言語的応答に比べて最大60%低下することがわかった。 より広範な分析により、LLMの非言語的行動解釈における行動パターンが明らかとなり、文脈内学習が実用的な推論を促進することが示されている。

関連論文リスト

• On the Same Wavelength? Evaluating Pragmatic Reasoning in Language Models across Broad Concepts [69.69818198773244]
  本研究では,言語理解と言語生産の両面で,多種多様なLMについて検討する。 最先端のLMは小さくはないが,言語理解において高い性能を発揮する。
  論文  参考訳（メタデータ） (2025-09-08T17:59:32Z)
• How LLMs Comprehend Temporal Meaning in Narratives: A Case Study in Cognitive Evaluation of LLMs [13.822169295436177]
  本研究では,人文研究に用いられた物語において,大規模言語モデル(LLM)が言語的側面の時間的意味をどう扱うかを検討する。 以上の結果から,LLMは原型性に過度に依存し,相反する側面判断を生じ,側面から派生した因果推論に苦慮することが明らかとなった。 これらの結果は,LLMのプロセスの側面が人間と根本的に異なり,ロバストな物語理解が欠如していることを示唆している。
  論文  参考訳（メタデータ） (2025-07-18T18:28:35Z)
• Evaluating Large language models on Understanding Korean indirect Speech acts [0.6757476692230009]
  本研究は,現在のLLMが発話の意図を,与えられた会話コンテキストを考慮し理解できるかどうかを評価する。 プロプライエタリなモデルは、オープンソースモデルに比べて比較的高いパフォーマンスを示した。 Claude3-Opusを除くほとんどのLLMは間接的音声行為の理解において著しく低い性能を示した。
  論文  参考訳（メタデータ） (2025-02-16T04:59:19Z)
• Can LLMs Understand the Implication of Emphasized Sentences in Dialogue? [64.72966061510375]
  強調は人間のコミュニケーションにおいて重要な要素であり、対話における純粋テキストを超えて話者の意図と含意を示す。 本稿では,強調の意味を抽出した強調注釈付き対話サンプルを用いたベンチマークであるEmphasized-Talkを紹介する。 オープンソースと商用の両方で様々な大規模言語モデル(LLM)を評価し,その性能を重要視して評価する。
  論文  参考訳（メタデータ） (2024-06-16T20:41:44Z)
• Reasoning in Conversation: Solving Subjective Tasks through Dialogue Simulation for Large Language Models [56.93074140619464]
  本稿では,対話シミュレーションによる主観的課題の解決に焦点を当てたRiC(Reasoning in Conversation)を提案する。 RiCのモチベーションは、チェーン・オブ・ソート・スタイルの合理性を提供するのではなく、対話をシミュレートすることで有用な文脈情報をマイニングすることである。 GPT-4、ChatGPT、OpenChatなど、APIベースのLLMとオープンソースのLLMの両方を12のタスクで評価する。
  論文  参考訳（メタデータ） (2024-02-27T05:37:10Z)
• Large Language Models: The Need for Nuance in Current Debates and a Pragmatic Perspective on Understanding [1.3654846342364308]
  LLM(Large Language Models)は、文法的に正しい、流動的なテキストを生成する能力において、非並列である。 本論文は,LLM能力の批判において再発する3点を批判的に評価する。 LLMにおける現実の理解と意図の問題に関する実践的な視点を概説する。
  論文  参考訳（メタデータ） (2023-10-30T15:51:04Z)
• ChatABL: Abductive Learning via Natural Language Interaction with ChatGPT [72.83383437501577]
  大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。 LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。 本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-21T16:23:47Z)
• The Goldilocks of Pragmatic Understanding: Fine-Tuning Strategy Matters for Implicature Resolution by LLMs [26.118193748582197]
  我々は、広く使われている最先端モデルの4つのカテゴリを評価する。 2進推論を必要とする発話のみを評価するにもかかわらず、3つのカテゴリのモデルはランダムに近い性能を示す。 これらの結果は、特定の微調整戦略がモデルにおける実用的理解を誘導する上ではるかに優れていることを示唆している。
  論文  参考訳（メタデータ） (2022-10-26T19:04:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。