論文の概要: They want to pretend not to understand: The Limits of Current LLMs in Interpreting Implicit Content of Political Discourse
- arxiv url: http://arxiv.org/abs/2506.06775v1
- Date: Sat, 07 Jun 2025 12:10:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-10 16:33:10.474467
- Title: They want to pretend not to understand: The Limits of Current LLMs in Interpreting Implicit Content of Political Discourse
- Title(参考訳): 彼らは理解できないふりをしたい:政治談話の意図的内容の解釈における現在のLLMの限界
- Authors: Walter Paci, Alessandro Panunzi, Sandro Pezzelle,
- Abstract要約: 暗黙のコンテンツは政治的談話において重要な役割を担い、聴衆に影響を与えるために不合理性や前提といった実践的な戦略を採用する。
初回は,マニピュティブな暗黙的内容の注釈付きイタリア語の政治演説を含むIMPAQTSコーパスを活用している。
すべてのテストされたモデルは、前提と不適応を解釈するのに苦労していることを実証する。
我々は,現在のLLMには,暗黙的言語を正確に解釈するために必要な重要な実用的能力が欠けていると結論づける。
- 参考スコア(独自算出の注目度): 45.345331649865216
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Implicit content plays a crucial role in political discourse, where speakers systematically employ pragmatic strategies such as implicatures and presuppositions to influence their audiences. Large Language Models (LLMs) have demonstrated strong performance in tasks requiring complex semantic and pragmatic understanding, highlighting their potential for detecting and explaining the meaning of implicit content. However, their ability to do this within political discourse remains largely underexplored. Leveraging, for the first time, the large IMPAQTS corpus, which comprises Italian political speeches with the annotation of manipulative implicit content, we propose methods to test the effectiveness of LLMs in this challenging problem. Through a multiple-choice task and an open-ended generation task, we demonstrate that all tested models struggle to interpret presuppositions and implicatures. We conclude that current LLMs lack the key pragmatic capabilities necessary for accurately interpreting highly implicit language, such as that found in political discourse. At the same time, we highlight promising trends and future directions for enhancing model performance. We release our data and code at https://github.com/WalterPaci/IMPAQTS-PID
- Abstract(参考訳): インプリケートコンテンツは政治的談話において重要な役割を担い、話者はインプリケーションや前提といった実用的戦略を体系的に採用して聴衆に影響を与える。
大規模言語モデル(LLM)は、暗黙のコンテンツの意味を検知し説明する可能性を強調し、複雑な意味と実践的な理解を必要とするタスクにおいて、強力なパフォーマンスを示してきた。
しかし、政治談話の中でこれを行う能力はいまだに未熟である。
触覚的暗黙的コンテンツアノテーションを用いたイタリア語の政治的発言を含むIMPAQTSコーパスを初めて活用し,本課題におけるLCMの有効性を検証する方法を提案する。
複数選択タスクとオープンな生成タスクを通じて、テストされたすべてのモデルが事前仮定や不適応を解釈するのに苦労していることを示す。
政治談話に見られるような暗黙的言語を正確に解釈するためには,現在のLLMには重要な実用能力が欠けていると結論付けている。
同時に、モデル性能を向上させるための将来性のあるトレンドと今後の方向性を強調します。
データとコードはhttps://github.com/WalterPaci/IMPAQTS-PIDで公開しています。
関連論文リスト
- Probing the Subtle Ideological Manipulation of Large Language Models [0.3745329282477067]
大規模言語モデル (LLM) は自然言語処理に変化をもたらしたが、イデオロギー操作への感受性に懸念が持たれている。
本稿では,イデオロギー的QA,ステートメントランキング,マニフェスト・クローゼ完了,議会法案理解などのタスクを通じて,多様なイデオロギー的位置を反映する新しいマルチタスクデータセットを提案する。
以上の結果から,微調整によりニュアンス的なイデオロギー的アライメントが著しく向上する一方,明示的なプロンプトは軽微な改善しか得られないことが示唆された。
論文 参考訳(メタデータ) (2025-04-19T13:11:50Z) - Linguistic Knowledge Transfer Learning for Speech Enhancement [29.191204225828354]
言語知識は、言語理解において重要な役割を果たす。
ほとんどの音声強調法は、雑音とクリーンな音声のマッピング関係を学習するために音響的特徴に依存している。
本稿では,言語知識をSEモデルに統合するクロスモーダル・ナレッジ・トランスファー(CMKT)学習フレームワークを提案する。
論文 参考訳(メタデータ) (2025-03-10T09:00:18Z) - SparQLe: Speech Queries to Text Translation Through LLMs [0.8901073744693314]
そこで本研究では,自己教師型音声表現と命令調整型LLMを併用して音声からテキストへの翻訳を行う手法を提案する。
実験により,本手法は入力音声の意味的内容を効果的に保存し,自己教師型音声モデルと命令調整型LLMの効果的なブリッジとして機能することが示された。
論文 参考訳(メタデータ) (2025-02-13T12:57:15Z) - Self-Powered LLM Modality Expansion for Large Speech-Text Models [62.27700381806554]
大規模言語モデル(LLM)は、様々なタスクにまたがる顕著なパフォーマンスを示す。
本研究は,バニラ調律の限界に対処して,LSM訓練における音声データセットの利用を改良することを目的とする。
そこで本研究では,モデル自体が生成する拡張音声認識データを利用して,より効果的な命令チューニングを行う自己力 LSM を提案する。
論文 参考訳(メタデータ) (2024-10-04T04:34:24Z) - Frozen Large Language Models Can Perceive Paralinguistic Aspects of Speech [29.847183061204436]
本研究は、重みを微調整することなく、音声のパラ言語的側面を理解するための大規模言語モデル(LLM)の能力について研究する。
音声エンコーダを用いたエンドツーエンドシステムを用いて,LLMの表現的音声プロンプトに対する応答が意味的に一致するテキストプロンプトに対する応答と一致するように,トークン埋め込みを訓練する。
論文 参考訳(メタデータ) (2024-10-02T01:32:47Z) - Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。
本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。
観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
論文 参考訳(メタデータ) (2023-11-15T00:02:25Z) - Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。
我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。
モデルはこれらの評価セットに対して中程度から低い性能を示す。
論文 参考訳(メタデータ) (2023-05-24T06:41:09Z) - Natural Language Decompositions of Implicit Content Enable Better Text Representations [52.992875653864076]
本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。
我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。
本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
論文 参考訳(メタデータ) (2023-05-23T23:45:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。