論文の概要: CoBRA: Quantifying Strategic Language Use and LLM Pragmatics
- arxiv url: http://arxiv.org/abs/2506.01195v1
- Date: Sun, 01 Jun 2025 22:07:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-05 04:22:50.709263
- Title: CoBRA: Quantifying Strategic Language Use and LLM Pragmatics
- Title（参考訳）: CoBRA: 戦略的言語使用とLLMプラグマティクスの定量化
- Authors: Anshun Asher Zheng, Junyi Jessy Li, David I. Beaver,
- Abstract要約: 我々は3つの解釈可能な指標とともにCoBRAを導入し、談話の動きの認識された戦略的効果を定量化する。
また、実際の法廷横断試験の注釈付きデータセットであるCHARMも提示する。
LLMは一般的に,戦略言語に対する限定的な実践的理解を示す。
- 参考スコア（独自算出の注目度）: 37.367852500514154
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language is often used strategically, particularly in high-stakes, adversarial settings, yet most work on pragmatics and LLMs centers on cooperativity. This leaves a gap in systematic understanding of non-cooperative discourse. To address this, we introduce CoBRA (Cooperation-Breach Response Assessment), along with three interpretable metrics -- Benefit at Turn (BaT), Penalty at Turn (PaT), and Normalized Relative Benefit at Turn (NRBaT) -- to quantify the perceived strategic effects of discourse moves. We also present CHARM, an annotated dataset of real courtroom cross-examinations, to demonstrate the framework's effectiveness. Using these tools, we evaluate a range of LLMs and show that LLMs generally exhibit limited pragmatic understanding of strategic language. While model size shows an increase in performance on our metrics, reasoning ability does not help and largely hurts, introducing overcomplication and internal confusion.
- Abstract（参考訳）: 言語はしばしば戦略的に使われており、特に高い評価、敵対的な設定では用いられるが、ほとんどの言語は実用学とLLMが協力性に重点を置いている。
これは非協力的な言論の体系的な理解のギャップを残している。
これを解決するために,我々は,CoBRA(Cooperation-Breach Response Assessment)と3つの解釈可能な指標(BaT),PaT(PaT),NRBaT(NRBaT))を紹介する。
また、実際の法廷横断試験の注釈付きデータセットであるCHARMを、フレームワークの有効性を示すために提示する。
これらのツールを用いて, LLM の範囲を評価し, LLM が戦略言語に対する限定的な実践的理解を示すことを示す。
モデルのサイズはメトリクスのパフォーマンス向上を示していますが、推論能力は役に立ちません。
関連論文リスト
- LLM Agents for Bargaining with Utility-based Feedback [23.357706450282002]
ユーティリティベースのフィードバックを中心とした包括的フレームワークを導入する。
1)新しいベンチマークデータセットであるBargainArena,(2)ユーティリティ理論にインスパイアされた人力による経済的な評価指標,(3)LCMを反復的にバリ取り戦略を洗練させる構造的フィードバックメカニズムである。
論文 参考訳（メタデータ） (2025-05-29T02:07:27Z) - On the Hardness of Faithful Chain-of-Thought Reasoning in Large Language Models [25.029579061612456]
大規模言語モデル(LLM)は、医療などの重要な領域における現実世界のアプリケーションにますます採用されている。
これらのモデルによって生成されたCoT(Chain-of-Thought)推論が、その基盤となる振る舞いを忠実に捉えることが重要である。
論文 参考訳（メタデータ） (2024-06-15T13:16:44Z) - Data Poisoning for In-context Learning [49.77204165250528]
In-context Learning (ICL)は、新しいタスクに適応する革新的な能力として認識されている。
本論文は、ICLのデータ中毒に対する感受性の重大な問題について述べる。
ICLの学習メカニズムを活用するために考案された特殊攻撃フレームワークであるICLPoisonを紹介する。
論文 参考訳（メタデータ） (2024-02-03T14:20:20Z) - Sparsity-Guided Holistic Explanation for LLMs with Interpretable
Inference-Time Intervention [53.896974148579346]
大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。
LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。
本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
論文 参考訳（メタデータ） (2023-12-22T19:55:58Z) - In-Context Exemplars as Clues to Retrieving from Large Associative
Memory [1.2952137350423816]
インコンテキスト学習(ICL)は、大規模言語モデル(LLM)がトレーニングなしでインコンテキストの例からパターンを学習することを可能にする。
文脈内学習の仕組みの理解が欠如しているため、模範をどう選ぶかはいまだ不明である。
本研究は、メモリ検索に接続することで、ICLのメカニズムに新たな光を当てる。
論文 参考訳（メタデータ） (2023-11-06T20:13:29Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳（メタデータ） (2023-09-07T01:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。