論文の概要: "Reasoning" with Rhetoric: On the Style-Evidence Tradeoff in LLM-Generated Counter-Arguments
- arxiv url: http://arxiv.org/abs/2402.08498v5
- Date: Thu, 01 May 2025 01:00:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:51.64901
- Title: "Reasoning" with Rhetoric: On the Style-Evidence Tradeoff in LLM-Generated Counter-Arguments
- Title（参考訳）: 修辞と「推論」--LLM系対位法におけるスタイルエビデンストレードオフについて
- Authors: Preetika Verma, Kokil Jaidka, Svetlana Churina,
- Abstract要約: 大規模言語モデル(LLM)はエビデンスベースでスタイリスティックな反論を生成する上で重要な役割を果たしている。
これまでの研究では、明白さとスタイルのバランスを無視することがしばしばあり、これは説得力のある議論に不可欠である。
カウンタファイアにおけるスタイリングされたエビデンスに基づく対論生成の有効性を評価した。
- 参考スコア（独自算出の注目度）: 11.243184875465788
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) play a key role in generating evidence-based and stylistic counter-arguments, yet their effectiveness in real-world applications has been underexplored. Previous research often neglects the balance between evidentiality and style, which are crucial for persuasive arguments. To address this, we evaluated the effectiveness of stylized evidence-based counter-argument generation in Counterfire, a new dataset of 38,000 counter-arguments generated by revising counter-arguments to Reddit's ChangeMyView community to follow different discursive styles. We evaluated generic and stylized counter-arguments from basic and fine-tuned models such as GPT-3.5, PaLM-2, and Koala-13B, as well as newer models (GPT-4o, Claude Haiku, LLaMA-3.1) focusing on rhetorical quality and persuasiveness. Our findings reveal that humans prefer stylized counter-arguments over the original outputs, with GPT-3.5 Turbo performing well, though still not reaching human standards of rhetorical quality nor persuasiveness. Additionally, our work created a novel argument triplets dataset for studying style control, with human preference labels that provide insights into the tradeoffs between evidence integration and argument quality.
- Abstract（参考訳）: 大規模言語モデル(LLM)はエビデンスベースでスタイリスティックな逆問題を生成する上で重要な役割を担っているが、現実のアプリケーションにおけるそれらの有効性は過小評価されている。
これまでの研究では、明白さとスタイルのバランスを無視することがしばしばあり、これは説得力のある議論に不可欠である。
そこで我々は,RedditのChangeMyViewコミュニティに対して,さまざまなディスカジュアルなスタイルに従うために,新しい38,000の反コーグメントデータセットであるCounterfireにおけるスタイリングされたエビデンスベースの反コーグメント生成の有効性を評価した。
我々は, GPT-3.5, PaLM-2, Koala-13Bなどの基本および微調整モデルと, より新しいモデル (GPT-4o, Claude Haiku, LLaMA-3.1) から, 修辞的品質と説得性に着目して, 汎用的およびスタイリングされた逆問題を評価する。
この結果より, GPT-3.5 Turbo の精度は高いが, 修辞的品質や説得力の基準には達していない。
さらに、我々の研究はスタイル制御を研究するための新しい引数三重項データセットを作成し、人間の嗜好ラベルによって証拠統合と議論品質のトレードオフに関する洞察を提供する。
関連論文リスト
- What Evidence Do Language Models Find Convincing? [94.90663008214918]
議論の的になっているクエリと、さまざまな事実を含む実世界の証拠文書を組み合わせたデータセットを構築します。
このデータセットを用いて、感度と反ファクト分析を行い、どのテキスト特徴がLLM予測に最も影響するかを探索する。
全体として、現在のモデルは、クエリに対するWebサイトの関連性に大きく依存している一方で、人間が重要と考えるスタイル的特徴をほとんど無視している。
論文 参考訳（メタデータ） (2024-02-19T02:15:34Z) - Argue with Me Tersely: Towards Sentence-Level Counter-Argument
Generation [62.069374456021016]
本稿では,文レベル逆問題生成のためのArgTerselyベンチマークを提案する。
また,Arg-LlaMAによる高品質な逆問題生成手法を提案する。
論文 参考訳（メタデータ） (2023-12-21T06:51:34Z) - CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。
CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
論文 参考訳（メタデータ） (2023-11-30T16:52:42Z) - Exploring Jiu-Jitsu Argumentation for Writing Peer Review Rebuttals [70.22179850619519]
議論の多くの領域では、人々の議論はいわゆる態度のルーツによって駆動される。
心理学における最近の研究は、表面的な推論に直接対抗するのではなく、ジウジツの「ソフト」戦闘システムに触発された議論スタイルに従うべきであることを示唆している。
我々は,新たな態度課題とテーマ誘導的反論生成を提案することによって,ピアレビューのための時事論争を初めて探求する。
論文 参考訳（メタデータ） (2023-11-07T13:54:01Z) - Contextualizing Argument Quality Assessment with Relevant Knowledge [11.367297319588411]
SPARKは、関連する知識による文脈化に基づく議論品質を評価するための新しい手法である。
我々は、大きな言語モデルを利用してフィードバックを提供したり、隠れた仮定を推測したり、同様の品質の議論を提供したり、あるいは反論をしたりする4つの拡張を考案する。
論文 参考訳（メタデータ） (2023-05-20T21:04:58Z) - ArgU: A Controllable Factual Argument Generator [0.0]
ArgUは、入力された事実と実世界の概念から現実の議論を生成することができる神経引数生成器である。
我々は6つのトピックと6つの引数スキームにまたがる69,428の引数からなる注釈付きコーパスを作成した。
論文 参考訳（メタデータ） (2023-05-09T10:49:45Z) - Persua: A Visual Interactive System to Enhance the Persuasiveness of
Arguments in Online Discussion [52.49981085431061]
説得力のある議論を書く能力を高めることは、オンラインコミュニケーションの有効性と文明性に寄与する。
オンライン議論における議論の説得力向上を支援するツールの設計目標を4つ導き出した。
Persuaは対話型ビジュアルシステムであり、議論の説得力を高めるための説得戦略の例に基づくガイダンスを提供する。
論文 参考訳（メタデータ） (2022-04-16T08:07:53Z) - Argument Undermining: Counter-Argument Generation by Attacking Weak
Premises [31.463885580010192]
我々は、議論を損なうこと、すなわち、その前提の1つを攻撃することによって議論に逆らうことを探る。
そこで我々は,まず前提の強度を評価し,弱体化をターゲットとした逆問題を生成するパイプライン手法を提案する。
論文 参考訳（メタデータ） (2021-05-25T08:39:14Z) - Aspect-Controlled Neural Argument Generation [65.91772010586605]
我々は、与えられたトピック、スタンス、アスペクトの文レベル引数を生成するために、きめ細かいレベルで制御できる引数生成のための言語モデルを訓練する。
評価の結果,我々の生成モデルは高品質なアスペクト特異的な議論を生成できることがわかった。
これらの議論は、データ拡張による姿勢検出モデルの性能向上と、逆問題の生成に使用できる。
論文 参考訳（メタデータ） (2020-04-30T20:17:22Z) - AMPERSAND: Argument Mining for PERSuAsive oNline Discussions [41.06165177604387]
本稿では,オンライン議論フォーラムにおける議論マイニングのための計算モデルを提案する。
我々のアプローチは、議論スレッド内の引数のコンポーネント間の関係を識別することに依存します。
我々のモデルは最近の最先端のアプローチと比較して大幅に改善されている。
論文 参考訳（メタデータ） (2020-04-30T10:33:40Z) - What Changed Your Mind: The Roles of Dynamic Topics and Discourse in
Argumentation Process [78.4766663287415]
本稿では,議論の説得力において重要な要因を自動的に分析する研究について述べる。
議論的会話における潜在トピックや談話の変化を追跡できる新しいニューラルモデルを提案する。
論文 参考訳（メタデータ） (2020-02-10T04:27:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。