論文の概要: Auditing Counterfire: Evaluating Advanced Counterargument Generation with Evidence and Style
- arxiv url: http://arxiv.org/abs/2402.08498v3
- Date: Sat, 30 Mar 2024 15:08:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-02 14:04:28.434218
- Title: Auditing Counterfire: Evaluating Advanced Counterargument Generation with Evidence and Style
- Title（参考訳）: 対決の監査:エビデンスとスタイルによる高度な対論生成の評価
- Authors: Preetika Verma, Kokil Jaidka, Svetlana Churina,
- Abstract要約: GPT-3.5 ターボは高いパラフレーズとスタイルの忠実さで議論の質で最高位にランクインした。
ノ・スタイルの反論は、平均して最も説得力があることを証明した。
- 参考スコア（独自算出の注目度）: 11.243184875465788
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We audited counter-arguments generated by large language models (LLMs), focusing on their ability to generate evidence-based and stylistic counter-arguments to posts from the Reddit ChangeMyView dataset. Our evaluation is based on Counterfire: a new dataset of 32,000 counter-arguments generated from large language models (LLMs): GPT-3.5 Turbo and Koala and their fine-tuned variants, and PaLM 2, with varying prompts for evidence use and argumentative style. GPT-3.5 Turbo ranked highest in argument quality with strong paraphrasing and style adherence, particularly in `reciprocity' style arguments. However, the `No Style' counter-arguments proved most persuasive on average. The findings suggest that a balance between evidentiality and stylistic elements is vital to a compelling counter-argument. We close with a discussion of future research directions and implications for fine-tuning LLMs.
- Abstract（参考訳）: Reddit ChangeMyViewデータセットからの投稿に対して,エビデンスベースでスタイリスティックな反論を生成する能力に重点を置いて,大規模言語モデル(LLM)が生成した反論を監査した。
GPT-3.5 Turbo と Koala とそれらの微調整された変種と PaLM 2 はエビデンスの使用と議論スタイルの異なるプロンプトである。
GPT-3.5 Turboは、特に「相互性」スタイルの議論において、強いパラフレーズとスタイルの忠実さで、議論の質において最高位にランクされた。
しかし、「No Style」の反論は、平均して最も説得力があることを証明した。
この結果から, 明らか性と様式的要素のバランスが, 説得力のある反論に不可欠であることが示唆された。
我々は、今後の研究の方向性と微調整LDMの意義について議論する。
関連論文リスト
- What Evidence Do Language Models Find Convincing? [94.90663008214918]
議論の的になっているクエリと、さまざまな事実を含む実世界の証拠文書を組み合わせたデータセットを構築します。
このデータセットを用いて、感度と反ファクト分析を行い、どのテキスト特徴がLLM予測に最も影響するかを探索する。
全体として、現在のモデルは、クエリに対するWebサイトの関連性に大きく依存している一方で、人間が重要と考えるスタイル的特徴をほとんど無視している。
論文 参考訳（メタデータ） (2024-02-19T02:15:34Z) - Argue with Me Tersely: Towards Sentence-Level Counter-Argument
Generation [62.069374456021016]
本稿では,文レベル逆問題生成のためのArgTerselyベンチマークを提案する。
また,Arg-LlaMAによる高品質な逆問題生成手法を提案する。
論文 参考訳（メタデータ） (2023-12-21T06:51:34Z) - Exploring Jiu-Jitsu Argumentation for Writing Peer Review Rebuttals [70.22179850619519]
議論の多くの領域では、人々の議論はいわゆる態度のルーツによって駆動される。
心理学における最近の研究は、表面的な推論に直接対抗するのではなく、ジウジツの「ソフト」戦闘システムに触発された議論スタイルに従うべきであることを示唆している。
我々は,新たな態度課題とテーマ誘導的反論生成を提案することによって,ピアレビューのための時事論争を初めて探求する。
論文 参考訳（メタデータ） (2023-11-07T13:54:01Z) - Contextualizing Argument Quality Assessment with Relevant Knowledge [11.367297319588411]
SPARKは、関連する知識による文脈化に基づく議論品質を評価するための新しい手法である。
我々は、大きな言語モデルを利用してフィードバックを提供したり、隠れた仮定を推測したり、同様の品質の議論を提供したり、あるいは反論をしたりする4つの拡張を考案する。
論文 参考訳（メタデータ） (2023-05-20T21:04:58Z) - Persua: A Visual Interactive System to Enhance the Persuasiveness of
Arguments in Online Discussion [52.49981085431061]
説得力のある議論を書く能力を高めることは、オンラインコミュニケーションの有効性と文明性に寄与する。
オンライン議論における議論の説得力向上を支援するツールの設計目標を4つ導き出した。
Persuaは対話型ビジュアルシステムであり、議論の説得力を高めるための説得戦略の例に基づくガイダンスを提供する。
論文 参考訳（メタデータ） (2022-04-16T08:07:53Z) - Argument Undermining: Counter-Argument Generation by Attacking Weak
Premises [31.463885580010192]
我々は、議論を損なうこと、すなわち、その前提の1つを攻撃することによって議論に逆らうことを探る。
そこで我々は,まず前提の強度を評価し,弱体化をターゲットとした逆問題を生成するパイプライン手法を提案する。
論文 参考訳（メタデータ） (2021-05-25T08:39:14Z) - Aspect-Controlled Neural Argument Generation [65.91772010586605]
我々は、与えられたトピック、スタンス、アスペクトの文レベル引数を生成するために、きめ細かいレベルで制御できる引数生成のための言語モデルを訓練する。
評価の結果,我々の生成モデルは高品質なアスペクト特異的な議論を生成できることがわかった。
これらの議論は、データ拡張による姿勢検出モデルの性能向上と、逆問題の生成に使用できる。
論文 参考訳（メタデータ） (2020-04-30T20:17:22Z) - AMPERSAND: Argument Mining for PERSuAsive oNline Discussions [41.06165177604387]
本稿では,オンライン議論フォーラムにおける議論マイニングのための計算モデルを提案する。
我々のアプローチは、議論スレッド内の引数のコンポーネント間の関係を識別することに依存します。
我々のモデルは最近の最先端のアプローチと比較して大幅に改善されている。
論文 参考訳（メタデータ） (2020-04-30T10:33:40Z) - What Changed Your Mind: The Roles of Dynamic Topics and Discourse in
Argumentation Process [78.4766663287415]
本稿では,議論の説得力において重要な要因を自動的に分析する研究について述べる。
議論的会話における潜在トピックや談話の変化を追跡できる新しいニューラルモデルを提案する。
論文 参考訳（メタデータ） (2020-02-10T04:27:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。