論文の概要: Argue with Me Tersely: Towards Sentence-Level Counter-Argument
Generation
- arxiv url: http://arxiv.org/abs/2312.13608v1
- Date: Thu, 21 Dec 2023 06:51:34 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-22 15:53:57.527065
- Title: Argue with Me Tersely: Towards Sentence-Level Counter-Argument
Generation
- Title(参考訳): 厳密に議論する: 文レベルの反論生成に向けて
- Authors: Jiayu Lin, Rong Ye, Meng Han, Qi Zhang, Ruofei Lai, Xinyu Zhang, Zhao
Cao, Xuanjing Huang, Zhongyu Wei
- Abstract要約: 本稿では,文レベル逆問題生成のためのArgTerselyベンチマークを提案する。
また,Arg-LlaMAによる高品質な逆問題生成手法を提案する。
- 参考スコア(独自算出の注目度): 62.069374456021016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Counter-argument generation -- a captivating area in computational
linguistics -- seeks to craft statements that offer opposing views. While most
research has ventured into paragraph-level generation, sentence-level
counter-argument generation beckons with its unique constraints and
brevity-focused challenges. Furthermore, the diverse nature of
counter-arguments poses challenges for evaluating model performance solely
based on n-gram-based metrics. In this paper, we present the ArgTersely
benchmark for sentence-level counter-argument generation, drawing from a
manually annotated dataset from the ChangeMyView debate forum. We also propose
Arg-LlaMA for generating high-quality counter-argument. For better evaluation,
we trained a BERT-based evaluator Arg-Judge with human preference data. We
conducted comparative experiments involving various baselines such as LlaMA,
Alpaca, GPT-3, and others. The results show the competitiveness of our proposed
framework and evaluator in counter-argument generation tasks. Code and data are
available at https://github.com/amazingljy1206/ArgTersely.
- Abstract(参考訳): 計算言語学の魅惑的な領域であるカウンター引数生成は、反対の見解を提供するステートメントを作成しようとしている。
多くの研究は段落レベルの世代へと進出してきたが、文レベルの対格生成は独特の制約と簡潔さに焦点を絞った挑戦を伴う。
さらに、カウンター引数の多様な性質は、n-gramベースのメトリクスのみに基づいてモデルパフォーマンスを評価する上での課題となる。
本稿では,changemyviewディベートフォーラムから手作業で注釈付きデータセットを抽出した,文レベルの対訳生成のためのargterselyベンチマークを提案する。
また,Arg-LlaMAによる高品質な逆問題生成手法を提案する。
BERTベースの評価器Arg-Judgeを人選好データを用いて訓練した。
LlaMA, Alpaca, GPT-3など, 各種ベースラインを対象とした比較実験を行った。
その結果,提案するフレームワークと評価器の競合性を示す。
コードとデータはhttps://github.com/amazingljy1206/argterselyで入手できる。
関連論文リスト
- Debatrix: Multi-dimensinal Debate Judge with Iterative Chronological
Analysis Based on LLM [54.01006653261757]
本稿では,マルチターン討論の分析と評価を多数派の好意に合致させるDebatrixを提案する。
具体的には、Debatrixは垂直かつ反復的な時系列分析と水平多次元評価コラボレーションを備えている。
実世界の議論シナリオに合わせるため、私たちはPanelBenchベンチマークを導入し、システムの性能と実際の議論結果を比較した。
論文 参考訳(メタデータ) (2024-03-12T18:19:47Z) - Auditing Counterfire: Evaluating Advanced Counterargument Generation
with Evidence and Style [12.636213065708318]
本稿では, 議論の精錬, マイニング, 評価におけるさらなる応用を目的とした, 逆論の制御された構成のための新しいデータセットを提案する。
我々のデータセットはReddit ChangeMyViewデータセットの投稿に対する豊富な反論で構成されており、高品質な情報源から取得した証拠と統合されている。
結果の対火コーパスは、GPT-3.5ターボ、コアラ、PALM 2モデルと2種類の微調整された派生機からなる。
論文 参考訳(メタデータ) (2024-02-13T14:53:12Z) - Exploring the Potential of Large Language Models in Computational
Argumentation [59.926959119656416]
大規模言語モデル(LLM)は、文脈を理解し、自然言語を生成する強力な能力を示している。
既存のタスクを6つのメインクラスに整理し、14のオープンソースデータセットのフォーマットを標準化します。
大規模な実験により、LLMはこれらのデータセットのほとんどにわたって可換な性能を示すことが示された。
論文 参考訳(メタデータ) (2023-11-15T15:12:15Z) - Sentiment Analysis through LLM Negotiations [58.67939611291001]
感情分析の標準的なパラダイムは、単一のLCMに依存して、その決定を1ラウンドで行うことである。
本稿では,感情分析のためのマルチLLMネゴシエーションフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-03T12:35:29Z) - ArgU: A Controllable Factual Argument Generator [0.0]
ArgUは、入力された事実と実世界の概念から現実の議論を生成することができる神経引数生成器である。
我々は6つのトピックと6つの引数スキームにまたがる69,428の引数からなる注釈付きコーパスを作成した。
論文 参考訳(メタデータ) (2023-05-09T10:49:45Z) - QRelScore: Better Evaluating Generated Questions with Deeper
Understanding of Context-aware Relevance [54.48031346496593]
我々は、$underlinetextbfRel$evance評価指標のコンテキスト対応評価指標である$textbfQRelScore$を提案する。
BERTやGPT2のような既製の言語モデルに基づいて、QRelScoreは単語レベルの階層マッチングと文レベルのプロンプトベースの生成の両方を採用している。
既存の測定値と比較すると、QRelScoreは人間による判断と高い相関性を持ちながら、敵のサンプルに対してより堅牢であることを示す。
論文 参考訳(メタデータ) (2022-04-29T07:39:53Z) - Aspect-Controlled Neural Argument Generation [65.91772010586605]
我々は、与えられたトピック、スタンス、アスペクトの文レベル引数を生成するために、きめ細かいレベルで制御できる引数生成のための言語モデルを訓練する。
評価の結果,我々の生成モデルは高品質なアスペクト特異的な議論を生成できることがわかった。
これらの議論は、データ拡張による姿勢検出モデルの性能向上と、逆問題の生成に使用できる。
論文 参考訳(メタデータ) (2020-04-30T20:17:22Z) - AMPERSAND: Argument Mining for PERSuAsive oNline Discussions [41.06165177604387]
本稿では,オンライン議論フォーラムにおける議論マイニングのための計算モデルを提案する。
我々のアプローチは、議論スレッド内の引数のコンポーネント間の関係を識別することに依存します。
我々のモデルは最近の最先端のアプローチと比較して大幅に改善されている。
論文 参考訳(メタデータ) (2020-04-30T10:33:40Z) - Same Side Stance Classification Task: Facilitating Argument Stance
Classification by Fine-tuning a BERT Model [8.8896707993459]
同じサイドスタンス分類タスクは、両方の引数が同じスタンスを共有するかどうかによって分類された引数ペアのデータセットを提供する。
3つのエポックに対して事前学習したBERTモデルを微調整し、各引数の最初の512トークンを使用して、2つの引数が同じスタンスを持つかどうかを予測する。
論文 参考訳(メタデータ) (2020-04-23T13:54:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。