論文の概要: Claim Optimization in Computational Argumentation
- arxiv url: http://arxiv.org/abs/2212.08913v2
- Date: Thu, 7 Sep 2023 09:01:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 17:45:10.044631
- Title: Claim Optimization in Computational Argumentation
- Title(参考訳): 計算議論におけるクレーム最適化
- Authors: Gabriella Skitalinskaya, Maximilian Splieth\"over, and Henning
Wachsmuth
- Abstract要約: 議論の最適な配信は、人間とAIシステムの両方において、あらゆる議論において説得の鍵となる。
本稿では,クレーム最適化の課題として,クレームを最適化するために議論的なクレームを書き直すことを提案する。
- 参考スコア(独自算出の注目度): 17.2929525695149
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An optimal delivery of arguments is key to persuasion in any debate, both for
humans and for AI systems. This requires the use of clear and fluent claims
relevant to the given debate. Prior work has studied the automatic assessment
of argument quality extensively. Yet, no approach actually improves the quality
so far. To fill this gap, this paper proposes the task of claim optimization:
to rewrite argumentative claims in order to optimize their delivery. As
multiple types of optimization are possible, we approach this task by first
generating a diverse set of candidate claims using a large language model, such
as BART, taking into account contextual information. Then, the best candidate
is selected using various quality metrics. In automatic and human evaluation on
an English-language corpus, our quality-based candidate selection outperforms
several baselines, improving 60% of all claims (worsening 16% only). Follow-up
analyses reveal that, beyond copy editing, our approach often specifies claims
with details, whereas it adds less evidence than humans do. Moreover, its
capabilities generalize well to other domains, such as instructional texts.
- Abstract(参考訳): 議論の最適な提供は、人間とaiシステムの両方にとって、あらゆる議論における説得の鍵である。
これは、与えられた議論に関連する明確で流動的な主張を使う必要がある。
先行研究は議論品質の自動評価を広く研究してきた。
しかし、これまでのところ品質改善の方法はない。
このギャップを埋めるために,提案するクレーム最適化の課題,すなわち,そのデリバリを最適化するために議論的クレームを書き換えることを提案する。
複数の最適化が可能となると、まずコンテキスト情報を考慮したBARTなどの大規模言語モデルを用いて、多様な候補クレームを生成することで、この問題に対処する。
そして、様々な品質指標を用いてベスト候補を選択する。
英語コーパスの自動評価において、我々の品質ベースの候補選択は、いくつかのベースラインを上回り、すべてのクレームの60%を改善した(16%以上)。
追従分析の結果、われわれのアプローチはコピー編集以外にも、しばしば詳細なクレームを指定するが、人間よりもエビデンスが少ないことが判明した。
さらに、その能力は、命令テキストのような他のドメインにうまく一般化します。
関連論文リスト
- VPO: Leveraging the Number of Votes in Preference Optimization [5.200545764106177]
本稿では,ユーザの投票データを活用し,多様な主観的嗜好に適合する手法を提案する。
我々は,議論を呼んでいる世代対と明らかな世代対を区別するために,双方の投票数を組み込んだVoteベースのPreference Optimizationフレームワークを開発した。
論文 参考訳(メタデータ) (2024-10-30T10:39:34Z) - Speechworthy Instruction-tuned Language Models [71.8586707840169]
提案手法は,学習の促進と嗜好の両面において,一般的な命令調整型LLMの音声適合性の向上を図っている。
我々は,各手法が生成した応答の音声適合性向上にどのように貢献するかを示すために,語彙的,構文的,定性的な分析を共有する。
論文 参考訳(メタデータ) (2024-09-23T02:34:42Z) - QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。
我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。
様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
論文 参考訳(メタデータ) (2024-08-20T03:06:48Z) - Prompt Optimization with Human Feedback [69.95991134172282]
人間のフィードバックによる迅速な最適化問題(POHF)について検討する。
我々は自動POHF(Automatic POHF)というアルゴリズムを導入する。
その結果、APOHFは、少数の好みフィードバックインスタンスを用いて、効率的に適切なプロンプトを見つけることができることがわかった。
論文 参考訳(メタデータ) (2024-05-27T16:49:29Z) - Optimizing Language Models for Human Preferences is a Causal Inference Problem [41.59906798328058]
直接結果データセットからの人間の嗜好に対する言語モデル最適化について検討する。
まず,言語モデルの最適化を因果問題と見なして,モデルがテキストと結果の関係を正しく学習することを保証する。
我々はCPOを2倍の頑健なCPOで拡張し、従属目的の分散を低減し、バイアスに対する確実な強い保証を維持します。
論文 参考訳(メタデータ) (2024-02-22T21:36:07Z) - Calibrating LLM-Based Evaluator [92.17397504834825]
マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。
人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。
複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
論文 参考訳(メタデータ) (2023-09-23T08:46:11Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳(メタデータ) (2023-09-13T01:12:52Z) - Text Counterfactuals via Latent Optimization and Shapley-Guided Search [15.919650185010491]
本研究は,分類モデルにおける対実テキスト生成の問題について考察する。
我々は、モデルの予測を変えるために、テキストを最小限に変更することを目指している。
ホワイトボックスアプローチは、視覚における同様の問題にうまく適用されている。
論文 参考訳(メタデータ) (2021-10-22T05:04:40Z) - Paraphrasing via Ranking Many Candidates [0.0]
本稿では,様々なパラフレーズを簡便かつ効果的に生成し,その中から良質なパラフレーズを見出す方法を提案する。
生成モデルと復号化オプションの組合せが1つしかないと仮定するのではなく、複数の候補から最適な候補を見つけることに注力する。
論文 参考訳(メタデータ) (2021-07-20T06:24:01Z) - Descending through a Crowded Valley - Benchmarking Deep Learning
Optimizers [29.624308090226375]
本研究は,これらの逸話を,少なくとも証拠に裏付けられた逸話に置き換えることを目的としている。
そのために、特に人気のある15のディープラーニングの、広範囲で標準化されたベンチマークを実行します。
我々のオープンソースの成果は、新しい最適化手法のより有意義な評価のために、挑戦的でよく調整されたベースラインとして利用可能である。
論文 参考訳(メタデータ) (2020-07-03T08:19:36Z) - Context-Based Quotation Recommendation [60.93257124507105]
本稿では,新しい文脈対応引用レコメンデーションシステムを提案する。
これは、所定のソース文書から引用可能な段落とトークンの列挙リストを生成する。
音声テキストと関連するニュース記事の収集実験を行う。
論文 参考訳(メタデータ) (2020-05-17T17:49:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。