論文の概要: Claim Optimization in Computational Argumentation
- arxiv url: http://arxiv.org/abs/2212.08913v1
- Date: Sat, 17 Dec 2022 16:30:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 16:11:24.371941
- Title: Claim Optimization in Computational Argumentation
- Title(参考訳): 計算議論におけるクレーム最適化
- Authors: Gabriella Skitalinskaya, Maximilian Splieth\"over, and Henning
Wachsmuth
- Abstract要約: 議論の最適な配信は、人間とAIシステムの両方において、あらゆる議論において説得の鍵となる。
本稿では,クレーム最適化の課題として,議論的クレームの書き直しとデリバリの最適化を提案する。
自動的および人的評価において、我々はイングランドのコーパスにおいて異なるランク付け基準を達成し、すべてのクレームの60%を改善した。
- 参考スコア(独自算出の注目度): 15.74531228507133
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An optimal delivery of arguments is key to persuasion in any debate, both for
humans and for AI systems. This requires the use of clear and fluent claims
relevant to the given debate. Prior work has studied the automatic assessment
of argument quality extensively. Yet, no approach actually improves the quality
so far. Our work is the first step towards filling this gap. We propose the
task of claim optimization: to rewrite argumentative claims to optimize their
delivery. As an initial approach, we first generate a candidate set of
optimized claims using a sequence-to-sequence model, such as BART, while taking
into account contextual information. Our key idea is then to rerank generated
candidates with respect to different quality metrics to find the best
optimization. In automatic and human evaluation, we outperform different
reranking baselines on an English corpus, improving 60% of all claims
(worsening 16% only). Follow-up analyses reveal that, beyond copy editing, our
approach often specifies claims with details, whereas it adds less evidence
than humans do. Moreover, its capabilities generalize well to other domains,
such as instructional texts.
- Abstract(参考訳): 議論の最適な提供は、人間とaiシステムの両方にとって、あらゆる議論における説得の鍵である。
これは、与えられた議論に関連する明確で流動的な主張を使う必要がある。
先行研究は議論品質の自動評価を広く研究してきた。
しかし、これまでのところ品質改善の方法はない。
私たちの仕事は、このギャップを埋める第一歩です。
本稿では,クレーム最適化の課題として,議論的クレームの書き直しとデリバリの最適化を提案する。
まず,BARTなどのシーケンス・ツー・シーケンスモデルを用いて,文脈情報を考慮した最適化されたクレームの候補セットを生成する。
私たちの重要なアイデアは、生成した候補を異なる品質指標でランク付けし、最適な最適化を見つけることです。
自動評価と人格評価では,英語コーパスの異なる評価基準を上回り,すべてのクレームの60%を改善した(平均16%)。
追従分析の結果、われわれのアプローチはコピー編集以外にも、しばしば詳細なクレームを指定するが、人間よりもエビデンスが少ないことが判明した。
さらに、その能力は、命令テキストのような他のドメインにうまく一般化します。
関連論文リスト
- VPO: Leveraging the Number of Votes in Preference Optimization [5.200545764106177]
本稿では,ユーザの投票データを活用し,多様な主観的嗜好に適合する手法を提案する。
我々は,議論を呼んでいる世代対と明らかな世代対を区別するために,双方の投票数を組み込んだVoteベースのPreference Optimizationフレームワークを開発した。
論文 参考訳(メタデータ) (2024-10-30T10:39:34Z) - Speechworthy Instruction-tuned Language Models [71.8586707840169]
提案手法は,学習の促進と嗜好の両面において,一般的な命令調整型LLMの音声適合性の向上を図っている。
我々は,各手法が生成した応答の音声適合性向上にどのように貢献するかを示すために,語彙的,構文的,定性的な分析を共有する。
論文 参考訳(メタデータ) (2024-09-23T02:34:42Z) - QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。
我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。
様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
論文 参考訳(メタデータ) (2024-08-20T03:06:48Z) - Prompt Optimization with Human Feedback [69.95991134172282]
人間のフィードバックによる迅速な最適化問題(POHF)について検討する。
我々は自動POHF(Automatic POHF)というアルゴリズムを導入する。
その結果、APOHFは、少数の好みフィードバックインスタンスを用いて、効率的に適切なプロンプトを見つけることができることがわかった。
論文 参考訳(メタデータ) (2024-05-27T16:49:29Z) - Optimizing Language Models for Human Preferences is a Causal Inference Problem [41.59906798328058]
直接結果データセットからの人間の嗜好に対する言語モデル最適化について検討する。
まず,言語モデルの最適化を因果問題と見なして,モデルがテキストと結果の関係を正しく学習することを保証する。
我々はCPOを2倍の頑健なCPOで拡張し、従属目的の分散を低減し、バイアスに対する確実な強い保証を維持します。
論文 参考訳(メタデータ) (2024-02-22T21:36:07Z) - Calibrating LLM-Based Evaluator [92.17397504834825]
マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。
人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。
複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
論文 参考訳(メタデータ) (2023-09-23T08:46:11Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳(メタデータ) (2023-09-13T01:12:52Z) - Text Counterfactuals via Latent Optimization and Shapley-Guided Search [15.919650185010491]
本研究は,分類モデルにおける対実テキスト生成の問題について考察する。
我々は、モデルの予測を変えるために、テキストを最小限に変更することを目指している。
ホワイトボックスアプローチは、視覚における同様の問題にうまく適用されている。
論文 参考訳(メタデータ) (2021-10-22T05:04:40Z) - Paraphrasing via Ranking Many Candidates [0.0]
本稿では,様々なパラフレーズを簡便かつ効果的に生成し,その中から良質なパラフレーズを見出す方法を提案する。
生成モデルと復号化オプションの組合せが1つしかないと仮定するのではなく、複数の候補から最適な候補を見つけることに注力する。
論文 参考訳(メタデータ) (2021-07-20T06:24:01Z) - Descending through a Crowded Valley - Benchmarking Deep Learning
Optimizers [29.624308090226375]
本研究は,これらの逸話を,少なくとも証拠に裏付けられた逸話に置き換えることを目的としている。
そのために、特に人気のある15のディープラーニングの、広範囲で標準化されたベンチマークを実行します。
我々のオープンソースの成果は、新しい最適化手法のより有意義な評価のために、挑戦的でよく調整されたベースラインとして利用可能である。
論文 参考訳(メタデータ) (2020-07-03T08:19:36Z) - Context-Based Quotation Recommendation [60.93257124507105]
本稿では,新しい文脈対応引用レコメンデーションシステムを提案する。
これは、所定のソース文書から引用可能な段落とトークンの列挙リストを生成する。
音声テキストと関連するニュース記事の収集実験を行う。
論文 参考訳(メタデータ) (2020-05-17T17:49:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。