論文の概要: Claim Optimization in Computational Argumentation
- arxiv url: http://arxiv.org/abs/2212.08913v2
- Date: Thu, 7 Sep 2023 09:01:20 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-08 17:45:10.044631
- Title: Claim Optimization in Computational Argumentation
- Title(参考訳): 計算議論におけるクレーム最適化
- Authors: Gabriella Skitalinskaya, Maximilian Splieth\"over, and Henning
Wachsmuth
- Abstract要約: 議論の最適な配信は、人間とAIシステムの両方において、あらゆる議論において説得の鍵となる。
本稿では,クレーム最適化の課題として,クレームを最適化するために議論的なクレームを書き直すことを提案する。
- 参考スコア(独自算出の注目度): 17.2929525695149
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An optimal delivery of arguments is key to persuasion in any debate, both for
humans and for AI systems. This requires the use of clear and fluent claims
relevant to the given debate. Prior work has studied the automatic assessment
of argument quality extensively. Yet, no approach actually improves the quality
so far. To fill this gap, this paper proposes the task of claim optimization:
to rewrite argumentative claims in order to optimize their delivery. As
multiple types of optimization are possible, we approach this task by first
generating a diverse set of candidate claims using a large language model, such
as BART, taking into account contextual information. Then, the best candidate
is selected using various quality metrics. In automatic and human evaluation on
an English-language corpus, our quality-based candidate selection outperforms
several baselines, improving 60% of all claims (worsening 16% only). Follow-up
analyses reveal that, beyond copy editing, our approach often specifies claims
with details, whereas it adds less evidence than humans do. Moreover, its
capabilities generalize well to other domains, such as instructional texts.
- Abstract(参考訳): 議論の最適な提供は、人間とaiシステムの両方にとって、あらゆる議論における説得の鍵である。
これは、与えられた議論に関連する明確で流動的な主張を使う必要がある。
先行研究は議論品質の自動評価を広く研究してきた。
しかし、これまでのところ品質改善の方法はない。
このギャップを埋めるために,提案するクレーム最適化の課題,すなわち,そのデリバリを最適化するために議論的クレームを書き換えることを提案する。
複数の最適化が可能となると、まずコンテキスト情報を考慮したBARTなどの大規模言語モデルを用いて、多様な候補クレームを生成することで、この問題に対処する。
そして、様々な品質指標を用いてベスト候補を選択する。
英語コーパスの自動評価において、我々の品質ベースの候補選択は、いくつかのベースラインを上回り、すべてのクレームの60%を改善した(16%以上)。
追従分析の結果、われわれのアプローチはコピー編集以外にも、しばしば詳細なクレームを指定するが、人間よりもエビデンスが少ないことが判明した。
さらに、その能力は、命令テキストのような他のドメインにうまく一般化します。
関連論文リスト
- Optimizing Language Models for Human Preferences is a Causal Inference
Problem [46.75318356800048]
直接結果データセットからの人間の嗜好に対する言語モデル最適化について検討する。
まず,言語モデルの最適化を因果問題と見なして,モデルがテキストと結果の関係を正しく学習することを保証する。
我々はCPOを2倍の頑健なCPOで拡張し、従属目的の分散を低減し、バイアスに対する確実な強い保証を維持します。
論文 参考訳(メタデータ) (2024-02-22T21:36:07Z) - QuRating: Selecting High-Quality Data for Training Language Models [69.55617417985809]
本稿では,人間が直感的に知覚するテキストの抽象的品質をキャプチャする事前学習データを選択するQuRatingを紹介する。
本稿では,書体,専門知識,事実とトリビア,教育的価値の4つの特性について検討する。
ペアの判断からスカラー評価を学ぶためにQuRaterモデルをトレーニングし、それを4つの基準ごとに品質評価付き260Bのトレーニングコーパスにアノテートするために使用します。
論文 参考訳(メタデータ) (2024-02-15T06:36:07Z) - Language Model Decoding as Direct Metrics Optimization [95.78717767103458]
現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。
本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。
この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
論文 参考訳(メタデータ) (2023-10-02T09:35:27Z) - Calibrating LLM-Based Evaluator [92.17397504834825]
マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。
人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。
複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
論文 参考訳(メタデータ) (2023-09-23T08:46:11Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳(メタデータ) (2023-09-13T01:12:52Z) - Efficient Entity Candidate Generation for Low-Resource Languages [13.789451365205665]
候補生成はエンティティリンクにおいて重要なモジュールである。
知識ベースを効果的に活用することが証明された複数のNLPタスクにおいて重要な役割を果たす。
本稿では,言語間エンティティリンクの文脈における候補生成問題の詳細な分析を行う。
論文 参考訳(メタデータ) (2022-06-30T09:49:53Z) - Text Counterfactuals via Latent Optimization and Shapley-Guided Search [15.919650185010491]
本研究は,分類モデルにおける対実テキスト生成の問題について考察する。
我々は、モデルの予測を変えるために、テキストを最小限に変更することを目指している。
ホワイトボックスアプローチは、視覚における同様の問題にうまく適用されている。
論文 参考訳(メタデータ) (2021-10-22T05:04:40Z) - Paraphrasing via Ranking Many Candidates [0.0]
本稿では,様々なパラフレーズを簡便かつ効果的に生成し,その中から良質なパラフレーズを見出す方法を提案する。
生成モデルと復号化オプションの組合せが1つしかないと仮定するのではなく、複数の候補から最適な候補を見つけることに注力する。
論文 参考訳(メタデータ) (2021-07-20T06:24:01Z) - Descending through a Crowded Valley - Benchmarking Deep Learning
Optimizers [29.624308090226375]
本研究は,これらの逸話を,少なくとも証拠に裏付けられた逸話に置き換えることを目的としている。
そのために、特に人気のある15のディープラーニングの、広範囲で標準化されたベンチマークを実行します。
我々のオープンソースの成果は、新しい最適化手法のより有意義な評価のために、挑戦的でよく調整されたベースラインとして利用可能である。
論文 参考訳(メタデータ) (2020-07-03T08:19:36Z) - Context-Based Quotation Recommendation [60.93257124507105]
本稿では,新しい文脈対応引用レコメンデーションシステムを提案する。
これは、所定のソース文書から引用可能な段落とトークンの列挙リストを生成する。
音声テキストと関連するニュース記事の収集実験を行う。
論文 参考訳(メタデータ) (2020-05-17T17:49:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。