論文の概要: Claim Optimization in Computational Argumentation
- arxiv url: http://arxiv.org/abs/2212.08913v1
- Date: Sat, 17 Dec 2022 16:30:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-20 16:11:24.371941
- Title: Claim Optimization in Computational Argumentation
- Title(参考訳): 計算議論におけるクレーム最適化
- Authors: Gabriella Skitalinskaya, Maximilian Splieth\"over, and Henning
Wachsmuth
- Abstract要約: 議論の最適な配信は、人間とAIシステムの両方において、あらゆる議論において説得の鍵となる。
本稿では,クレーム最適化の課題として,議論的クレームの書き直しとデリバリの最適化を提案する。
自動的および人的評価において、我々はイングランドのコーパスにおいて異なるランク付け基準を達成し、すべてのクレームの60%を改善した。
- 参考スコア(独自算出の注目度): 15.74531228507133
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: An optimal delivery of arguments is key to persuasion in any debate, both for
humans and for AI systems. This requires the use of clear and fluent claims
relevant to the given debate. Prior work has studied the automatic assessment
of argument quality extensively. Yet, no approach actually improves the quality
so far. Our work is the first step towards filling this gap. We propose the
task of claim optimization: to rewrite argumentative claims to optimize their
delivery. As an initial approach, we first generate a candidate set of
optimized claims using a sequence-to-sequence model, such as BART, while taking
into account contextual information. Our key idea is then to rerank generated
candidates with respect to different quality metrics to find the best
optimization. In automatic and human evaluation, we outperform different
reranking baselines on an English corpus, improving 60% of all claims
(worsening 16% only). Follow-up analyses reveal that, beyond copy editing, our
approach often specifies claims with details, whereas it adds less evidence
than humans do. Moreover, its capabilities generalize well to other domains,
such as instructional texts.
- Abstract(参考訳): 議論の最適な提供は、人間とaiシステムの両方にとって、あらゆる議論における説得の鍵である。
これは、与えられた議論に関連する明確で流動的な主張を使う必要がある。
先行研究は議論品質の自動評価を広く研究してきた。
しかし、これまでのところ品質改善の方法はない。
私たちの仕事は、このギャップを埋める第一歩です。
本稿では,クレーム最適化の課題として,議論的クレームの書き直しとデリバリの最適化を提案する。
まず,BARTなどのシーケンス・ツー・シーケンスモデルを用いて,文脈情報を考慮した最適化されたクレームの候補セットを生成する。
私たちの重要なアイデアは、生成した候補を異なる品質指標でランク付けし、最適な最適化を見つけることです。
自動評価と人格評価では,英語コーパスの異なる評価基準を上回り,すべてのクレームの60%を改善した(平均16%)。
追従分析の結果、われわれのアプローチはコピー編集以外にも、しばしば詳細なクレームを指定するが、人間よりもエビデンスが少ないことが判明した。
さらに、その能力は、命令テキストのような他のドメインにうまく一般化します。
関連論文リスト
- Optimizing Language Models for Human Preferences is a Causal Inference
Problem [46.75318356800048]
直接結果データセットからの人間の嗜好に対する言語モデル最適化について検討する。
まず,言語モデルの最適化を因果問題と見なして,モデルがテキストと結果の関係を正しく学習することを保証する。
我々はCPOを2倍の頑健なCPOで拡張し、従属目的の分散を低減し、バイアスに対する確実な強い保証を維持します。
論文 参考訳(メタデータ) (2024-02-22T21:36:07Z) - QuRating: Selecting High-Quality Data for Training Language Models [69.55617417985809]
本稿では,人間が直感的に知覚するテキストの抽象的品質をキャプチャする事前学習データを選択するQuRatingを紹介する。
本稿では,書体,専門知識,事実とトリビア,教育的価値の4つの特性について検討する。
ペアの判断からスカラー評価を学ぶためにQuRaterモデルをトレーニングし、それを4つの基準ごとに品質評価付き260Bのトレーニングコーパスにアノテートするために使用します。
論文 参考訳(メタデータ) (2024-02-15T06:36:07Z) - Language Model Decoding as Direct Metrics Optimization [95.78717767103458]
現在の復号法は、異なる側面にわたる人間のテキストと整合するテキストを生成するのに苦労している。
本研究では,言語モデルからの復号化を最適化問題として,期待される性能と人間のテキストとの厳密なマッチングを目的とした。
この誘導分布は,人間のテキストの難易度を向上させることが保証されていることを証明し,人間のテキストの基本的な分布に対するより良い近似を示唆する。
論文 参考訳(メタデータ) (2023-10-02T09:35:27Z) - Calibrating LLM-Based Evaluator [92.17397504834825]
マルチステージで勾配のないアプローチであるAutoCalibrateを提案し,LLMに基づく評価器を人間の好みに合わせて調整・調整する。
人間の嗜好を明示的にモデル化する代わりに、まず暗黙的に人間のラベルに含めます。
複数のテキスト品質評価データセットに関する実験は、校正による専門家評価との相関性を大幅に改善したことを示す。
論文 参考訳(メタデータ) (2023-09-23T08:46:11Z) - Query-Dependent Prompt Evaluation and Optimization with Offline Inverse
RL [62.824464372594576]
ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。
このような最適化では、以前見過ごされたクエリ依存の目的を特定します。
本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
論文 参考訳(メタデータ) (2023-09-13T01:12:52Z) - Efficient Entity Candidate Generation for Low-Resource Languages [13.789451365205665]
候補生成はエンティティリンクにおいて重要なモジュールである。
知識ベースを効果的に活用することが証明された複数のNLPタスクにおいて重要な役割を果たす。
本稿では,言語間エンティティリンクの文脈における候補生成問題の詳細な分析を行う。
論文 参考訳(メタデータ) (2022-06-30T09:49:53Z) - Text Counterfactuals via Latent Optimization and Shapley-Guided Search [15.919650185010491]
本研究は,分類モデルにおける対実テキスト生成の問題について考察する。
我々は、モデルの予測を変えるために、テキストを最小限に変更することを目指している。
ホワイトボックスアプローチは、視覚における同様の問題にうまく適用されている。
論文 参考訳(メタデータ) (2021-10-22T05:04:40Z) - Paraphrasing via Ranking Many Candidates [0.0]
本稿では,様々なパラフレーズを簡便かつ効果的に生成し,その中から良質なパラフレーズを見出す方法を提案する。
生成モデルと復号化オプションの組合せが1つしかないと仮定するのではなく、複数の候補から最適な候補を見つけることに注力する。
論文 参考訳(メタデータ) (2021-07-20T06:24:01Z) - Descending through a Crowded Valley - Benchmarking Deep Learning
Optimizers [29.624308090226375]
本研究は,これらの逸話を,少なくとも証拠に裏付けられた逸話に置き換えることを目的としている。
そのために、特に人気のある15のディープラーニングの、広範囲で標準化されたベンチマークを実行します。
我々のオープンソースの成果は、新しい最適化手法のより有意義な評価のために、挑戦的でよく調整されたベースラインとして利用可能である。
論文 参考訳(メタデータ) (2020-07-03T08:19:36Z) - Context-Based Quotation Recommendation [60.93257124507105]
本稿では,新しい文脈対応引用レコメンデーションシステムを提案する。
これは、所定のソース文書から引用可能な段落とトークンの列挙リストを生成する。
音声テキストと関連するニュース記事の収集実験を行う。
論文 参考訳(メタデータ) (2020-05-17T17:49:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。