論文の概要: An Exploration of Post-Editing Effectiveness in Text Summarization

• arxiv url: http://arxiv.org/abs/2206.06383v1
• Date: Mon, 13 Jun 2022 18:00:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-15 13:21:56.301939
• Title: An Exploration of Post-Editing Effectiveness in Text Summarization
• Title（参考訳）: テキスト要約における後編集効果の検討
• Authors: Vivian Lai, Alison Smith-Renner, Ke Zhang, Ruijia Cheng, Wenjuan Zhang, Joel Tetreault, Alejandro Jaimes
• Abstract要約: AI生成テキストの"ポスト編集"は、人間の作業量を削減し、AI出力の品質を改善する。 編集後提供した要約と,要約品質,人的効率,ユーザエクスペリエンスのマニュアル要約を比較した。 本研究は,テキスト要約にポスト編集がいつ有用かについて,貴重な知見を提示する。
• 参考スコア（独自算出の注目度）: 58.99765574294715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic summarization methods are efficient but can suffer from low quality. In comparison, manual summarization is expensive but produces higher quality. Can humans and AI collaborate to improve summarization performance? In similar text generation tasks (e.g., machine translation), human-AI collaboration in the form of "post-editing" AI-generated text reduces human workload and improves the quality of AI output. Therefore, we explored whether post-editing offers advantages in text summarization. Specifically, we conducted an experiment with 72 participants, comparing post-editing provided summaries with manual summarization for summary quality, human efficiency, and user experience on formal (XSum news) and informal (Reddit posts) text. This study sheds valuable insights on when post-editing is useful for text summarization: it helped in some cases (e.g., when participants lacked domain knowledge) but not in others (e.g., when provided summaries include inaccurate information). Participants' different editing strategies and needs for assistance offer implications for future human-AI summarization systems.
• Abstract（参考訳）: 自動要約法は効率的だが、品質が低い。 比較して、手動の要約は高価だが、高い品質を生み出す。 人間とAIは、要約のパフォーマンスを改善するために協力できるのか? 同様のテキスト生成タスク(例えば機械翻訳)では、「ポスト編集」という形で人間とAIのコラボレーションが人間の作業量を削減し、AI出力の品質を向上させる。 そこで,テキスト要約におけるポスト編集の利点について検討した。 具体的には,編集後提供された要約と,要約品質,人的効率,形式的(xsumニュース),非公式(reddit投稿)テキストにおけるユーザエクスペリエンスに関するマニュアル要約を比較し,72名を対象に実験を行った。 例えば、参加者がドメイン知識を欠いている場合など)は役に立ちますが、他のケース(例えば、提供された要約が不正確な情報を含む場合)では役に立ちます。 参加者の異なる編集戦略と支援の必要性は、将来のAI要約システムに影響を及ぼす。

関連論文リスト

• How Does the Disclosure of AI Assistance Affect the Perceptions of Writing? [29.068596156140913]
  筆者らは,筆記プロセスにおけるAI支援のレベルとタイプが,書記プロセスに対する人々の認識にどのように影響するかについて検討した。 以上の結果から,特にAIが新たなコンテンツ生成の支援を提供していれば,文章作成プロセスにおけるAI支援の開示は,平均品質評価を低下させる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-10-06T16:45:33Z)
• A Hybrid Strategy for Chat Transcript Summarization [3.0567294793102784]
  要約(英: Sumomarization)とは、テキストを少ない文に凝縮する過程である。 本稿では,抽出的および抽象的要約技術を組み合わせた,ネイティブに開発されたハイブリッド手法を提案する。 テスト,評価,比較,検証は,チャット書き起こし要約の大規模展開において,このアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2024-02-02T15:44:28Z)
• GUMSum: Multi-Genre Data and Evaluation for English Abstractive Summarization [10.609715843964263]
  事前学習された言語モデルによる自動要約は、驚くほど流動的な結果をもたらすが、"幻覚"の傾向にある。 GUMSumは、抽象的な要約を評価するために、12の言語ジャンルで書かれた英語の要約のデータセットである。
  論文  参考訳（メタデータ） (2023-06-20T03:21:10Z)
• Factually Consistent Summarization via Reinforcement Learning with Textual Entailment Feedback [57.816210168909286]
  我々は,この問題を抽象的な要約システムで解くために,テキストエンテーメントモデルの最近の進歩を活用している。 我々は、事実整合性を最適化するために、レファレンスフリーのテキストエンターメント報酬を用いた強化学習を用いる。 自動測定と人的評価の両結果から,提案手法は生成した要約の忠実さ,サリエンス,簡潔さを著しく向上させることが示された。
  論文  参考訳（メタデータ） (2023-05-31T21:04:04Z)
• Is Summary Useful or Not? An Extrinsic Human Evaluation of Text Summaries on Downstream Tasks [45.550554287918885]
  本稿では,外部手法によるテキスト要約の有用性の評価に焦点をあてる。 我々は,要約の人間的評価,すなわち質問応答,テキスト分類,テキスト類似性評価のための3つの異なる下流タスクを設計する。 要約はテキストの全体的判断に依存するタスクにおいて特に有用であるが、質問応答タスクでは効果が低い。
  論文  参考訳（メタデータ） (2023-05-24T11:34:39Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• Human-in-the-loop Abstractive Dialogue Summarization [61.4108097664697]
  我々は、異なるレベルの人間のフィードバックをトレーニングプロセスに組み込むことを提案する。 これにより、モデルをガイドして、人間が要約に用いている振る舞いを捉えることができます。
  論文  参考訳（メタデータ） (2022-12-19T19:11:27Z)
• The Role of AI in Drug Discovery: Challenges, Opportunities, and Strategies [97.5153823429076]
  この分野でのAIのメリット、課題、欠点についてレビューする。 データ拡張、説明可能なAIの使用、従来の実験手法とAIの統合についても論じている。
  論文  参考訳（メタデータ） (2022-12-08T23:23:39Z)
• Fine-tuning GPT-3 for Russian Text Summarization [77.34726150561087]
  本稿では,テキストを要約するruGPT3(ruGPT3)機能について紹介し,それに対応する人文要約を用いてロシア語ニュースのコーパスを微調整する。 得られたテキストを一連のメトリクスで評価し、アーキテクチャや損失関数に付加的な変更を加えることなく、我々のソリューションが最先端のモデルの性能を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-08-07T19:01:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。