論文の概要: Correction with Backtracking Reduces Hallucination in Summarization

• arxiv url: http://arxiv.org/abs/2310.16176v3
• Date: Tue, 3 Sep 2024 19:08:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-07 04:31:08.058486
• Title: Correction with Backtracking Reduces Hallucination in Summarization
• Title（参考訳）: 逆追跡による補正は要約における幻覚を減少させる
• Authors: Zhenzhen Liu, Chao Wan, Varsha Kishore, Jin Peng Zhou, Minmin Chen, Kilian Q. Weinberger,
• Abstract要約: 抽象要約は、重要な要素を保存しながら簡潔なソースドキュメントの自然言語要約を生成することを目的としている。 近年の進歩にもかかわらず、神経文の要約モデルは幻覚に感受性があることが知られている。 本稿では,抽象的な要約における幻覚を低減するため,シンプルだが効率的な手法であるCoBaを紹介する。
• 参考スコア（独自算出の注目度）: 29.093092115901694
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Abstractive summarization aims at generating natural language summaries of a source document that are succinct while preserving the important elements. Despite recent advances, neural text summarization models are known to be susceptible to hallucinating (or more correctly confabulating), that is to produce summaries with details that are not grounded in the source document. In this paper, we introduce a simple yet efficient technique, CoBa, to reduce hallucination in abstractive summarization. The approach is based on two steps: hallucination detection and mitigation. We show that the former can be achieved through measuring simple statistics about conditional word probabilities and distance to context words. Further, we demonstrate that straight-forward backtracking is surprisingly effective at mitigation. We thoroughly evaluate the proposed method with prior art on three benchmark datasets for text summarization. The results show that CoBa is effective and efficient in reducing hallucination, and offers great adaptability and flexibility. Code can be found at https://github.com/zhenzhel/CoBa.
• Abstract（参考訳）: 抽象要約は、重要な要素を保存しながら簡潔なソースドキュメントの自然言語要約を生成することを目的としている。 近年の進歩にもかかわらず、神経文の要約モデルは幻覚(あるいはより正確に折り畳む)に感受性があることが知られている。 本稿では,抽象的な要約における幻覚を低減するため,シンプルだが効率的な手法であるCoBaを紹介する。 アプローチは幻覚検出と緩和という2つのステップに基づいている。 前者は条件付き単語の確率と文脈語の距離に関する単純な統計値を測定することで達成可能であることを示す。 さらに、ストレートフォワードのバックトラックは驚くほど効果があることを示した。 テキスト要約のための3つのベンチマークデータセットに対して,先行技術を用いて提案手法を徹底的に評価した。 その結果,CoBaは幻覚の低減に有効かつ効率的であり,適応性と柔軟性に優れていた。 コードはhttps://github.com/zhenzhel/CoBa.orgにある。

関連論文リスト

• Hallucination Reduction in Long Input Text Summarization [2.6745438139282283]
  テキスト要約における幻覚は、生成された要約の正確さと信頼性に重大な障害をもたらす。 我々は、Longformer-Decoder(LED)モデルの微調整に、データフィルタリングとジョイントエンティティと要約生成(JAENS)の技法を取り入れた。 実験の結果, 微調整LEDモデルでは, 紙の抽象的な生成が良好であることがわかった。
  論文  参考訳（メタデータ） (2023-09-28T18:22:16Z)
• NapSS: Paragraph-level Medical Text Simplification via Narrative Prompting and Sentence-matching Summarization [46.772517928718216]
  そこで我々はNapSSと呼ばれる2段階戦略を提案する。 NapSSは、オリジナルの物語の流れが保存されていることを保証しながら、関連コンテンツを特定し、単純化する。 本モデルは,英語医療コーパスのSeq2seqベースラインよりも有意に優れている。
  論文  参考訳（メタデータ） (2023-02-11T02:20:25Z)
• Improving Faithfulness of Abstractive Summarization by Controlling Confounding Effect of Irrelevant Sentences [38.919090721583075]
  事実整合性は、共同創設者として機能する入力テキストの無関係な部分によって引き起こされる可能性があることを示す。 そこで我々は,人間が記述した関連文を利用できる場合に利用することにより,そのような欠点を抑えるためのシンプルなマルチタスクモデルを設計する。 提案手法は,AnswerSumm citepfabbri 2021answersummデータセットの強いベースラインに対して,忠実度スコアを20%向上させる。
  論文  参考訳（メタデータ） (2022-12-19T18:51:06Z)
• Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
  モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:30:54Z)
• Don't Say What You Don't Know: Improving the Consistency of Abstractive Summarization by Constraining Beam Search [54.286450484332505]
  本研究は,幻覚とトレーニングデータの関連性を解析し,学習対象の要約を学習した結果,モデルが幻覚を呈する証拠を見出した。 本稿では,ビーム探索を制約して幻覚を回避し,変換器をベースとした抽象要約器の整合性を向上させる新しい復号法であるPINOCCHIOを提案する。
  論文  参考訳（メタデータ） (2022-03-16T07:13:52Z)
• Inspecting the Factuality of Hallucinated Entities in Abstractive Summarization [36.052622624166894]
  State-of-the-art abstractive summarization system(最先端の抽象的な要約システム)は、しばしば、源文から直接推測できない内容(Emphhallucination)を生成する。 本研究では,実体の非現実的幻覚から事実を分離する新たな検出手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:40:52Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)
• Reducing Quantity Hallucinations in Abstractive Summarization [32.89486074807331]
  ハーマンは、抽象的な要約のビーム・ワースにおける量的実体(日付、数字、金額など)を認識し検証することを学ぶ。 以上の結果から,上位のサマリーのROUGEスコアは上位のサマリーよりも高精度であることが示唆された。 上位と下位の要約の予備的人間評価は、前者に対する人々の好みを示している。
  論文  参考訳（メタデータ） (2020-09-28T13:32:59Z)
• Unsupervised Opinion Summarization with Noising and Denoising [85.49169453434554]
  ユーザレビューのコーパスから合成データセットを作成し、レビューをサンプリングし、要約のふりをして、ノイズのあるバージョンを生成します。 テスト時に、モデルは本物のレビューを受け入れ、健全な意見を含む要約を生成し、合意に達しないものをノイズとして扱います。
  論文  参考訳（メタデータ） (2020-04-21T16:54:57Z)
• Pre-training for Abstractive Document Summarization by Reinstating Source Text [105.77348528847337]
  本稿では,Seq2Seqに基づく非ラベルテキストによる抽象要約モデルの事前学習を可能にする3つの事前学習目標を提案する。 2つのベンチマーク要約データセットの実験では、3つの目的がすべてベースラインでパフォーマンスを向上させることが示されている。
  論文  参考訳（メタデータ） (2020-04-04T05:06:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。