論文の概要: Don't Say What You Don't Know: Improving the Consistency of Abstractive Summarization by Constraining Beam Search

• arxiv url: http://arxiv.org/abs/2203.08436v1
• Date: Wed, 16 Mar 2022 07:13:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-18 01:33:12.979367
• Title: Don't Say What You Don't Know: Improving the Consistency of Abstractive Summarization by Constraining Beam Search
• Title（参考訳）: 知らないことを言うな - ビームサーチの制約による抽象的な要約の一貫性の向上
• Authors: Daniel King, Zejiang Shen, Nishant Subramani, Daniel S. Weld, Iz Beltagy, Doug Downey
• Abstract要約: 本研究は,幻覚とトレーニングデータの関連性を解析し,学習対象の要約を学習した結果,モデルが幻覚を呈する証拠を見出した。 本稿では,ビーム探索を制約して幻覚を回避し,変換器をベースとした抽象要約器の整合性を向上させる新しい復号法であるPINOCCHIOを提案する。
• 参考スコア（独自算出の注目度）: 41.15713990249934
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Abstractive summarization systems today produce fluent and relevant output, but often "hallucinate" statements not supported by the source text. We analyze the connection between hallucinations and training data, and find evidence that models hallucinate because they train on target summaries that are unsupported by the source. Based on our findings, we present PINOCCHIO, a new decoding method that improves the consistency of a transformer-based abstractive summarizer by constraining beam search to avoid hallucinations. Given the model states and outputs at a given step, PINOCCHIO detects likely model hallucinations based on various measures of attribution to the source text. PINOCCHIO backtracks to find more consistent output, and can opt to produce no summary at all when no consistent generation can be found. In experiments, we find that PINOCCHIO improves the consistency of generation (in terms of F1) by an average of~67% on two abstractive summarization datasets.
• Abstract（参考訳）: 抽象的要約システムは、今日では、フルーエントで関連する出力を生成するが、しばしばソーステキストでサポートされていないステートメントを「幻覚」する。 本研究は,幻覚とトレーニングデータの関連性を解析し,学習対象の要約を学習した結果,モデルが幻覚する証拠を見出した。 そこで本研究では,ビーム探索を制約して幻覚を回避し,トランスベース抽象要約器の一貫性を向上させる新しい復号法であるpinocchioを提案する。 モデル状態と出力が与えられたステップで与えられた場合、PINOCCHIOはソーステキストへの様々な帰属度に基づいてモデル幻覚を検出する。 PINOCCHIOは、より一貫性のある出力を見つけるためにバックトラックを作成し、一貫性のある生成が見つからない場合、サマリをまったく生成しない。 実験の結果、PINOCCHIOは2つの抽象的な要約データセットに対して平均67%の差で生成の整合性(F1)を向上させることがわかった。

関連論文リスト

• Alleviating Hallucinations of Large Language Models through Induced Hallucinations [67.35512483340837]
  大規模言語モデル(LLM)は、不正確な情報や製造された情報を含む応答を生成するために観察されている。 幻覚を緩和するための単純なtextitInduce-then-Contrast Decoding (ICD) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-25T12:32:49Z)
• HalluciDoctor: Mitigating Hallucinatory Toxicity in Visual Instruction Data [102.56792377624927]
  機械生成データに固有の幻覚は未発見のままである。 本稿では,クロスチェックパラダイムに基づく新しい幻覚検出・除去フレームワークであるHaluciDoctorを提案する。 LLaVAに比べて44.6%の幻覚を緩和し,競争性能を維持した。
  論文  参考訳（メタデータ） (2023-11-22T04:52:58Z)
• Investigating Hallucinations in Pruned Large Language Models for Abstractive Summarization [37.55557353462219]
  プルーニング(Pruning)は、余分な重みを取り除くことによってモデルサイズを減らす手法であり、より効率的なスパース推論を可能にする。 本稿では,5つの要約データセット,2つの最先端プルーニング手法,および5つの命令調整LDMに関する実証的研究を行う。 驚いたことに、幻覚はオリジナルのモデルに比べて、刈り取られたLLMからそれほど多くない。
  論文  参考訳（メタデータ） (2023-11-15T19:49:24Z)
• Hallucination Reduction in Long Input Text Summarization [2.6745438139282283]
  テキスト要約における幻覚は、生成された要約の正確さと信頼性に重大な障害をもたらす。 我々は、Longformer-Decoder(LED)モデルの微調整に、データフィルタリングとジョイントエンティティと要約生成(JAENS)の技法を取り入れた。 実験の結果, 微調整LEDモデルでは, 紙の抽象的な生成が良好であることがわかった。
  論文  参考訳（メタデータ） (2023-09-28T18:22:16Z)
• Improved Beam Search for Hallucination Mitigation in Abstractive Summarization [1.2328446298523066]
  本稿では,要約生成における幻覚の検出と防止を目的とした自然言語推論(NLI)の指標について検討する。 本研究では,入力コンテキストと要約モデル生成ビーム間の包含確率スコアを計算し,NLIを用いたビーム再ランク付け機構を提案する。 提案アルゴリズムは,XSumおよびCNN/DMデータセット上でバニラビームデコーディングを著しく上回っている。
  論文  参考訳（メタデータ） (2022-12-06T02:33:47Z)
• Mutual Information Alleviates Hallucinations in Abstractive Summarization [73.48162198041884]
  モデルが生成中の幻覚コンテンツにより多くの確率を割り当てる可能性が著しく高いという単純な基準を見いだす。 この発見は幻覚の潜在的な説明を提供する:モデルは、継続について不確実な場合には、高い限界確率のテキストを好むことをデフォルトとする。 そこで本研究では,ターゲットトークンの正当性ではなく,ソースとターゲットトークンのポイントワイドな相互情報の最適化に切り替える復号手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T13:30:54Z)
• Inspecting the Factuality of Hallucinated Entities in Abstractive Summarization [36.052622624166894]
  State-of-the-art abstractive summarization system(最先端の抽象的な要約システム)は、しばしば、源文から直接推測できない内容(Emphhallucination)を生成する。 本研究では,実体の非現実的幻覚から事実を分離する新たな検出手法を提案する。
  論文  参考訳（メタデータ） (2021-08-30T15:40:52Z)
• Improving Faithfulness in Abstractive Summarization with Contrast Candidate Generation and Selection [54.38512834521367]
  モデル非依存後処理技術としてのコントラスト候補生成と選択について検討する。 代替候補要約を生成して判別補正モデルを学習する。 このモデルを使用して、最終的な出力サマリーとして最適な候補を選択する。
  論文  参考訳（メタデータ） (2021-04-19T05:39:24Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。