論文の概要: Know When To Stop: A Study of Semantic Drift in Text Generation

• arxiv url: http://arxiv.org/abs/2404.05411v1
• Date: Mon, 8 Apr 2024 11:25:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-09 14:44:37.688138
• Title: Know When To Stop: A Study of Semantic Drift in Text Generation
• Title（参考訳）: テキスト生成における意味的ドリフトの研究
• Authors: Ava Spataru, Eric Hambro, Elena Voita, Nicola Cancedda,
• Abstract要約: 現代のLSMは、まず正しい事実を生成し、次に「引き離し」、後に誤った事実を生成する傾向があることを示す。 この誤生成パターンは、いつ生成を中止すべきかを知ることで、事実精度を向上させることができることを示している。
• 参考スコア（独自算出の注目度）: 9.76171773410722
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we explicitly show that modern LLMs tend to generate correct facts first, then "drift away" and generate incorrect facts later: this was occasionally observed but never properly measured. We develop a semantic drift score that measures the degree of separation between correct and incorrect facts in generated texts and confirm our hypothesis when generating Wikipedia-style biographies. This correct-then-incorrect generation pattern suggests that factual accuracy can be improved by knowing when to stop generation. Therefore, we explore the trade-off between information quantity and factual accuracy for several early stopping methods and manage to improve factuality by a large margin. We further show that reranking with semantic similarity can further improve these results, both compared to the baseline and when combined with early stopping. Finally, we try calling external API to bring the model back to the right generation path, but do not get positive results. Overall, our methods generalize and can be applied to any long-form text generation to produce more reliable information, by balancing trade-offs between factual accuracy, information quantity and computational cost.
• Abstract（参考訳）: 本研究は,現代のLCMがまず正しい事実を生成し,次に「漂流」し,後に誤った事実を生成する傾向があることを示す。 生成したテキスト中の正しい事実と誤事実の分離度を計測し,ウィキペディア形式の伝記を生成する際の仮説を確認するセマンティックドリフトスコアを開発した。 この誤生成パターンは、いつ生成を中止すべきかを知ることで、事実精度を向上させることができることを示している。 そこで我々は,いくつかの早期停止手法における情報量と事実精度のトレードオフを探り,大きなマージンで事実性を改善する。 さらに,意味的類似性による再ランク付けが,ベースラインや早期停止と組み合わせることで,これらの結果をさらに改善できることが示唆された。 最後に、モデルを適切な生成パスに戻すために外部APIを呼び出そうとしますが、肯定的な結果が得られません。 全体として、本手法は、事実精度、情報量、計算コストのトレードオフをバランスさせて、より信頼性の高い情報を生成するために、任意の長文テキスト生成に一般化し、適用することができる。

関連論文リスト

• FactAlign: Long-form Factuality Alignment of Large Language Models [35.067998820937284]
  大規模言語モデルは次世代の情報アクセスエンジンとして大きな可能性を示している。 本稿では,FactAlignを提案する。FactAlignは,長文応答の現実性を高めるために設計された,新しいアライメントフレームワークである。 オープンドメインのプロンプトと情報検索に関する実験により、FactAlignはLLM応答の事実精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-10-02T16:03:13Z)
• FactGenius: Combining Zero-Shot Prompting and Fuzzy Relation Mining to Improve Fact Verification with Knowledge Graphs [0.0]
  FactGeniusは,大規模言語モデルのゼロショットプロンプトと知識グラフ上のファジィテキストマッチングを組み合わせることで,ファクトチェックを強化する新しい手法である。 事実検証のベンチマークデータセットであるFactKG上でのFactGeniusの評価は、既存のベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-06-03T13:24:37Z)
• Deductive Closure Training of Language Models for Coherence, Accuracy, and Updatability [58.582216812183496]
  言語モデル(LM)は、実際に正しいテキストを生成し、個々のクレームの真理値を推定することがある。 現在のLMは誤った内容や非意味な内容を生成しており、編集や更新は困難である。 本稿では,DCT(Deductive Closure Training)と呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2024-01-16T18:58:37Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Mitigating Temporal Misalignment by Discarding Outdated Facts [58.620269228776294]
  大規模な言語モデルは、しばしば時間的ミスアライメントの下で使われ、現在に関する質問に答える。 我々は、ある事実がいつまで真実であるかを予測するタスクとして、事実期間予測を提案する。 私たちのデータとコードはhttps://github.com/mikejqzhang/mitigating_misalignment.comで公開されています。
  論文  参考訳（メタデータ） (2023-05-24T07:30:08Z)
• Factuality Enhanced Language Models for Open-Ended Text Generation [60.27166549575472]
  我々は、LM世代の実測のためのFactalityPromptsテストセットとメトリクスを設計する。 より大きなLMはより小さなものよりも現実的であることが分かるが、以前の研究では、大きなLMは誤解の観点からは真実性が低いことを示唆している。 そこで本稿では,TopicPrefixを用いた事実認識と文完成のための実感強化学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-09T17:16:43Z)
• Probing Factually Grounded Content Transfer with Factual Ablation [68.78413677690321]
  グラウンドドジェネレーションは、事実情報の信頼性のある外部文書(グラウンドディング)に描画する。 事実を計測するのも簡単で、すべての事実ではなく、世代が根拠に同意するかどうかをテストする。 本稿では,現実的な根拠からの情報を用いて,世代がプロンプトを拡大するコンテンツ転送問題について検討する。
  論文  参考訳（メタデータ） (2022-03-18T19:18:54Z)
• Evaluating Factuality in Generation with Dependency-level Entailment [57.5316011554622]
  本稿では,依存弧のレベルで分解するエンテーメントの新たな定式化を提案する。 このデータに基づいて訓練された依存関係弧包含モデルにより,文レベルの手法よりもパラフレーズ化や要約における現実的不整合を識別できることが示されている。
  論文  参考訳（メタデータ） (2020-10-12T06:43:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。