論文の概要: Monitoring Decoding: Mitigating Hallucination via Evaluating the Factuality of Partial Response during Generation

• arxiv url: http://arxiv.org/abs/2503.03106v1
• Date: Wed, 05 Mar 2025 01:51:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:53:31.603777
• Title: Monitoring Decoding: Mitigating Hallucination via Evaluating the Factuality of Partial Response during Generation
• Title（参考訳）: モニタリングデコーディング:生成時の部分応答の相性評価による幻覚の緩和
• Authors: Yurui Chang, Bochuan Cao, Lu Lin,
• Abstract要約: 大規模な言語モデルは幻覚に影響を受けやすいため、真に正しくない内容を生成する。 このようなリスクを軽減する既存の方法は、しばしば複数の全世代をサンプリングすることに依存する。 生成プロセスを動的に監視する新しいフレームワークであるモニタリングデコーディングを導入する。
• 参考スコア（独自算出の注目度）: 9.137042895376343
• License:
• Abstract: While large language models have demonstrated exceptional performance across a wide range of tasks, they remain susceptible to hallucinations -- generating plausible yet factually incorrect contents. Existing methods to mitigating such risk often rely on sampling multiple full-length generations, which introduces significant response latency and becomes ineffective when the model consistently produces hallucinated outputs with high confidence. To address these limitations, we introduce Monitoring Decoding (MD), a novel framework that dynamically monitors the generation process and selectively applies in-process interventions, focusing on revising crucial tokens responsible for hallucinations. Instead of waiting until completion of multiple full-length generations, we identify hallucination-prone tokens during generation using a monitor function, and further refine these tokens through a tree-based decoding strategy. This approach ensures an enhanced factual accuracy and coherence in the generated output while maintaining efficiency. Experimental results demonstrate that MD consistently outperforms self-consistency-based approaches in both effectiveness and efficiency, achieving higher factual accuracy while significantly reducing computational overhead.
• Abstract（参考訳）: 大きな言語モデルは幅広いタスクで例外的なパフォーマンスを示しているが、幻覚の影響を受けやすい。 このようなリスクを緩和する既存の方法は、複数のフル長世代をサンプリングすることに依存することが多く、これは大きな応答遅延をもたらし、モデルが常に高い信頼性で幻覚出力を生成すると、効果が低下する。 これらの制約に対処するため,我々は,動的に生成プロセスを監視し,プロセス内介入を選択的に適用する新しいフレームワークであるモニタリング・デコーディング(MD)を導入し,幻覚に責任を持つ重要なトークンの改訂に焦点をあてる。 複数の完全長世代が完了するまで待つ代わりに、モニタ機能を用いて生成中の幻覚性トークンを特定し、ツリーベースの復号化戦略によりこれらのトークンをさらに洗練する。 このアプローチは、効率を保ちながら、生成した出力の事実精度とコヒーレンスを高める。 実験結果から,MDは効率と効率の両面において,自己整合性に基づくアプローチを一貫して上回り,計算オーバーヘッドを著しく低減した。

関連論文リスト

• Self-Correcting Decoding with Generative Feedback for Mitigating Hallucinations in Large Vision-Language Models [66.71616369573715]
  LVLM(Large Vision-Language Models)は、与えられた視覚入力と一致しない幻覚的テキスト応答を生成する傾向がある。 テキストから画像への生成モデルからのフィードバックをデコードプロセスに組み込んだ,新たなトレーニングフリーアルゴリズムである生成フィードバック付き自己修正デコード(DeGF)を導入する。
  論文  参考訳（メタデータ） (2025-02-10T03:43:55Z)
• Ctrl-GenAug: Controllable Generative Augmentation for Medical Sequence Classification [16.02675888386905]
  Ctrl-GenAugは新規で汎用的な生成拡張フレームワークである。 高度に意味論的およびシーケンシャルな塩基配列合成を可能にし、誤って合成されたサンプルを抑圧する。
  論文  参考訳（メタデータ） (2024-09-25T16:58:19Z)
• Optimizing Resource Consumption in Diffusion Models through Hallucination Early Detection [87.22082662250999]
  拡散過程の開始時に不正確な世代を迅速に検出する新しいパラダイムであるHEaD(Hallucination Early Detection)を導入する。 HEaDは計算資源を節約し,生成過程を高速化して完全な画像を得ることを示す。 その結果,HEaDは2つのオブジェクトのシナリオで生成時間の最大12%を節約できることがわかった。
  論文  参考訳（メタデータ） (2024-09-16T18:00:00Z)
• Enhancing Hallucination Detection through Perturbation-Based Synthetic Data Generation in System Responses [25.692970375644435]
  本稿では,システム応答を書き換えることで,忠実な出力と幻覚的な出力の両方を自動的に生成する手法を提案する。 実験結果から、我々の生成したデータセットを微調整したT5ベースモデルが、最先端のゼロショット検出器を超越していることが判明した。
  論文  参考訳（メタデータ） (2024-07-07T19:19:32Z)
• Synchronous Faithfulness Monitoring for Trustworthy Retrieval-Augmented Generation [96.78845113346809]
  Retrieval-augmented Language Model (RALMs) は、知識集約型タスクにおいて、高い性能と幅広い適用性を示している。 本稿では,非偽文の検出に微細な復号力学を利用する軽量モニタであるSynCheckを提案する。 また、長文検索拡張生成のためのビームサーチによって導かれる忠実度指向の復号アルゴリズムであるFODを導入する。
  論文  参考訳（メタデータ） (2024-06-19T16:42:57Z)
• DrM: Mastering Visual Reinforcement Learning through Dormant Ratio Minimization [43.60484692738197]
  ビジュアル強化学習は、継続的な制御タスクにおいて有望である。 現在のアルゴリズムは、パフォーマンスのあらゆる面において、いまだに満足できない。 DrMは、ドッグドメインとマニピュレータドメインの両方のタスクを一貫して解決する最初のモデルフリーアルゴリズムである。
  論文  参考訳（メタデータ） (2023-10-30T15:50:56Z)
• Accelerating LLaMA Inference by Enabling Intermediate Layer Decoding via Instruction Tuning with LITE [62.13435256279566]
  大規模言語モデル(LLM)は、様々な自然言語タスクで顕著なパフォーマンスを実現している。 しかし、その大きなサイズは推論を遅く、計算的に高価にする。 最終層の生成能力に影響を与えることなく、これらの層が「良い」生成能力を得ることができることを示す。
  論文  参考訳（メタデータ） (2023-10-28T04:07:58Z)
• RARE: Robust Masked Graph Autoencoder [45.485891794905946]
  Masked graph autoencoder (MGAE) は、有望な自己教師付きグラフ事前学習(SGP)パラダイムとして登場した。 本稿では,ロバストmAsked gRaph autoEncoder (RARE) と呼ばれる新しいSGP手法を提案する。
  論文  参考訳（メタデータ） (2023-04-04T03:35:29Z)
• Beyond the Spectrum: Detecting Deepfakes via Re-Synthesis [69.09526348527203]
  ディープフェイク(Deepfakes)として知られる非常に現実的なメディアは、現実の目から人間の目まで区別できない。 本研究では,テスト画像を再合成し,検出のための視覚的手がかりを抽出する,新しい偽検出手法を提案する。 種々の検出シナリオにおいて,提案手法の摂動に対する有効性の向上,GANの一般化,堅牢性を示す。
  論文  参考訳（メタデータ） (2021-05-29T21:22:24Z)
• Detecting Hallucinated Content in Conditional Neural Sequence Generation [165.68948078624499]
  出力シーケンスの各トークンが(入力に含まれていない)幻覚化されているかどうかを予測するタスクを提案する。 また、合成データに微調整された事前学習言語モデルを用いて幻覚を検出する方法についても紹介する。
  論文  参考訳（メタデータ） (2020-11-05T00:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。