論文の概要: DSVD: Dynamic Self-Verify Decoding for Faithful Generation in Large Language Models

• arxiv url: http://arxiv.org/abs/2503.03149v1
• Date: Wed, 05 Mar 2025 03:45:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 17:18:40.771163
• Title: DSVD: Dynamic Self-Verify Decoding for Faithful Generation in Large Language Models
• Title（参考訳）: DSVD: 大規模言語モデルにおける忠実生成のための動的自己検証デコーディング
• Authors: YiQiu Guo, Yuchen Yang, Zhe Chen, Pingjie Wang, Yusheng Liao, Ya Zhang, Yanfeng Wang, Yu Wang,
• Abstract要約: 本稿では,動的自己検証復号法(DSVD)を提案する。リアルタイム幻覚検出と効率的な誤り訂正により生成信頼性を向上させる新しい復号法である。 私たちの研究は、生成中のリアルタイムの自己検証が、実用的なデプロイ性を犠牲にすることなく、より信頼できる言語モデルへの実行可能なパスを提供することを証明しています。
• 参考スコア（独自算出の注目度）: 31.15459303576494
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The reliability of large language models remains a critical challenge, particularly due to their susceptibility to hallucinations and factual inaccuracies during text generation. Existing solutions either underutilize models' self-correction with preemptive strategies or use costly post-hoc verification. To further explore the potential of real-time self-verification and correction, we present Dynamic Self-Verify Decoding (DSVD), a novel decoding framework that enhances generation reliability through real-time hallucination detection and efficient error correction. DSVD integrates two key components: (1) parallel self-verification architecture for continuous quality assessment, (2) dynamic rollback mechanism for targeted error recovery. Extensive experiments across five benchmarks demonstrate DSVD's effectiveness, achieving significant improvement in truthfulness (Quesetion-Answering) and factual accuracy (FActScore). Results show the DSVD can be further incorporated with existing faithful decoding methods to achieve stronger performance. Our work establishes that real-time self-verification during generation offers a viable path toward more trustworthy language models without sacrificing practical deployability.
• Abstract（参考訳）: 大規模言語モデルの信頼性は、特に幻覚への感受性とテキスト生成時の事実的不正確さのため、依然として重要な課題である。 既存のソリューションは、プリエンプティブ戦略でモデルの自己補正を過小評価するか、ホック後の検証にコストがかかるかのいずれかである。 リアルタイムの自己検証と修正の可能性を探るため,動的自己検証復号法(DSVD)を提案する。 DSVDは,(1)連続的な品質評価のための並列自己検証アーキテクチャ,(2)目標とするエラー回復のための動的ロールバック機構の2つの重要なコンポーネントを統合している。 5つのベンチマークにわたる大規模な実験は、DSVDの有効性を示し、真理性(Quesetion-Answering)と事実精度(FActScore)を大幅に改善した。 その結果、DSVDはより強力な性能を達成するために、既存の忠実な復号法にさらに組み込むことができることがわかった。 私たちの研究は、生成中のリアルタイムの自己検証が、実用的なデプロイ性を犠牲にすることなく、より信頼できる言語モデルへの実行可能なパスを提供することを証明しています。

関連論文リスト

• Object-Level Verbalized Confidence Calibration in Vision-Language Models via Semantic Perturbation [26.580361841501514]
  視覚言語モデル(VLM)は様々なマルチモーダルタスクに優れるが、しばしばキャリブレーションに苦しむ。 この誤判定は、特にモデルが不正確または製造された情報を確実に提供した場合、ユーザーの信頼を損なう。 本稿では,文節摂動(CSP)フレームワークを新たに提案し,オブジェクト中心クエリの言語的信頼度を校正する手法を提案する。
  論文  参考訳（メタデータ） (2025-04-21T04:01:22Z)
• TPC: Cross-Temporal Prediction Connection for Vision-Language Model Hallucination Reduction [5.925383490825323]
  視覚言語モデル(VLM)は、大きな言語モデル(LLM)の印象的な能力を生かして、目覚ましい進歩を遂げた。 それにもかかわらず、幻覚として知られる重要な課題は、モデルが画像から欠落している物体や属性を過度に記述するときに起こる。 この制限により、高スループットアプリケーションにおけるモデルの信頼性が低下する。
  論文  参考訳（メタデータ） (2025-03-06T14:11:00Z)
• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
  大きな言語モデル(LLM)は、不一致の自己認識のためにしばしば幻覚する。 既存のアプローチは、不確実性推定やクエリの拒否を通じて幻覚を緩和する。 高速かつ低速な推論システムを統合するための明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• Breaking Focus: Contextual Distraction Curse in Large Language Models [68.4534308805202]
  大規模言語モデル(LLM)の重大な脆弱性について検討する。 この現象は、セマンティック・コヒーレントだが無関係な文脈で修正された質問に対して、モデルが一貫した性能を維持することができないときに発生する。 本稿では,CDVの例を自動生成する効率的な木探索手法を提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:43:36Z)
• Automated Proof Generation for Rust Code via Self-Evolution [69.25795662658356]
  私たちは、Rustコードの自動証明生成を可能にする、人間による証明の欠如を克服する新しいフレームワークであるSAFEを紹介します。 GPT-4oに比べて効率と精度が優れていた。 この進歩により性能が大幅に向上し、人間の専門家によるベンチマークで70.50%の精度が達成された。
  論文  参考訳（メタデータ） (2024-10-21T08:15:45Z)
• Improving Retrieval Augmented Language Model with Self-Reasoning [20.715106330314605]
  本稿では,ALMの信頼性とトレーサビリティ向上を目的とした,新たな自己推論フレームワークを提案する。 このフレームワークは、関連性を認識したプロセス、エビデンスを認識した選択プロセス、軌跡解析プロセスの3つのプロセスで自己推論軌道を構築することを含む。 提案手法の優位性を示すため,4つの公開データセットにまたがるフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-07-29T09:05:10Z)
• M2CVD: Enhancing Vulnerability Semantic through Multi-Model Collaboration for Code Vulnerability Detection [52.4455893010468]
  大規模言語モデル(LLM)は、コード理解において強力な能力を持つが、微調整コストとセマンティックアライメントの問題により、プロジェクト固有の最適化が制限される。 CodeBERTのようなコードモデルは微調整が容易であるが、複雑なコード言語から脆弱性のセマンティクスを学ぶことはしばしば困難である。 本稿では,M2CVD(Multi-Model Collaborative Vulnerability Detection)手法を提案する。
  論文  参考訳（メタデータ） (2024-06-10T00:05:49Z)
• Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
  本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。 提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-04T12:43:23Z)
• Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
  本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。 この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
  論文  参考訳（メタデータ） (2023-11-03T05:41:25Z)
• Confidence Attention and Generalization Enhanced Distillation for Continuous Video Domain Adaptation [62.458968086881555]
  連続ビデオドメイン適応(CVDA、Continuous Video Domain Adaptation)は、ソースモデルが個々の変更対象ドメインに適応する必要があるシナリオである。 CVDAの課題に対処するため,遺伝子組み換え型自己知識解離(CART)を用いた信頼性保証ネットワークを提案する。
  論文  参考訳（メタデータ） (2023-03-18T16:40:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。