論文の概要: Towards Lightweight Reliability: Using Soft Prompts for Hallucination Mitigation in Large Language Models

• arxiv url: http://arxiv.org/abs/2606.00919v1
• Date: Sat, 30 May 2026 23:02:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:28.975968
• Title: Towards Lightweight Reliability: Using Soft Prompts for Hallucination Mitigation in Large Language Models
• Title（参考訳）: 軽量信頼性を目指して:大規模言語モデルにおける幻覚軽減のためのソフトプロンプトの利用
• Abstract要約: 大規模言語モデル(LLM)は様々な領域で広く採用されているが、その信頼性はしばしば幻覚によって損なわれている。 高リスク領域では、これらのエラーは信頼を減らし、現実世界のリスクをもたらす。 本稿では、ソフトプロンプトを用いて幻覚的コンテンツを緩和し、責任ある棄権を促進するパラメータ効率のアプローチを提案する。
• 参考スコア（独自算出の注目度）: 5.019869660665509
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have seen widespread adoption across various domains, yet their reliability is frequently undermined by hallucinations - responses that are plausible-sounding but factually incorrect. In high-stakes domains, these errors can reduce trust and introduce real-world risk. To address this challenge, we present a parameter-efficient approach that uses soft prompts to mitigate hallucinated content and promote responsible abstention in generative question-answering (QA) tasks. Our method, called Responsible Contrastive Soft Prompting (RCSP), uses a composite loss to train soft prompts that balance three goals: suppressing hallucinatory content, encouraging abstention under uncertainty, and preserving or improving factual recall. To achieve these goals, we incorporate contrastive loss, curriculum learning, and KL regularization into our training mechanism. We evaluate our approach on five diverse generative QA datasets using an LLM-as-a-Judge framework. Experimental results on the Gemma 3 (12B) and Llama 3.1 (8B) backbones demonstrate that RCSP effectively balances factual recall with hallucination suppression and abstention, yielding a generally superior F-score over standard reasoning and instruction-based prompting baselines. Notably, these improvements are achieved by training only a fraction of the parameters required by other tuning techniques. Our results demonstrate that soft prompts provide a modular and computationally efficient path toward improving LLM reliability.
• Abstract（参考訳）: 大きな言語モデル(LLM)は様々な領域で広く採用されているが、その信頼性は幻覚によって損なわれている。 高リスク領域では、これらのエラーは信頼を減らし、現実世界のリスクをもたらす。 この課題に対処するため,本研究では,ソフトプロンプトを用いて幻覚的コンテンツを緩和し,生成質問応答(QA)タスクにおいて責任ある棄却を促進するパラメータ効率の高いアプローチを提案する。 Responsible Contrastive Soft Prompting (RCSP) と呼ばれる本手法では,幻覚内容の抑制,不確実性の回避,事実的リコールの保存・改善という3つの目標のバランスをとるソフトプロンプトを複合的損失で訓練する。 これらの目標を達成するために、コントラスト的損失、カリキュラム学習、KL正規化をトレーニングメカニズムに組み込んだ。 LLM-as-a-Judgeフレームワークを用いて,5つの多種多様なQAデータセットに対するアプローチを評価した。 Gemma 3 (12B) と Llama 3.1 (8B) のバックボーンの実験結果から、RCSP は幻覚抑制や禁忌と事実上のリコールを効果的にバランスさせ、標準的な推論や命令ベースのプロンプトベースラインよりも一般的に優れたFスコアが得られることが示された。 特に、これらの改善は、他のチューニングテクニックが必要とするパラメータのごく一部をトレーニングすることで達成される。 この結果から,ソフトプロンプトはLCMの信頼性向上に向け,モジュール的かつ計算的に効率的な経路を提供することが示された。

関連論文リスト

• BALTO: Balanced Token-Level Policy Optimization for Hallucination Mitigation [51.22170603236523]
  幻覚緩和のためのバランスドトークンレベルの政策最適化フレームワークを提案する。 BalTOはチェック可能な事実クレームを抽出し、参照コンテキストに対して検証し、トークンレベルのラベルに対するクレームレベルの判断をプロジェクトする。 ConFiQA、RAGTruth、FinLLM-Evalの実験では、BALTOは6つのモデルで最高の忠実さを達成している。
  論文  参考訳（メタデータ） (2026-06-14T16:25:59Z)
• I-CALM: Incentivizing Confidence-Aware Abstention for LLM Hallucination Mitigation [2.688126466709795]
  大規模言語モデル(LLM)は、自信はあるが誤った答えをしばしば生み出す。 モデルを変更することなく、即時のみの介入が幻覚リスクを低減できるかどうかを検討する。 結果から,本フレームワークは質問に対する選択的な回答を,再学習なしに改善できることが示された。
  論文  参考訳（メタデータ） (2026-04-05T00:15:41Z)
• Balancing Faithfulness and Performance in Reasoning via Multi-Listener Soft Execution [79.98699884805636]
  Reasoning Execution by Multiple Listeners (REMUL) は多人数の強化学習手法である。 REMULは、推論が他の当事者に従えるかがより忠実になるという仮説に基づいている。 スピーカーは、リスナーにとって明らかな推論を生み出すことで報われます。
  論文  参考訳（メタデータ） (2026-02-18T02:55:55Z)
• Towards Self-Robust LLMs: Intrinsic Prompt Noise Resistance via CoIPO [38.36870540583669]
  大規模言語モデル(LLM)は、広範囲のタスクで顕著かつ着実にパフォーマンスを改善している。 現実世界のアプリケーションでは、LLMに提供されるユーザープロンプトは、しばしば不完全であり、モデルの応答の質を損なう可能性がある。 本稿では,モデルが生成するラベル整列ロジットとノイズの相違を最小限に抑えるコントラスト学習に基づく逆直接選好最適化(CoIPO)手法を提案する。
  論文  参考訳（メタデータ） (2026-02-09T13:24:50Z)
• Are Reasoning LLMs Robust to Interventions on Their Chain-of-Thought? [79.86483056611105]
  推論 LLM は、答えを出す前にステップバイステップの思考連鎖を生成する。 これらの推論は、その内部で発生する破壊の痕跡をどれほど堅牢にしていますか? 一定のタイミングでモデル自身のCoTを摂動させる制御された評価フレームワークを導入する。
  論文  参考訳（メタデータ） (2026-02-07T10:02:58Z)
• Stop Rewarding Hallucinated Steps: Faithfulness-Aware Step-Level Reinforcement Learning for Small Reasoning Models [59.6715047267181]
  小さな推論モデル(SRM)は、特に中間的推論ステップにおいて幻覚を起こす傾向がある。 オンライン強化学習に基づく既存の緩和手法は、結果に基づく報酬や粗粒度の連鎖評価に依存している。 本稿では、プロセス報酬モデルから、明示的な忠実度報酬を通じてステップレベルの監視を導入する、Fithfulness-Aware Step-Level Reinforcement Learning (FaithRL)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T17:15:12Z)
• Ground What You See: Hallucination-Resistant MLLMs via Caption Feedback, Diversity-Aware Sampling, and Conflict Regularization [38.469173375694076]
  マルチモーダル大言語モデル(MLLM)における幻覚の根本原因を系統的に解析する。 1)不正確な初期記述が後続の推論を誤った前提に固定する連鎖的視覚推論の過度な信頼、(2)政策最適化中の探索の多様性が不十分で、過度に自信があるが誤ったアウトプットを発生させる要因、(3)トレーニングサンプル間の破壊的な衝突、NTKの類似性が誤関連や不安定なパラメータ更新を引き起こす要因である。 実験の結果,提案手法は幻覚率を著しく低減し,MLLMの推論精度を効果的に向上することが示された。
  論文  参考訳（メタデータ） (2026-01-09T07:59:18Z)
• HADSF: Aspect Aware Semantic Control for Explainable Recommendation [4.75127493865044]
  大規模言語モデル(LLM)の最近の進歩は、推薦システムに対してより効果的な情報抽出を約束している。 本稿では,適応選択によるコンパクトなコーパスレベルのアスペクトボキャブラリを誘導し,構造化アスペクトオピニオン三重項のボキャブラリ誘導,明示的に制約された抽出を行う2段階アプローチを提案する。 1.5B-70Bパラメータにまたがる約300万のレビューに関する実験では、標準評価予測器に統合された場合、HADSFは予測エラーを一貫して減少させる。
  論文  参考訳（メタデータ） (2025-10-30T20:49:33Z)
• Teaching LLMs to Abstain via Fine-Grained Semantic Confidence Reward [4.921470220575384]
  大規模言語モデル(LLM)における幻覚の緩和は、信頼性の高いデプロイメントにおいて重要である。 我々は,$textbfunderlineFine-fine underline Semantic UnderlineConfidence underlineReward (Ours) に基づく新しい強化学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-10-28T03:00:35Z)
• GRAIT: Gradient-Driven Refusal-Aware Instruction Tuning for Effective Hallucination Mitigation [62.63014905981601]
  Refusal-Aware Instruction Tuning (RAIT) は、Large Language Models (LLM) を強化することを目的としている。 効果的なRAITは、幻覚を最小化するために、未知の質問を効果的に拒否すること、正しく答えられる質問が拒否されないように過度に拒否すること、の2つの主要な課題に対処しなければならない。 GraITは幻覚を効果的に最小化するために勾配駆動型サンプル選択を採用し、(2)微調整中に適応的な重み付け機構を導入し、過剰な拒絶のリスクを低減する。
  論文  参考訳（メタデータ） (2025-02-09T14:11:30Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Do Compressed LLMs Forget Knowledge? An Experimental Study with Practical Implications [63.29358103217275]
  大規模言語モデル(LLM)は、特に知識集約的なタスクにおいて、パフォーマンスを低下させることが多い。 損傷の性質に関する2つの予想を提案する。1つは、圧縮後に忘れられた(または消された)知識である。 Inference-time Dynamic Prompting (IDP)と呼ばれる変種を導入し、推論オーバーヘッドを発生させることなく、迅速な多様性を効果的に向上させることができる。
  論文  参考訳（メタデータ） (2023-10-02T03:12:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。