論文の概要: Copy-Paste to Mitigate Large Language Model Hallucinations

• arxiv url: http://arxiv.org/abs/2510.00508v1
• Date: Wed, 01 Oct 2025 04:40:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.386755
• Title: Copy-Paste to Mitigate Large Language Model Hallucinations
• Title（参考訳）: 大規模言語モデル幻覚を緩和するコピーペースト
• Authors: Yongchao Long, Xian Wu, Yingying Zhang, Xianbin Wen, Yuxi Zhou, Shenda Hong,
• Abstract要約: 本研究では,2段階のハイコピー応答選好トレーニングにより得られたCopyPasteLLMを提案する。 FaithEval、ConFiQA、PubMedQAでは、CopyPasteLLMは、デファクトとオリジナルの両方のコンテキストで最高のパフォーマンスを達成する。 CopyPasteLLMの有効性を解明するために、コンテキストコピーキャプチャーアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 28.490445724463864
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Retrieval-Augmented Generation (RAG) enables large language models (LLMs) to generate contextually grounded responses, contextual faithfulness remains challenging as LLMs may not consistently trust provided context, leading to hallucinations that undermine reliability. We observe an inverse correlation between response copying degree and context-unfaithful hallucinations on RAGTruth, suggesting that higher copying degrees reduce hallucinations by fostering genuine contextual belief. We propose CopyPasteLLM, obtained through two-stage high-copying response preference training. We design three prompting methods to enhance copying degree, demonstrating that high-copying responses achieve superior contextual faithfulness and hallucination control. These approaches enable a fully automated pipeline that transforms generated responses into high-copying preference data for training CopyPasteLLM. On FaithEval, ConFiQA and PubMedQA, CopyPasteLLM achieves best performance in both counterfactual and original contexts, remarkably with 12.2% to 24.5% accuracy improvements on FaithEval over the best baseline, while requiring only 365 training samples -- 1/50th of baseline data. To elucidate CopyPasteLLM's effectiveness, we propose the Context-Parameter Copying Capturing algorithm. Interestingly, this reveals that CopyPasteLLM recalibrates reliance on internal parametric knowledge rather than external knowledge during generation. All codes are available at https://github.com/longyongchao/CopyPasteLLM
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)が文脈的基盤を持つ応答を生成するのを可能にするが、LLMが常に与えられたコンテキストを信頼できないため、文脈的忠実性は依然として困難であり、信頼性を損なう幻覚をもたらす。 我々は,RAGTruthにおける応答模倣度と文脈不信の幻覚との逆相関を観察し,真の文脈的信念を育むことによって,高い複写度が幻覚を減少させることを示唆した。 本研究では,2段階のハイコピー応答選好トレーニングにより得られたCopyPasteLLMを提案する。 コピー度を高めるための3つのプロンプト手法を設計し、高いコピー応答がより優れた文脈忠実性と幻覚制御を実現することを示す。 これらのアプローチにより、生成したレスポンスを、CopyPasteLLMをトレーニングするためのハイコピーの好みデータに変換する、完全に自動化されたパイプラインが可能になる。 FaithEval、ConFiQA、PubMedQAでは、CopyPasteLLMは、12.2%から24.5%の精度向上を実現し、365のトレーニングサンプル(ベースラインデータの1/50分の1)しか必要としない。 CopyPasteLLMの有効性を解明するために、コンテキストパラメータコピーキャプチャーアルゴリズムを提案する。 興味深いことに、CopyPasteLLMは生成時の外部知識よりも内部パラメトリック知識への依存を再検討している。 すべてのコードはhttps://github.com/longyongchao/CopyPasteLLMで入手できる。

関連論文リスト

• Decoding Memories: An Efficient Pipeline for Self-Consistency Hallucination Detection [17.792828844969033]
  選択的推論と復号化により生成を高速化する新しいデコードメモリパイプライン(DMP)を提案する。 提案手法は,AUROC性能を犠牲にすることなく,最大3倍の高速化を実現する。
  論文  参考訳（メタデータ） (2025-08-28T21:39:53Z)
• Cite Pretrain: Retrieval-Free Knowledge Attribution for Large Language Models [53.17363502535395]
  信頼できる言語モデルは、正しい答えと検証可能な答えの両方を提供するべきです。 現在のシステムは、外部レトリバーを推論時にクエリすることで、引用を挿入する。 本稿では,合成QAペアを継続的に事前訓練するActive Indexingを提案する。
  論文  参考訳（メタデータ） (2025-06-21T04:48:05Z)
• Self-Correcting Decoding with Generative Feedback for Mitigating Hallucinations in Large Vision-Language Models [65.4610281589017]
  LVLM(Large Vision-Language Models)は、与えられた視覚入力と一致しない幻覚的テキスト応答を生成する傾向がある。 テキストから画像への生成モデルからのフィードバックをデコードプロセスに組み込んだ,新たなトレーニングフリーアルゴリズムである生成フィードバック付き自己修正デコード(DeGF)を導入する。
  論文  参考訳（メタデータ） (2025-02-10T03:43:55Z)
• CopyBench: Measuring Literal and Non-Literal Reproduction of Copyright-Protected Text in Language Model Generation [132.00910067533982]
  LM世代におけるリテラルコピーと非リテラルコピーの両方を測定するために設計されたベンチマークであるCopyBenchを紹介する。 リテラル複写は比較的稀であるが、イベント複写と文字複写という2種類の非リテラル複写は、7Bパラメータのモデルでも発生する。
  論文  参考訳（メタデータ） (2024-07-09T17:58:18Z)
• PlagBench: Exploring the Duality of Large Language Models in Plagiarism Generation and Detection [26.191836276118696]
  46.5Kの合成テキストペアのデータセットである textbfsf PlagBench を紹介する。 PlagBenchは、きめ細かい自動評価と人間のアノテーションを組み合わせることで検証される。 GPT-3.5 Turbo は GPT-4 Turbo と比較してテキストの複雑さを著しく増大させることなく高品質なパラフレーズや要約を生成できることを示す。
  論文  参考訳（メタデータ） (2024-06-24T03:29:53Z)
• Re-ReST: Reflection-Reinforced Self-Training for Language Agents [101.22559705696885]
  言語エージェントにおける自己学習は、エージェント自体から監督を生成することができる。 リフレクション強化自己学習(Reflection-Reinforced Self-Training, Re-ReST)は, テキストレフレクタを用いて低品質な試料を精製する。
  論文  参考訳（メタデータ） (2024-06-03T16:21:38Z)
• CopyPaste: An Augmentation Method for Speech Emotion Recognition [36.61242392144022]
  CopyPasteは、知覚的に動機づけられた、音声の感情認識のための新しい拡張手順である。 3つのCopyPasteスキームを2つのディープラーニングモデルでテストする。 ノイズのあるテストセットの実験では、CopyPasteはノイズの多いテスト条件でも有効であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-27T20:52:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。