論文の概要: SERC: LDPC-Inspired Semantic Error Correction for Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2605.28837v1
- Date: Sun, 12 Apr 2026 09:09:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.552674
- Title: SERC: LDPC-Inspired Semantic Error Correction for Retrieval-Augmented Generation
- Title（参考訳）: SERC:LDPCにインスパイアされた意味的エラー補正
- Authors: Gyumin Kim, Juhwan Park, Jaeha Kim, Seunggyun Han, Kyungrak Son, Ikbeom Jang,
- Abstract要約: 大きな言語モデル(LLM)は目覚ましい能力を示しているが、その信頼性は幻覚によって著しく損なわれている。
検索強化生成(SERC)のためのLDPCにインスパイアされた意味的誤り訂正を提案する。
我々は,テキスト生成過程を意味ノイズチャネルとして再構成し,生成した応答をノイズ破損したコードワードとして扱う。
- 参考スコア（独自算出の注目度）: 3.53018552538156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Large Language Models (LLMs) have demonstrated remarkable capabilities, their reliability is significantly compromised by hallucinations. Existing intrinsic self-correction methods attempt to address this, but often fail due to self-bias, where models struggle to identify errors in their own outputs without external verification. To overcome these limitations, we propose the LDPC-inspired semantic error correction for retrieval-augmented generation (SERC), providing a theoretical framework to interpret and mitigate LLM hallucinations. We reformulate the text generation process as a semantic noisy channel, treating generated responses as noise-corrupted codewords. Inspired by low-density parity-check (LDPC) codes, SERC employs a sparse verification strategy: instead of exhaustively checking all facts, it generates low-density verification queries and validates them against external evidence to efficiently detect and correct errors. We evaluate SERC on LongForm Bio and TruthfulQA benchmarks using Llama-3-8B and Qwen2.5-14B. Experimental results demonstrate that SERC outperforms both intrinsic self-correction methods and strong retrieval-augmented baselines, demonstrating significant gains especially in factual precision (FactScore). Notably, SERC enables small language models (SLMs) to surpass the performance of larger baselines in hallucination reduction and information preservation. Our findings demonstrate that SERC provides a training-free, model-agnostic solution that significantly reduces verification overhead compared to dense methods, achieving an optimal trade-off between cost and fidelity in resource-constrained environments.
- Abstract（参考訳）: 大きな言語モデル(LLM)は目覚ましい能力を示しているが、その信頼性は幻覚によって著しく損なわれている。
既存の本質的な自己補正法はこの問題に対処しようとするが、しばしば自己バイアスのために失敗する。
これらの制限を克服するために,LDPCにヒントを得たSERC(Research-augmented Generation)のセマンティックエラー補正を提案し,LLM幻覚を解釈・緩和するための理論的枠組みを提供する。
我々は,テキスト生成過程を意味ノイズチャネルとして再構成し,生成した応答をノイズ破損したコードワードとして扱う。
低密度パリティチェック(LDPC)コードにインスパイアされたSERCは、すべての事実を徹底的にチェックする代わりに、低密度検証クエリを生成し、外部の証拠に対して検証し、エラーを効率的に検出し、修正する、スパース検証戦略を採用している。
Llama-3-8B と Qwen2.5-14B を用いた LongForm Bio と TruthfulQA のSERC の評価を行った。
実験の結果,SERCは内在的自己補正法と強力な検索強化ベースラインの両方に優れており,特に事実精度(FactScore)において有意な向上を示した。
特に、SERCは、幻覚の低減と情報保存において、より大規模なベースラインの性能を上回る小さな言語モデル(SLM)を可能にする。
以上の結果から,SERCは,資源制約環境におけるコストとフィリティの最適トレードオフを達成し,高密度手法に比べて検証オーバーヘッドを大幅に低減する,トレーニング不要でモデルに依存しないソリューションを提供することが示された。
関連論文リスト
- Teaching Language Models to Check Grounded Claim Factuality with Human Test-Taking Strategies [0.9867902290081937]
検索強化生成のような大規模言語モデル(LLM)アプリケーションでは,根拠付きクレームの事実性チェックが重要である。
本報告では, 根拠付き事実性チェックを真偽読解タスクとして定式化することによって, この問題に対処する。
本手法は未案内のオープンエンド推論と比較してトークン使用率を80%以上削減する。
論文 参考訳（メタデータ） (2026-05-28T10:11:42Z) - LiveFMBench: Unveiling the Power and Limits of Agentic Workflows in Specification Generation [75.05397479715576]
大規模言語モデル(LLM)とエージェントは有望な進歩を示しているが、その真の能力と失敗モードは未だ不明である。
CプログラムのためのLCMおよびエージェントベースの形式仕様生成に関する、最初の体系的および汚染に配慮した研究を提案する。
論文 参考訳（メタデータ） (2026-05-02T11:31:33Z) - ReHear: Iterative Pseudo-Label Refinement for Semi-Supervised Speech Recognition via Audio Large Language Models [12.527207210862151]
ReHearは、自動音声認識における反復的な擬似ラベル改善のためのフレームワークである。
命令調整されたオーディオ対応の大規模言語モデルを自己学習ループに統合する。
ReHearはエラーの伝播を効果的に軽減し、教師付きベースラインと疑似ラベルベースラインの両方を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-02-21T05:04:22Z) - MARS: Unleashing the Power of Speculative Decoding via Margin-Aware Verification [7.935725883885573]
Speculative Decoding (SD)は、自動回帰型大言語モデル(LLM)推論をデカップリングして高速化する。
対象モデルの局所的決定性に適応する訓練不要でドメインに依存しない検証戦略であるMargin-Aware Speculative Verificationを提案する。
本手法は,目標ロジットから直接測定した決定安定性の検証を行い,厳密な検証が最小限の利益をもたらす場合にのみ拒否を緩和する。
論文 参考訳（メタデータ） (2026-01-21T22:03:06Z) - Toward Faithful Retrieval-Augmented Generation with Sparse Autoencoders [39.5490415037017]
Retrieval-Augmented Generation (RAG) は、大規模言語モデル(LLM)の事実性を改善する。
既存のRAGの幻覚検出法は、しばしば大規模な検出器の訓練に頼っている。
RAGLensは、RAG出力を正確にフラグする軽量幻覚検出器である。
論文 参考訳（メタデータ） (2025-12-09T18:33:22Z) - Critique to Verify: Accurate and Honest Test-Time Scaling with RL-Trained Verifiers [63.99316853136304]
ミラー・クリティク(Mirror-Critique)は、情報的批評で検証者を訓練する枠組みである。
我々は、高品質な批判データを合成するために、小さな命令調整モデルを展開する。
結果として得られるミラー検証は、ソリューション毎に複数の批判を生成することで、候補ソリューションを評価するためにデプロイされる。
論文 参考訳（メタデータ） (2025-09-27T06:50:24Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳（メタデータ） (2025-04-21T04:56:47Z) - Provenance: A Light-weight Fact-checker for Retrieval Augmented LLM Generation Output [49.893971654861424]
検索強化生成(RAG)から非実効出力を検出する軽量な手法を提案する。
私たちは、二項決定を下すためにしきい値にできる事実性スコアを計算します。
実験の結果, ROC曲線 (AUC) の下では, 関連するオープンソースデータセットの広範囲にわたって高い面積を示すことができた。
論文 参考訳（メタデータ） (2024-11-01T20:44:59Z) - FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。
FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。
Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
論文 参考訳（メタデータ） (2023-10-18T16:27:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。