論文の概要: SCoNE: Selective Context-aware Neuron Editing for Robust Retrieval-Augmented Generation
- arxiv url: http://arxiv.org/abs/2609.00689v1
- Date: Tue, 01 Sep 2026 04:10:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.279492
- Title: SCoNE: Selective Context-aware Neuron Editing for Robust Retrieval-Augmented Generation
- Title(参考訳): SCoNE:ロバスト検索型生成のための選択的文脈認識ニューロン編集
- Authors: Chaewon Kim, Seo Yeon Park,
- Abstract要約: 本研究では,SCoNE(Selective Context-aware Neuron Editing)を提案する。
SCoNEは少数の採掘サンプルのみを必要とし、微調整は行わず、推測時間のオーバーヘッドも伴わない。
- 参考スコア(独自算出の注目度): 14.04209080008843
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-Augmented Generation (RAG) is highly sensitive to retrieval noise: when retrieved documents mix informative and irrelevant context, LLMs are easily distracted, leading to hallucinations. To overcome this, we propose SCoNE (Selective Context-aware Neuron Editing), a training-free model editing approach that improves retrieval noise robustness by selectively strengthening context-aware FFN neurons that are identified by both high attribution and high cross-input variability. SCoNE requires only a small number of mining samples, no fine-tuning, and no inference-time overhead. Across various knowledge-intensive question-answering benchmarks and two LLM backbones, SCoNE consistently outperforms competitive baseline methods. Our code is available at https://github.com/HYU-ARK-Lab/SCoNE.
- Abstract(参考訳): Retrieval-Augmented Generation (RAG) は、検索ノイズに対して非常に敏感である。
これを解決するために,SCoNE(Selective Context-aware Neuron Editing)を提案する。これは,高属性と高入力差の両方で識別されるコンテキスト認識FFNニューロンを選択的に強化することにより,検索ノイズの堅牢性を改善する訓練自由モデル編集手法である。
SCoNEは少数の採掘サンプルのみを必要とし、微調整は行わず、推測時間のオーバーヘッドも伴わない。
様々な知識集約型質問答えベンチマークと2つのLCMバックボーンで、SCoNEは競争基準法より一貫して優れている。
私たちのコードはhttps://github.com/HYU-ARK-Lab/SCoNEで公開されています。
関連論文リスト
- Multimodal Hybrid Retrieval-Augmented Generation for Scientific Document Understanding using Open-Source SLMs [45.88028371034407]
大規模言語モデルは、前もって微調整を行わずに、科学的文書からドメイン固有のキーオンに答えるときに幻覚を起こす傾向がある。
本稿では,これらの課題を解決するための高度なマルチモーダル検索型生成システムを提案する。
Qwen2-VL-2B-InstructはBERTScoreのクラウドベースモデルに匹敵する結果を得た。
論文 参考訳(メタデータ) (2026-07-06T08:32:09Z) - Self-Correcting RAG: Enhancing Faithfulness via MMKP Context Selection and NLI-Guided MCTS [5.711356514732554]
自己補正RAGは、制約付き最適化と経路計画として検索と生成を再構成する。
入力側では、コンテキスト選択を多次元多重選択knapsack問題(MMKP)として定式化する。
出力側では、自然言語推論(NLI)誘導モンテカルロ木探索(MCTS)機構を導入する。
論文 参考訳(メタデータ) (2026-04-12T17:14:36Z) - Neuro-RIT: Neuron-Guided Instruction Tuning for Robust Retrieval-Augmented Language Model [18.49378483853084]
Neuro-RIT(Neuro-Guided Robust Instruction Tuning)は、高密度適応から精度駆動型ニューロンアライメントへパラダイムをシフトさせる新しいフレームワークである。
本手法は、属性に基づくニューロンマイニングを用いて、関連するコンテキストと無関係なコンテキストとを関連づけるニューロンを明示的に分離する。
論文 参考訳(メタデータ) (2026-04-02T15:49:50Z) - Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models [60.25003813232697]
本稿では,Masked Diffusion Models (MDMs) のトレーニング自由適応ガイダンスフレームワークとして,適応検索型Masked Diffusion (ARAM) を提案する。
ARAMは、検索した文脈によって誘導される分布シフトのSNR(Signal-to-Noise Ratio)に従って、雑音発生時の誘導スケールを校正する。
複数の知識集約型QAベンチマークの実験は、ARAMが競争力のあるRAGベースラインよりも全体的なQA性能を改善することを示している。
論文 参考訳(メタデータ) (2026-03-18T12:54:50Z) - SciML Agents: Write the Solver, Not the Solution [69.5021018644143]
敵の"ミスリーディング"問題の診断データセットと,1,000種類のODEタスクの大規模ベンチマークという,2つの新しいデータセットを紹介した。
オープンおよびクローズドソース LLM モデルについて, (i) 誘導型とガイド型, (ii) オフ・ザ・シェルフ対微調整型という2つの軸に沿って評価した。
予備的な結果は、慎重なプロンプトと微調整により、単純なODE問題を確実に解決できる特殊なLLMエージェントが得られることを示唆している。
論文 参考訳(メタデータ) (2025-09-12T02:53:57Z) - DeRAGEC: Denoising Named Entity Candidates with Synthetic Rationale for ASR Error Correction [11.823876673099662]
本稿では、自動音声認識(ASR)システムにおいて、名前付きエンティティ(NE)補正を改善する方法であるDeRAGECを提案する。
Retrieval-Augmented Generative Error Correction (RAGEC) フレームワークを拡張することで、DeRAGECは、ノイズの多いNE候補を修正前にフィルタリングするために、合成 denoising rationals を採用する。
CommonVoiceとSTOPデータセットの実験結果から,ワードエラー率(WER)とNEヒット率に大きな改善が見られた。
論文 参考訳(メタデータ) (2025-06-09T07:37:50Z) - Self-Routing RAG: Binding Selective Retrieval with Knowledge Verbalization [95.85537087475882]
既存のアプローチは、大規模言語モデル(LLM)の固有の知識を過小評価している。
本稿では,選択検索と知識の言語化を結びつける新しいフレームワークであるSelf-Routing RAGを提案する。
SR-RAGは検索回数を29%削減し、性能は5.1%向上した。
論文 参考訳(メタデータ) (2025-04-01T17:59:30Z) - MLLM Is a Strong Reranker: Advancing Multimodal Retrieval-augmented Generation via Knowledge-enhanced Reranking and Noise-injected Training [9.023648972811458]
RagVLは、知識強化されたリグレードとノイズ注入トレーニングを備えた、新しいフレームワークである。
我々はMLLMに簡単な命令テンプレートを付与し、そのランク付け能力を誘導する。
例えば、データとトークンレベルでのトレーニング中に視覚ノイズを注入して、ジェネレータの堅牢性を高める。
論文 参考訳(メタデータ) (2024-07-31T08:43:17Z) - HyPoradise: An Open Baseline for Generative Speech Recognition with
Large Language Models [81.56455625624041]
ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。
提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。
合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
論文 参考訳(メタデータ) (2023-09-27T14:44:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。