論文の概要: TriageRAG: Failure-Aware Self-Training for Adapting Retrieval-Augmented Language Models to Specialized Domains
- arxiv url: http://arxiv.org/abs/2610.33776v1
- Date: Sat, 24 Oct 2026 16:26:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.443169
- Title: TriageRAG: Failure-Aware Self-Training for Adapting Retrieval-Augmented Language Models to Specialized Domains
- Title（参考訳）: TriageRAG: 特殊化ドメインへの検索強化言語モデル適応のためのフェールアウェア自己学習
- Abstract要約: Retrieval-augmented Generationは、大規模な言語モデルによって、検索された証拠から知識集約的な質問に答えることができる。
しかし,未ラベルコーパスのみを使用すれば,医学などの専門分野に汎用的なRAGシステムを適用することは困難である。
本稿では,学生を自己生成する質問に対して調査する,障害認識型自己学習手法であるTriageRAGを提案する。
- 参考スコア（独自算出の注目度）: 1.4084840829725438
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval-augmented generation (RAG) lets large language models (LLMs) answer knowledge-intensive questions from retrieved evidence, but adapting a general-purpose RAG system to a specialized domain such as medicine is difficult when only an unlabeled corpus is available. Self-training approaches such as SimRAG address this by letting the LLM write its own question-answer pairs from domain passages and fine-tuning on the pairs that survive a round-trip consistency filter. We observe that these approaches treat every retained example identically: they never ask whether the student already knows the answer, already extracts it correctly from the retrieved context, or fails - and if so, whether the failure lies with the reader or with the retriever. To tackle this, we propose TriageRAG, a failure-aware self-training approach that probes the student on each self-generated question with and without retrieved context, triages it into one of four categories (known, solved, context-failure, retrieval-failure), and routes each category to the training signal that addresses it, including a parametric route that teaches the reader to answer when retrieval misses. Probing is cheap and repeated every round, so the training mixture follows the student, and the triage histogram doubles as a label-free diagnostic of where the domain gap lies. Experiments on 11 datasets spanning three domains with a Qwen3-4B backbone, and on CS-Bench with Qwen3-8B, demonstrate that TriageRAG outperforms a budget-matched SimRAG by 1.2-6.4 points and is the only method that recovers the closed-book level in every case where retrieval hurts the base model. A single ablation identifies the mechanism: round-trip filtering removes every training context that lacks the evidence, and a reader that never sees such contexts learns to over-trust noisy retrieval.
- Abstract（参考訳）: Retrieval-augmented Generation (RAG) は、検索された証拠から知識集約的な質問に大規模言語モデル(LLM)が答えることを可能にするが、未ラベルコーパスのみが利用可能である場合、医学などの専門領域に汎用RAGシステムを適用することは困難である。
SimRAGのような自己学習アプローチは、LLMがドメインパスから独自の問合せペアを作成させ、ラウンドトリップ整合フィルタを生き残るペアを微調整することで、この問題に対処する。
これらのアプローチは、すべての保持された例を同一に扱う:彼らは、学生が既に答えを知っているかどうかを問うことなく、検索した文脈からそれを正しく抽出するか、失敗するかを問う。
そこで本研究では,自己生成された各質問に対して,自己生成された質問を検索せずに調査し,それを4つのカテゴリ(既知,解決,コンテキスト障害,検索障害)の1つに分類し,各カテゴリを学習信号にルーティングし,検索ミス時に回答するように指示するパラメトリック経路を含む,障害認識型自己学習手法であるTriageRAGを提案する。
探索は安価で、各ラウンドごとに繰り返されるので、訓練混合物は学生に追随し、トリアージヒストグラムはドメインギャップがどこにあるかのラベルのない診断として2倍になる。
Qwen3-4Bのバックボーンを持つ3つのドメインにまたがる11のデータセットの実験と、CS-BenchのQwen3-8Bの実験では、TriageRAGが予算に適合したSimRAGを1.2-6.4ポイント上回っており、検索がベースモデルを傷つけるすべてのケースにおいて、クローズドブックレベルを回復する唯一の方法である。
ラウンドトリップフィルタリングはエビデンスを欠いたすべてのトレーニングコンテキストを排除し、そのようなコンテキストを決して見ることのない読者は、過度に信頼できないノイズ検索を学ぶ。
関連論文リスト
- GuardRAG: A Post-Retrieval Defense against Poisoning Attacks in Retrieval-Augmented Generation [33.11940326188609]
GuardRAGは、回収された証拠のセマンティック構造を利用して、不審な文書群を識別する。
クエリの関連性、クラスタサイズ、セマンティックなコンパクト性に基づいて、不審なクラスタをスコアし、プーンする。
論文 参考訳（メタデータ） (2026-10-26T09:17:29Z) - CHSR-RRF: A curriculum-gated hybrid retrieval framework with reciprocal rank fusion and leakage-aware benchmarking for educational RAG [0.0]
学校設定では、間違った主題、レベル、または検査の文脈から来た場合、パスは関係するが不適切である。
本稿では,メタデータの制約を適用したカリキュラム付きハイブリッド検索フレームワークCHSR-RRFについて述べる。
論文 参考訳（メタデータ） (2026-07-14T04:50:17Z) - Detecting Hallucinations in Retrieval-Augmented Generation through Grounding-Aware Sensitivity by Perturbation (GASP) [1.827510863075184]
Grounding-Aware Sensitivity by Perturbation (GASP) は、抽出された証拠にどれだけ強く依存するかによって、各回答文をスコアするスパンレベル検出器である。
GASPは、完全なコンテキスト下で修正され、コンテキストなしで再スコアされ、各チャンクが削除された後、ログライクなドロップとJensen-Shannonの発散を測定する。
2つのモデルファミリーの3つのインストラクションチューニングスコアを用いた3つのベンチマーク(RAGTruth, TofuEval, RAGBench)でGASPを評価する。
論文 参考訳（メタデータ） (2026-07-05T10:35:30Z) - Auditing Forgetting in Limited Memory Language Models [0.0]
既存の評価は、集合体の削除後の正しさを測定する。
本稿では,モデルが固定され,推論時にデータベースの状態が変化する因果監査フレームワークを提案する。
これを13のデータベースで12,228のエイリアス削除に適用する。
論文 参考訳（メタデータ） (2026-07-01T08:30:28Z) - Rubric-Guided Self-Distillation: Post-Training Without Rubric Verifiers [25.040339775169883]
本研究では,無条件学生の教師として,ルーリックに条件付けされた基本方針が機能する検証不要な学習方法を提案する。
Qwen-2.5 (3B, 7B) と Qwen3-Thinking (4B, 8B) の医療分野におけるモデル全体で、RGSD は審査ベースの RuricO に匹敵する満足度を達成している。
論文 参考訳（メタデータ） (2026-06-10T17:53:19Z) - R$^3$AG: Retriever Routing for Retrieval-Augmented Generation [59.47703698994575]
R$3$AGは、検索機能を2つの学習可能なディメンション、すなわち検索品質と生成ユーティリティに分解する。
R$3$AGは、最高の個々のレトリバーと最先端の静的ルーティングメソッドの両方を一貫して上回っている。
論文 参考訳（メタデータ） (2026-04-22T06:51:20Z) - MARAG-R1: Beyond Single Retriever via Reinforcement-Learned Multi-Tool Agentic Retrieval [50.30107119622642]
大規模言語モデル(LLM)は推論と生成において優れているが、本質的には静的事前学習データによって制限されている。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識に基盤を置くことでこの問題に対処する。
MarAG-R1は、LLMが複数の検索機構を動的に調整できる強化学習型マルチツールRAGフレームワークである。
論文 参考訳（メタデータ） (2025-10-31T15:51:39Z) - R3-RAG: Learning Step-by-Step Reasoning and Retrieval for LLMs via Reinforcement Learning [60.17074283370798]
Retrieval-Augmented Generation (RAG)は、外部知識をLLM(Large Language Models)と統合し、事実の正しさと幻覚を高める。
我々は、 $textbfR$einforcement Learning を用いて LLM に $textbfR$eason と $textbfR$etrieve を段階的に学習させる $textbfR3-RAG$ を提案する。
論文 参考訳（メタデータ） (2025-05-26T12:25:37Z) - Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。
RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。
批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。
AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
論文 参考訳（メタデータ） (2025-04-21T04:56:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。