論文の概要: Regime-Aware Peer Specialization for Robust RAG under Heterogeneous Knowledge Conflicts
- arxiv url: http://arxiv.org/abs/2606.30518v1
- Date: Mon, 29 Jun 2026 16:25:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:16.329349
- Title: Regime-Aware Peer Specialization for Robust RAG under Heterogeneous Knowledge Conflicts
- Title(参考訳): 不均質な知識紛争下でのロバストRAGのためのレジーム対応ピアスペシャライゼーション
- Abstract要約: 我々は、レシシック・アウェアのピア・スペシャライゼーション・フレームワークであるRAPS-DAを提案する。
サンプルレベルでは、紛争はグラウンド、仲裁、レジスタンスの3つの体制に分けられる。
トークンレベルでは、二重層セレクタは、教師間不一致、生徒間分岐、および学生エントロピーを用いて、非形式的または不安定なトークンをフィルタリングする。
- 参考スコア(独自算出の注目度): 46.1469246256932
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Retrieval-augmented generation (RAG) improves language models by grounding generation in external context. However, it can be fragile when the retrieved context conflicts with the model's parametric knowledge. Such conflicts span a reliability spectrum, ranging from reliable and partially reliable evidence to adversarial context. Existing remedies often handle such heterogeneous conflicts with regime-agnostic supervision, which can conflate incompatible learning signals across reliability regimes. To disentangle these signals, we propose RAPS-DA, a regime-aware peer specialization framework that addresses conflict at two complementary granularities. At the sample level, conflicts are divided into three regimes, including Grounding, Arbitration, and Resistance, with one same-scale peer specialist trained per regime from a shared base model. Each sample is then hard-routed to its regime-matched peer for on-policy reverse-KL supervision. At the token level, a dual-layer selector uses inter-teacher disagreement, student-teacher divergence, and student entropy to filter uninformative or unstable tokens, upweight confidently misaligned ones, and gradually focus supervision on high-conflict tokens as the student matures. Gains stem from specialization at a fixed model scale, not from a stronger teacher, and the peer specialists exist only during training, so the deployed student requires no regime labels or peer access. Experiments on five conflict scenarios and two out-of-distribution benchmarks show RAPS-DA surpasses all prompting, decoding, fine-tuning, RL, and single-teacher baselines.
- Abstract(参考訳): Retrieval-augmented Generation (RAG) は、言語モデルを改善する。
しかし、取得したコンテキストがモデルのパラメトリック知識と矛盾する場合は、脆弱である可能性がある。
このような対立は、信頼性と部分的に信頼性のある証拠から敵の文脈まで、信頼性のスペクトルにまたがる。
既存の治療法は、しばしば、体制に依存しない監督との不均一な紛争に対処する。
そこで我々は,2つの相補的な粒度の衝突に対処するレシシック・アウェア・ピア・スペシャライゼーション・フレームワークであるRAPS-DAを提案する。
サンプルレベルでは、紛争はグラウンド、仲裁、レジスタンスの3つの体制に分けられ、同じ規模のピアスペシャリストが共通のベースモデルからトレーニングされている。
それぞれのサンプルは、政治上の逆KL監視のために、体制に整合したピアにハードロートされる。
トークンレベルにおいて、二重層セレクタは、教師間の不一致、生徒と教師の分散、学生のエントロピーを用いて、不定形または不安定なトークンをフィルタリングし、自信的に不一致なトークンをアップウェイトに調整し、学生が成熟するにつれて、ハイコンフリクトトークンに徐々に集中する。
ゲインは、より強い教師からではなく、固定されたモデルスケールでの専門化に由来するため、ピアスペシャリストはトレーニング中にのみ存在するため、デプロイされた学生は、レギュラーラベルやピアアクセスを必要としない。
5つのコンフリクトシナリオと2つのアウト・オブ・ディストリビューションベンチマークの実験では、RAPS-DAがすべてのプロンプト、デコード、微調整、RL、シングルTeacherベースラインを超えたことが示されている。
関連論文リスト
- Purified OPSD: On-Policy Self-Distillation Without Losing How to Think [52.879387744920415]
オンライン自己蒸留(OPSD)は長いチェーン・オブ・ソート(Long-CoT)推論モデルでは一貫して失敗する。
まず,教師が指導信号の非伝達可能成分を分離するために,参照のみの教師を構築する。
第2に、この残差をよく形成されたPMIターゲット分布に変換するメカニズムとして、ポイントワイズ相互情報(PMI)を用いる。
論文 参考訳(メタデータ) (2026-07-02T14:33:07Z) - To Fuse or to Drop? Dual-Path Learning for Resolving Modality Conflicts in Multimodal Emotion Recognition [87.22988227382329]
マルチモーダル感情認識(MER)は、テキスト、音声、視覚を組み合わせることで恩恵を受けるが、標準的な融合は、モダリティが相反する場合に失敗することが多い。
我々は,いつフューズするか,いつモダリティを落とすのかを学習する統合フレームワークであるDual-Path Conflict Resolution (DCR)を提案する。
論文 参考訳(メタデータ) (2026-05-06T13:11:33Z) - Diagnosing Knowledge Conflict in Multimodal Long-Chain Reasoning [78.86309644343295]
長い連鎖推論におけるマルチモーダルな大言語モデル(MLLM)は、異なる知識源が矛盾する信号を提供するときにしばしば失敗する。
我々は、これらの失敗を知識の衝突という統一概念の下で形式化し、入力レベルの客観的衝突とプロセスレベルの効果的な衝突を区別する。
本研究は,知識衝突下でのマルチモーダル推論のメカニズムを考察し,長CoT障害の診断と制御を可能にする。
論文 参考訳(メタデータ) (2026-02-16T07:10:44Z) - "The Whole Is Greater Than the Sum of Its Parts": A Compatibility-Aware Multi-Teacher CoT Distillation Framework [16.96094045628127]
CoT(Chain-of-Thought)推論は、大きな言語モデル(LLM)に優れた能力を与えるが、通常は禁止的なパラメータスケールを必要とする。
CoT蒸留は、推論技術をコンパクトな学生モデル(SLM)に伝達するための有望なパラダイムとして登場した。
我々は,教師の勾配を動的に重み付けすることで,教師の指導を適応的に融合させるフレームワークCompactを紹介する。
論文 参考訳(メタデータ) (2026-01-20T14:05:19Z) - When in Doubt, Deliberate: Confidence-Based Routing to Expert Debate for Sexism Detection [7.299050989302629]
我々は,(i)低表現,(ii)雑音,(iii)データおよびモデル予測における概念的あいまいさの複合効果に対処する枠組みを提案する。
提案手法では,タスク EXIST 2025 タスク 1.1 では F1 が +2.72% 改善され,EDOS A と B では +4.48% と +1.30% が得られた。
論文 参考訳(メタデータ) (2025-12-21T05:48:57Z) - Targeting Misalignment: A Conflict-Aware Framework for Reward-Model-based LLM Alignment [5.900494456937422]
逆モデルに基づく微調整は、大規模言語モデルと人間の嗜好の整合における中心的なパラダイムである。
本稿では,その微調整過程を知識統合の一形態として扱うことにより,このような不整合を識別・緩和する新たな枠組みについて検討する。
論文 参考訳(メタデータ) (2025-12-10T00:52:21Z) - Debiased Dual-Invariant Defense for Adversarially Robust Person Re-Identification [52.63017280231648]
人物再識別(ReID)は、歩行者軌道追跡などの現実の多くの応用において、基本的な課題である。
Person ReIDモデルは、歩行者画像に対する知覚不能な摂動が完全に誤った予測を引き起こすような、敵の攻撃に非常に敏感である。
本稿では,2つの相からなる二重不変防衛フレームワークを提案する。
論文 参考訳(メタデータ) (2025-11-13T03:56:40Z) - GuardFed: A Trustworthy Federated Learning Framework Against Dual-Facet Attacks [56.983319121358555]
フェデレートラーニング(FL)は、プライバシ保護のための協調モデルトレーニングを可能にするが、敵の行動に弱いままである。
本稿では,予測精度とグループフェアネスを同時に損なう新たな脅威モデルであるデュアル顔攻撃(DFA)を紹介する。
本稿では,少量のクリーンサーバデータを用いて,公正な参照モデルを維持する自己適応型防衛フレームワークであるGuardFedを提案する。
論文 参考訳(メタデータ) (2025-11-12T13:02:45Z) - TRiCo: Triadic Game-Theoretic Co-Training for Robust Semi-Supervised Learning [15.638836465479619]
TRiCoは、半教師付き学習の構造を再考する、三進的ゲーム理論の共同学習フレームワークである。
既存のSSLフレームワークにおける重要な制限に対処することによって、TRiCoは原則付き、一般化可能なソリューションを提供する。
論文 参考訳(メタデータ) (2025-09-25T20:10:41Z) - Provable Unrestricted Adversarial Training without Compromise with Generalizability [44.02361569894942]
敵の攻撃から守るための最も有望な戦略として、敵の訓練(AT)が広く考えられている。
既存のAT法は、標準的な一般化性を犠牲にして、しばしば敵の強靭性を達成している。
我々はProvable Unrestricted Adversarial Training (PUAT)と呼ばれる新しいATアプローチを提案する。
論文 参考訳(メタデータ) (2023-01-22T07:45:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。