論文の概要: OCC-RAG: Optimal Cognitive Core for Faithful Question Answering
- arxiv url: http://arxiv.org/abs/2606.00683v1
- Date: Sat, 30 May 2026 11:42:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-02 21:34:28.591427
- Title: OCC-RAG: Optimal Cognitive Core for Faithful Question Answering
- Title（参考訳）: OCC-RAG: 質問応答のための最適認知コア
- Abstract要約: 提案するOCC-RAGは, 与えられた文脈に根ざした忠実な質問応答に最適化されている。
OCC-RAGを訓練するために,マルチコンテキスト,マルチホップQAデータを大規模に合成するための新しいパイプラインを実装した。
コンパクトなタスク特化SLMは汎用モデル2-6倍の大きさでマルチホップ推論できることを示す。
- 参考スコア（独自算出の注目度）: 35.96158909525057
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent progress in the development of language models has been defined by scale, with each generation absorbing more of the world's knowledge into its weights. However, many practical applications benefit more from robust reasoning than from extensive parametric knowledge. In this setting, task-specialized small language models (SLMs) offer a principled design choice. We introduce Optimal Cognitive Core (OCC), a family of SLMs built around this premise. As a variant of OCC, we present OCC-RAG, optimized for faithful question answering (QA) grounded in the provided context. This task directly aligns with the OCC design approach, requiring multi-hop reasoning over supplied passages while ignoring memorized knowledge. To train OCC-RAG, we implement a novel pipeline for synthesizing multi-context, multi-hop QA data at scale, producing a corpus of over three million examples targeting multi-hop reasoning, strict context faithfulness, and calibrated abstention. We release OCC-RAG-0.6B and OCC-RAG-1.7B, both mid-trained on this corpus. The models produce structured reasoning traces with source citations grounded in literal quotes from the context. Through OCC-RAG, we demonstrate that compact, task-specialized SLMs can match or exceed general-purpose models 2 -- 6x their size across multi-hop reasoning (HotpotQA, MuSiQue, TAT-QA), faithfulness (ConFiQA), and refusal (MuSiQue-Un) benchmarks.
- Abstract（参考訳）: 言語モデルの開発における最近の進歩は、それぞれの世代が世界の知識をその重みに吸収することで、規模によって定義されている。
しかし、多くの実用的な応用は、広範なパラメトリック知識よりも頑健な推論の恩恵を受ける。
この設定では、タスク特化小言語モデル (SLM) は原則的な設計選択を提供する。
この前提に基づいて構築されたSLMのファミリーであるOCC(Optimal Cognitive Core)を紹介する。
OCCの変種として,提案した文脈に基づく忠実質問応答(QA)に最適化されたOCC-RAGを提案する。
このタスクはOCCの設計手法と直接的に一致し、記憶された知識を無視しながら供給されたパスに対してマルチホップ推論を必要とする。
OCC-RAGを訓練するために、我々は、マルチコンテキスト、マルチホップQAデータを大規模に合成するための新しいパイプラインを実装し、マルチホップ推論、厳密なコンテキスト忠実度、キャリブレーションされた禁忌を対象とする300万以上のサンプルのコーパスを生成する。
我々はOCC-RAG-0.6BとOCC-RAG-1.7Bをこのコーパスの中間訓練でリリースする。
モデルは、コンテキストから文字通り引用されたソースの引用で構造化された推論トレースを生成する。
OCC-RAGにより、コンパクトなタスク特化SLMが汎用モデル2～6倍の大きさのマルチホップ推論(HotpotQA, MuSiQue, TAT-QA)、忠実度(ConFiQA)、拒絶率(MuSiQue-Un)のベンチマークで一致または超えることを示した。
関連論文リスト
- KG-Reasoner: A Reinforced Model for End-to-End Multi-Hop Knowledge Graph Reasoning [9.329800077564673]
KG-Reasonerは、マルチステップ推論をReasoning LLMの統一された「思考」フェーズに統合するエンドツーエンドフレームワークである。
8つのマルチホップおよび知識集約推論ベンチマークの実験は、KG-Reasonerが競争力または優れた性能を達成することを示す。
論文 参考訳（メタデータ） (2026-04-14T09:14:21Z) - KG-Hopper: Empowering Compact Open LLMs with Knowledge Graph Reasoning via Reinforcement Learning [9.329800077564673]
大きな言語モデル(LLM)は、印象的な自然言語能力を示すが、知識集約的な推論タスクにしばしば苦労する。
KG-Hopperは,マルチホップKG推論を行う機能を備えた,コンパクトなオープンLLMを実現する,新しい強化学習フレームワークである。
我々は、KG-Hopperがより大規模なマルチステップシステム(最大70B)を一貫して上回り、プロプライエタリモデルとの競合性能を達成することを示す。
論文 参考訳（メタデータ） (2026-03-22T23:07:29Z) - KBQA-R1: Reinforcing Large Language Models for Knowledge Base Question Answering [64.62317305868264]
テキスト模倣から強化学習によるインタラクション最適化へパラダイムをシフトするフレームワークである textbfKBQA-R1 を提案する。
KBQAを多ターン決定プロセスとして扱うことで,行動のリストを用いて知識ベースをナビゲートすることを学ぶ。
WebQSP、GrailQA、GraphQuestionsの実験では、KBQA-R1が最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-12-10T17:45:42Z) - Think Parallax: Solving Multi-Hop Problems via Multi-View Knowledge-Graph-Based Retrieval-Augmented Generation [2.8890464940342873]
大きな言語モデル(LLM)は言語理解に優れるが、幻覚とマルチホップ推論との闘いがしばしばある。
ParallaxRAGは,クエリとグラフトリプルを対称的に多重ビュー空間に分解するフレームワークである。
本結果は,知識に基づくマルチホップ推論の原則的方向性として,多視点頭部の特殊化に注目した。
論文 参考訳（メタデータ） (2025-10-17T11:34:27Z) - LENS: Learning to Segment Anything with Unified Reinforced Reasoning [38.582392908238866]
LENSは拡張性のある強化学習フレームワークで、推論プロセスとセグメンテーションをエンドツーエンドで共同で最適化する。
LENSはRefCOCO、RefCOCO+、RefCOCOgのベンチマークで平均81.2%のcIoUを達成し、GLaMMという強力な微調整法を最大5.6%上回っている。
論文 参考訳（メタデータ） (2025-08-19T17:59:53Z) - Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。
具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。
また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
論文 参考訳（メタデータ） (2025-05-30T15:42:19Z) - When Disagreements Elicit Robustness: Investigating Self-Repair Capabilities under LLM Multi-Agent Disagreements [56.29265568399648]
我々は、不一致が早期のコンセンサスを防ぎ、探索されたソリューション空間を拡張することを主張する。
タスククリティカルなステップの相違は、ソリューションパスのトポロジによってコラボレーションを損なう可能性がある。
論文 参考訳（メタデータ） (2025-02-21T02:24:43Z) - AtomR: Atomic Operator-Empowered Large Language Models for Heterogeneous Knowledge Reasoning [49.24235059299745]
我々は、原子レベルで正確な異種知識推論を行うための大規模な言語モデルのためのフレームワークAtomRを紹介する。
AtomRは複雑な質問を、各葉ノードが原子知識演算子に対応する推論木に分解する。
推論実行段階では、AtomRは各原子知識演算子を実行し、弾力的に異種源から原子レベルの知識を選択し、取得し、操作する。
論文 参考訳（メタデータ） (2024-11-25T15:35:51Z) - MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [98.18244218156492]
大規模言語モデル(LLM)は、非常に高度な自然言語処理を持つ。
アプリケーションがマルチエージェント環境に拡大するにつれて、包括的な評価フレームワークの必要性が生じる。
この研究は、マルチエージェント設定内でLLMを評価するための新しい競合ベースのベンチマークフレームワークを導入している。
論文 参考訳（メタデータ） (2023-11-14T21:46:27Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳（メタデータ） (2023-10-09T07:27:15Z) - CAR: Conceptualization-Augmented Reasoner for Zero-Shot Commonsense
Question Answering [56.592385613002584]
ゼロショットコモンセンス質問応答の課題に対処するために,概念化強化推論器(CAR)を提案する。
CARは、CommonSenseの知識を多くの高レベルなインスタンスに抽象化し、CommonSenseの知識ベースの範囲を拡大する。
CARは、既存のメソッドよりも、ゼロショットのコモンセンスシナリオに関する質問に答えることにより、より堅牢に一般化する。
論文 参考訳（メタデータ） (2023-05-24T08:21:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。