論文の概要: Incentivizing Self-Learning in Large Language Models via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2610.39671v1
• Date: Thu, 29 Oct 2026 09:21:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 23:00:03.948332
• Title: Incentivizing Self-Learning in Large Language Models via Reinforcement Learning
• Title（参考訳）: 強化学習による大規模言語モデルにおける自己学習のインセンティブ
• Abstract要約: 不慣れなドメインにおける問題解決は、密結合した知識獲得と推論を要求する。 自己学習(Self-learning) — 自律的に検索し,研究し,かつ,フライ時の長文参照資料から知識を適用します。 我々は,この人間に触発された学習プロセスをサポートし,強化学習による自己学習を促進するためのBookNavigatorインタフェースを導入する。
• 参考スコア（独自算出の注目度）: 43.48406461852571
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) draw on parametric knowledge and retrieval-augmented generation (RAG) to solve knowledge-intensive tasks. Yet problem solving in unfamiliar domains calls for tightly coupled knowledge acquisition and reasoning, beyond factual retrieval and aggregation or learning solely from a preassembled context. We study self-learning -- autonomously retrieving, studying, and applying knowledge from long-form reference materials on the fly. To investigate this capability, we formulate a textbook-based mathematical problem-solving task. LLMs must navigate textbook exposition, learn and apply relevant principles, and construct proofs for exercises, with reference solutions withheld. We introduce a BookNavigator interface to support this human-inspired study process and incentivize self-learning through reinforcement learning (RL) with fine-grained rewards. Experiments show that our method improves performance across in-domain and out-of-domain textbooks and subjects, raising Intern-S2-Preview-35B's overall proof accuracy from 51.5% to 79.5% and outperforming RL-trained textbook-free and fixed-retrieval baselines. These gains extend to complex long-context benchmarks involving different task types, with improvements over the base model of 1.7 and 2.3 percentage points on BrowseComp-Plus and CL-bench, respectively. Together, these findings suggest that RL can foster a domain-agnostic self-learning strategy, highlighting the potential of self-learning from long-form corpora to strengthen broader problem-solving capabilities on complex, long-context tasks.
• Abstract（参考訳）: 大規模言語モデル (LLM) は、知識集約的な課題を解決するためにパラメトリックな知識と検索強化世代 (RAG) に基づく。 しかし、馴染みの無いドメインにおける問題解決は、事実の検索や集約、あるいは事前組立てされたコンテキストからのみ学習という、密結合した知識獲得と推論を要求する。 自己学習(Self-learning) — 自律的に検索し,研究し,かつ,フライ時の長文参照資料から知識を適用します。 そこで本研究では,教科書に基づく数学的問題解決タスクを定式化する。 LLMは教科書の展示をナビゲートし、関連する原則を学習し、適用し、演習の証明を構築する必要がある。 本研究では,この人間に触発された学習プロセスを支援するためのBookNavigatorインタフェースを導入し,より詳細な報酬で強化学習(RL)による自己学習のインセンティブを得る。 Intern-S2-Preview-35Bの総合的証明精度は51.5%から79.5%に向上し、RL学習した教科書や定型検索ベースラインよりも優れていた。 これらの利得は、BrowseComp-PlusとCL-benchのベースモデルである1.7と2.3%の改善とともに、異なるタスクタイプを含む複雑な長期コンテキストベンチマークにまで拡張されている。 これらの結果は、RLがドメインに依存しない自己学習戦略を育むことを示唆し、ロングフォームコーパスからの自己学習の可能性を強調し、複雑なコンテキストタスクにおけるより広範な問題解決能力を強化することを示唆している。

関連論文リスト

• Decouple to Generalize: Context-First Self-Evolving Learning for Data-Scarce Vision-Language Reasoning [41.523848964102]
  最近の視覚言語モデル(VLM)は強化学習(RL)を通して顕著な推論を実現する RLは、経験の時代に連続的に進化する大規模視覚言語モデル(LVLM)を実現するための実現可能なソリューションを提供する。 合成データや自己回帰機構といった既存の戦略は、限られた分布とアライメントの困難に悩まされている。 問題解決ではなく,まず文脈から学習するようにモデルに誘導する,二重分離フレームワークDoGeを提案する。
  論文  参考訳（メタデータ） (2025-12-07T13:17:31Z)
• Search-R3: Unifying Reasoning and Embedding Generation in Large Language Models [11.39711340224126]
  Search-R3は、Large Language Modelsを適用して、彼らの推論プロセスの直接出力として検索埋め込みを生成する新しいフレームワークである。 我々のアプローチはLLMのチェーン・オブ・シント機能を利用しており、複雑な意味解析を通じてステップ・バイ・ステップを推論することでより効果的な埋め込みを実現できる。
  論文  参考訳（メタデータ） (2025-10-08T14:16:20Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Learning to Reason at the Frontier of Learnability [2.2136561577994858]
  現在、強化学習は大規模言語モデルトレーニングの最終段階として広く採用されている。 私たちは、多くの質問が、すべての試み(つまり、既に学習されている)によって解決されるか、まったく解決されないかを示す。 そこで本研究では,LLM学習の強化学習段階において,強化学習文献(学習可能性のためのサンプリング)から手法を適用した。 我々のカリキュラムは、高い成功のばらつき、すなわちエージェントが成功することもあるが、必ずしも成功しない質問を優先している。
  論文  参考訳（メタデータ） (2025-02-17T19:16:37Z)
• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [73.34893326181046]
  本稿では,効率的なモデル適応によりRAGシステムを強化する自己教師型フレームワークKBAlignを提案する。 私たちのキーとなる洞察は、2つの革新的なメカニズムを通じて、モデルの本質的な能力を知識の整合性に活用することです。 KBAlign は GPT-4 による適応によって得られる性能向上の90%を達成できることを示した。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。