論文の概要: SeOPD: Self-Evolving LLMs via Online Policy Distillation from Self-Generated Chain-of-Thought

• arxiv url: http://arxiv.org/abs/2609.33181v1
• Date: Sun, 27 Sep 2026 04:00:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 02:29:16.883099
• Title: SeOPD: Self-Evolving LLMs via Online Policy Distillation from Self-Generated Chain-of-Thought
• Title（参考訳）: SeOPD: 自己生成型チェイン・オブ・サートからのオンライン政策蒸留による自己進化型LCM
• Abstract要約: 大規模な言語モデル(LLM)は、マニュアルアノテーションや外部環境からのフィードバックなど、外部特権情報(PI)を活用することで、その能力を改善することができる。 本稿では,自己進化型オンライン政策蒸留(SeOPD)を提案する。
• 参考スコア（独自算出の注目度）: 35.74132298885395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in online policy self-distillation (OPSD) have demonstrated that large language models (LLMs) can improve their capabilities by leveraging external privileged information (PI), such as manual annotations or feedback from external environments. However, obtaining accurate annotations and constructing sophisticated environments often require substantial human effort and computation, limiting the scalability of OPSD. While a few recent studies have explored self-improvement without external PI, the resulting gains remain limited. In this work, we explore whether LLMs can achieve comparable self-improvement without external PI. Our key observation is that a single LLM can support multiple reasoning modes, such as deep-thinking and non-thinking modes, with deep thinking generating additional information during reasoning. Based on this observation, we propose Self-Evolving Online Policy Distillation (SeOPD), which enables LLMs to distill and internalize information generated by their own chain of thought (CoT). Specifically, it (1) generates CoT with the deep-thinking mode, (2) produces responses with the non-thinking mode, and (3) uses the generated CoT as PI to provide token-level supervision for the non-thinking response, allowing new information inferred during reasoning to guide the non-thinking mode and be internalized into the shared model parameters, thereby improving both non-thinking and deep-thinking capabilities. Extensive experiments across LLMs and tasks demonstrate the effectiveness of SeOPD.
• Abstract（参考訳）: オンライン政策自己蒸留(OPSD)の最近の進歩は、大規模な言語モデル(LLM)が、マニュアルアノテーションや外部環境からのフィードバックなどの外部特権情報(PI)を活用することで、その能力を向上させることを実証している。 しかし、正確なアノテーションを取得し、洗練された環境を構築するには、OPSDのスケーラビリティを制限し、かなりの人的労力と計算が必要となることが多い。 最近のいくつかの研究では、外部PIを使わずに自己改善が検討されているが、結果として得られる利益は限られている。 本研究では,LLMが外部PIを使わずに同等の自己改善を達成できるかどうかを考察する。 我々のキーとなる観察は、1つのLCMが深い思考や非思考といった複数の推論モードをサポートでき、深い思考が推論の間に追加情報を生成することである。 本研究では,自己進化型オンライン政策蒸留(SeOPD, Self-Evolving Online Policy Distillation)を提案する。 具体的には、(1)深い思考モードでCoTを生成し、(2)非思考モードで応答を生成し、(3)生成したCoTをPIとして、非思考応答に対するトークンレベルの監視を提供し、推論中に推論された新しい情報を非思考モードでガイドし、共有モデルパラメータに内在化することにより、非思考モードと深い思考機能の両方を改善する。 LLMとタスクにわたる大規模な実験は、SeOPDの有効性を実証している。

関連論文リスト

• Self-Improving Large Language Models via Progressive Experience Evolution [52.03479747358687]
  textbfSPEE(textbfSelf-textbfProgressive textbfExperience textbfEvolution)を提案する。 5つの数学的推論ベンチマークの実験は、SPEEが3つのモデルスケールでテスト時間とトレーニング時間の両方の自己進化ベースラインを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-08-03T12:27:32Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• Reinforcing Thinking through Reasoning-Enhanced Reward Models [6.636512424910708]
  大規模言語モデル(LLM)は、推論時思考による複雑な多段階推論において大きな可能性を秘めている。 LLMは、知識境界に対する自己認識が限られているため、いつ思考をやめるかを決めるのに苦労する。 この研究は、LLM自身の推論プロセスを合成行動データに蒸留することで、これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-12-31T04:50:15Z)
• Self-Training with Direct Preference Optimization Improves Chain-of-Thought Reasoning [5.487210426671288]
  本研究では,小規模LMの推論能力が自己学習によって向上できることを実証する。 また、従来の自己学習は、直接選好最適化(Direct Preference Optimization)と呼ばれる選好学習アルゴリズムによってさらに強化できることを示す。
  論文  参考訳（メタデータ） (2024-07-25T17:59:16Z)
• SELF: Self-Evolution with Language Feedback [68.6673019284853]
  SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。 LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。 数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
  論文  参考訳（メタデータ） (2023-10-01T00:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。