論文の概要: On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models

• arxiv url: http://arxiv.org/abs/2610.32770v1
• Date: Fri, 23 Oct 2026 15:12:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.591661
• Title: On-Policy Self-Training: Data-Free Self-Improvement in Large Language Models
• Title（参考訳）: オンライン型自己学習:大規模言語モデルにおけるデータフリーな自己改善
• Abstract要約: 我々は、自己学習の枠組みとして、自己生成された質問応答対と特権的推論の実証によって、自己学習の枠組みを再構築する。 完全合成特権情報による自己蒸留により、モデルが複数のドメインにまたがって改善し、自己学習されていないドメインにその能力を保持できることがわかった。
• 参考スコア（独自算出の注目度）: 54.94660912791559
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: On-policy self-distillation enables post-training foundation models without relying on stronger external teachers. However, existing approaches rely on ground-truth question-answer pairs, human-curated problem sets, or other supervised signals. In this work, we reformulate on-policy self-distillation as a self-training framework, driven by self-generated question-answer pairs and privileged reasoning demonstrations. We push supervision to the limit: guided solely by coarse, high-level topic descriptions, the model synthesizes its own curriculum of queries and privileged reasoning traces without access to any human-curated prompts or answers. We find that self-distillation on fully synthetic privileged information enables a model to improve across multiple domains while retaining its capabilities on domains it is not self-trained on. We demonstrate the generality of this framework across text and multimodal domains, achieving consistent self-improvement on standard language benchmarks and Visual Question Answering. Our findings demonstrate that foundation models possess rich latent capabilities that can be amplified without external task supervision or curated problem distributions.
• Abstract（参考訳）: オンラインの自己蒸留は、外部教師に頼らずに、基礎モデルの訓練後モデルを可能にする。 しかし、既存のアプローチは、真真正な質問応答ペア、人間の計算された問題セット、その他の教師付き信号に依存している。 本研究では, 自己学習の枠組みとして, 自己学習型質問応答対と特権的推論の実証によって, 自己学習の枠組みを再構築する。 厳密で高レベルのトピック記述のみによってガイドされ、このモデルは、人間が計算したプロンプトや回答にアクセスせずに、クエリと特権的推論トレースの独自のカリキュラムを合成する。 完全合成特権情報による自己蒸留により、モデルが複数のドメインにまたがって改善し、自己学習されていないドメインにその能力を保持できることがわかった。 テキストとマルチモーダルドメインにまたがるこのフレームワークの汎用性を実証し、標準言語ベンチマークとVisual Question Answeringで一貫した自己改善を実現した。 本研究により, 基礎モデルには, 外部タスクの監督や計算済み問題分布を伴わずに, 増幅可能な潜在能力が豊富にあることが示唆された。

関連論文リスト

• UniEvo-VL: An On-policy Self-Distillation Training Recipe for Multimodal Model Self-improvement [86.70117588532374]
  建設的自己補正フィードバックから学習するマルチモーダルモデルのための自己進化フレームワークUniEvo-VLを紹介する。 実験により、UniEvo-VLはマルチモーダルモデルの画像生成能力を向上することが示された。
  論文  参考訳（メタデータ） (2026-09-30T00:54:09Z)
• Beyond Verified Answers: Solver-Informed Self-Distillation for Bootstrapping Operations Research Language Models [12.289065714096262]
  大規模言語モデルは、自然言語記述を操作研究(OR)の定式化に変換することができる。 訓練は通常、人間の専門家やより強力なモデルによって検証された合成定式化に依存している。 そこで我々は,SOLID:SOLIDを提案する。SOLID:SOLID:SOLID:SOLID:SOLID:SOLID:SOLID-Artifact feedback generated by their rollouts, makes self-distillation is practical, evaluator-free source of dense supervision。
  論文  参考訳（メタデータ） (2026-09-09T09:46:45Z)
• Counterfactual Self-Questioning for Stable Policy Optimization in Language Models [0.0]
  本稿では,一つの言語モデルが自己推論の反現実的批判を生成・評価するフレームワークである反現実的自問法を提案する。 複数の数学的推論ベンチマークの実験は、特により小さなモデルにおいて、反実的な自己探究によって精度と訓練安定性が向上することを示している。
  論文  参考訳（メタデータ） (2025-12-31T09:10:37Z)
• Self-Consistency as a Free Lunch: Reducing Hallucinations in Vision-Language Models via Self-Reflection [71.8243083897721]
  視覚言語モデルは、しばしば詳細を幻覚させ、既存のオブジェクトを生成するか、出力信頼性を損なう不正確な属性を生成する。 本稿では、長文応答と短文応答の自己整合性を利用して、学習のための選好ペアを生成する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-27T10:37:11Z)
• Can Large Reasoning Models Self-Train? [51.0277533541394]
  多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。 この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。 しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
  論文  参考訳（メタデータ） (2025-05-27T17:16:00Z)
• RLSR: Reinforcement Learning from Self Reward [0.0]
  大規模な言語モデルでは,参照解を使わずに自己判断によって効果的に自己改善できることを示す。 実験により, モデルが真理の答えを得られずに, 信頼性の高い報奨信号を提供できることを示した。 この作業は、自己指向学習を通じて継続的に改善される自律型AIシステムに向けた重要なステップである。
  論文  参考訳（メタデータ） (2025-05-12T23:51:04Z)
• Generalising from Self-Produced Data: Model Training Beyond Human Constraints [0.0]
  本稿では,AIモデルが新たな知識を自律的に生成し,検証する新しい枠組みを提案する。 このアプローチの中心は、人間のベンチマークを必要とせずに学習をガイドする、無制限で使い捨ての数値報酬である。
  論文  参考訳（メタデータ） (2025-04-07T03:48:02Z)
• SELF: Self-Evolution with Language Feedback [68.6673019284853]
  SELF(Self-Evolution with Language Feedback)は、大規模言語モデルを進化させる新しいアプローチである。 LLMは、人間の学習プロセスと同様、自己回帰を通じて自己改善を可能にする。 数学および一般タスクにおける実験により,SELFは人間の介入なしにLLMの能力を高めることができることが示された。
  論文  参考訳（メタデータ） (2023-10-01T00:52:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。