論文の概要: Prompt Breadth and Rollout Refresh Interact in On-Policy Distillation

• arxiv url: http://arxiv.org/abs/2609.25048v1
• Date: Sun, 06 Sep 2026 06:54:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.842033
• Title: Prompt Breadth and Rollout Refresh Interact in On-Policy Distillation
• Title（参考訳）: オンライン蒸留におけるプロンプトブレンドとロールアウトリフレッシュの相互作用
• Abstract要約: 3x3の数学的推論実験は、プロンプトバンクとレスポンス生成ポリシースナップショットの数を変えながら、14,080の軌道と110の更新を修正した。 10枚のスナップショットで、8つのプロンプトは平均24.09%の精度に達し、14,080個のプロンプトでは24.51%に近い。 しかし、最初の方針で応答が凍結されたことにより、幅の精度が21.16%から19.05%に向上し、更新1回の更新では23.61%から25.57%に向上した。
• 参考スコア（独自算出の注目度）: 2.7022397857971048
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How many prompts does on-policy distillation (OPD) need, and how does the answer depend on the student policies that generate its training responses? We study these two controls jointly: prompt breadth and rollout refresh. A 3x3 mathematical-reasoning experiment fixes 14,080 trajectories and 110 optimizer updates while varying the prompt bank and the number of response-generating policy snapshots. With ten snapshots, eight prompts reach 24.09% average accuracy, close to 24.51% for 14,080 distinct prompts. With responses frozen at the initial policy, however, increasing breadth lowers accuracy from 21.16% to 19.05%; under per-update refresh, it raises accuracy from 23.61% to 25.57%. The resulting interaction is 4.07 percentage points, with a 95% question-paired interval of [2.00, 6.28]. Matched comparisons under two teachers reveal a second reversal: the periodic models have higher short-budget accuracy and answer completion, but frozen-response models overtake in average accuracy at a 32K output limit, using 1.7-1.8x as many response tokens. These results show that prompt efficiency in OPD can depend on both refresh and inference budget.
• Abstract（参考訳）: オンライン蒸留 (OPD) には,どの程度のプロンプトが必要か。 これら2つのコントロールを共同で検討する。 3x3の数学的推論実験では14,080のトラジェクトリと110のオプティマイザが更新され、プロンプトバンクとレスポンス生成ポリシースナップショットの数も変化する。 10枚のスナップショットで、8つのプロンプトは平均24.09%の精度に達し、14,080個のプロンプトでは24.51%に近い。 しかし、最初の方針で反応が凍結すると、幅が広くなると精度が21.16%から19.05%に低下し、更新1回の更新では23.61%から25.57%に上昇する。 その結果得られる相互作用は4.07ポイントであり、95%の問合せ間隔は[2.00, 6.28]である。 周期モデルは短予算の精度と解答完了率が高いが、凍結応答モデルは応答トークンの1.7-1.8倍を用いて32Kの出力限界で平均精度を上回っている。 これらの結果から,OPDの迅速な効率性は,リフレッシュと推論の両方の予算に依存する可能性が示唆された。

関連論文リスト

• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Data-free On-policy Distillation [49.537587070291444]
  オンライン蒸留(OPD)は、フロンティア・ポストトレーニングパイプラインの標準コンポーネントとなっている。 しかし、そのトレーニングデータが実際にどれだけ貢献するかは、ほとんど検討されていない。 我々はこのことをtextbfData-free On-policy Distillation (DF-OPD) で制限する。 DF-OPDは実際のデータと一致し、さらにそのデータを生成する質問は、教師自身のポストトレーニングデータを追跡する。
  論文  参考訳（メタデータ） (2026-09-12T23:51:35Z)
• Same Agent, Different Answers: A Repeat-Aware Audit of Corpus-Induced Answer Churn in Retrieval-Augmented QA [0.4351760066527804]
  検索強化されたQAシステムは、要求されたモデル識別子、プロンプト、検索ポリシー、エビデンス深さ、レンダリング、露出した生成制御が固定された場合でも、インデックス展開後に異なる回答を返すことができる。 我々は、隠れた現象の正確さを正解とみなし、クロスショットの相違から反則を減じて過剰な解答を推定するemphSnapshot Compatibility Auditを導入する。
  論文  参考訳（メタデータ） (2026-08-24T06:40:09Z)
• CODS: Iterative Bellman-Residual Data Selection for Reusable Offline Reinforcement Learning [5.894992157122175]
  我々は,アルゴリズムに適合した批評家の適合と高レジデンシャル・トランジションの獲得を交互に行う,批評家誘導のセレクタであるCODSを紹介する。 10%の予算で、CODSは20の有効なD4RLタスク-アルゴリズム細胞に対して96.6%の許容プール性能を維持している。
  論文  参考訳（メタデータ） (2026-08-07T19:11:54Z)
• Beyond the Final Prompt: Measuring the Effect of Within-Conversation Context on AI Answers [0.0]
  管理された商用コーパスと公開PRISMデータセットからサンプリングされた180の英語マルチターン会話に対して、最終ユーザメッセージと要求された回答モデル定数を保持する。 1つはロールラベリングされた会話から、もう1つは最終メッセージから、もう1つは最終メッセージから、もう1つはプレフィックスのみの再構築で160語に制限された。 許容コホートに対する逆確率重み付けの後、完全な会話と孤立した最終回答は44.7%のケースで実質的に異なる。
  論文  参考訳（メタデータ） (2026-08-03T17:40:46Z)
• Zone of Proximal Policy Optimization: Teacher in Prompts, Not Gradients [89.89504265663057]
  近親政策最適化ゾーン(ZPPO)は、ヴィゴツキーの近親開発ゾーンに触発されたものである。 ZPPOは1つの正しい教師の反応と1つの間違った学生の反応を、生徒が識別しなければならない匿名候補としてペアリングする。 プロンプト再生バッファは、生徒の平均ロールアウト精度が半分に達するか、FIFOが削除されるまで、各難問を再循環する。
  論文  参考訳（メタデータ） (2026-06-16T17:46:02Z)
• BatchPrompt: Accomplish more with less [9.204837699571788]
  BatchPromptはトークン制限内でデータをバッチする効率的な方法である。 効率を保ち、性能損失を克服するために、バッチの置換と組立を提案する。 これは、大規模言語モデルの高速化を技術的に改善する最初の試みである。
  論文  参考訳（メタデータ） (2023-09-01T10:44:36Z)
• Improving Auto-Augment via Augmentation-Wise Weight Sharing [123.71986174280741]
  自動拡張検索の重要な要素は、特定の拡張ポリシーの評価プロセスである。 本稿では,モデルの強化トレーニングのダイナミクスについて検討する。 我々は,Augmentation-Wise Weight Sharing (AWS)に基づいて,高速かつ高精度な評価プロセスを構築するために,強力で効率的なプロキシタスクを設計する。
  論文  参考訳（メタデータ） (2020-09-30T15:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。