論文の概要: Training with Harnesses: On-Policy Harness Self-Distillation for Complex Reasoning

• arxiv url: http://arxiv.org/abs/2605.08741v1
• Date: Sat, 09 May 2026 07:06:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.852503
• Title: Training with Harnesses: On-Policy Harness Self-Distillation for Complex Reasoning
• Title（参考訳）: ハーネスによるトレーニング:複合推論のためのオン・ポリシィ・ハーネス自己蒸留
• Abstract要約: インタイムハーネスは複雑な推論タスクにおいて大きな言語モデルを大幅に改善する。 emphOn-Policy Harness Self-Distillation (OPHSD)を紹介する。 OPHSDは、タスク固有のハーネス機能を学生モデルに内包する。
• 参考スコア（独自算出の注目度）: 8.33682726719781
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inference-time harnesses substantially improve large language models on complex reasoning tasks. However, the intrinsic capabilities of the underlying model remain unchanged by the addition of these external workflows. To bridge this gap, we introduce \emph{On-Policy Harness Self-Distillation} (OPHSD), which employs the harness-augmented current model as a teacher for self-distillation, thereby introducing extra supervisory signals from the harness beyond training data. OPHSD internalizes task-specific harness capabilities into the student model, yielding robust generalizability and strong standalone performance across diverse reasoning tasks. Evaluated across draft--verify harness for text classification and plan--solve for mathematical reasoning tasks, OPHSD consistently outperforms strong baselines (e.g., +10.83\% over OPSD on HMMT25). Our analysis further indicates that reattaching the harness during inference yields no additional benefits and can even degrade performance, suggesting that complex harnesses need not always be permanent fixtures; instead, they can serve as temporary training scaffolds whose benefits are permanently fed back into the base model. Our code and training data are available at https://github.com/zzy1127/OPHSD-On-Policy-Harness-Self-Distillation.
• Abstract（参考訳）: 推論時ハーネスは複雑な推論タスクにおいて大きな言語モデルを大幅に改善する。 しかし、これらの外部ワークフローを追加することで、基礎となるモデルの本質的な能力は変わらない。 このギャップを埋めるために, ハーネス強化電流モデルを教師として用い, トレーニングデータ以外のハーネスからの余分な監視信号を導入する「emph{On-Policy Harness Self-Distillation}」(OPHSD)を導入する。 OPHSDは、タスク固有のハーネス機能を学生モデルに内包し、様々な推論タスクに対して堅牢な一般化性と強力なスタンドアロンパフォーマンスをもたらす。 OPHSDは、テキスト分類と計画のための検証ハーネスで評価され、数学的推論タスクにおいて、一貫して強いベースライン(HMMT25上のOPSDよりも+10.83\%)を上回ります。 さらに, 提案手法は, 提案手法を組み込むと, さらなる利点が得られず, 性能が低下する可能性があり, 複雑なハーネスが必ずしも恒久的なフィクスチャである必要はなく, 代わりに, 基礎モデルに恒久的にフィードバックされる仮設のトレーニング足場として機能することが示唆された。 コードとトレーニングデータはhttps://github.com/zzy1127/OPHSD-On-Policy-Harness-Self-Distillationで公開されています。

関連論文リスト

• ARISE-RL: Agentic Rubric-Grounded Iterative Self-Evolution with Reinforcement Learning [74.19730275669227]
  ARISE-RLは、オープンエンドエージェントをトレーニングするための新しいフルサイクルの自己進化フレームワークである。 Reward-Gated Self-Evolution Distillation (RG-SED)を提案する。 ECR-Benchは,シングルツールディープリサーチとマルチツールトラベルプランニングを対象とする,専門家校正型ルーリックベンチマークスイートである。
  論文  参考訳（メタデータ） (2026-09-01T10:54:13Z)
• Harness Continual Learning: Continual Adaptation Beyond Model Parameters [9.54786133734043]
  我々は、凍結基盤モデルを中心にハーネスが進化する新しい連続学習パラダイムを定式化する。 候補者は、現在の改善、履歴保持、有効性を確認した後にのみハーネスをコミットする。 実験では、複数の設定で対応するベースラインに対して、相対的なゲインが10%を超える能力の蓄積と障害回復が示されている。
  論文  参考訳（メタデータ） (2026-08-19T15:12:31Z)
• Self-Evolving Embodied Agents via Skill-Harness Evolution [53.307052568223945]
  身体的エージェントは、ファンデーションモデルを中心としたシステムとして、ますます構築されている。 教師付き微調整と強化学習はエージェントを新しい環境に適応させることができるが、追加のデータ、報酬、トレーニングの実行が必要である。 SHAPERは,モデルパラメータの凍結を保ちつつ,列車不要な態様適応のための自己進化型フレームワークである。
  論文  参考訳（メタデータ） (2026-08-11T18:55:58Z)
• Why Does Feedback-Augmented Self-Distillation Fail to Improve Retrieval-Interleaved Search Agents? [28.21326355616294]
  エージェント検索のための自己蒸留アルゴリズムであるFA-SDをインスタンス化する。 モデルが反復的推論と探索の出力テンプレートに頼り、多様に見えるが入力問題に大きく依存しない軌跡を生成することを確認した。 自己学習者はより優れた成績を収めるが,非一貫性な指導信号により学習は本質的に不安定であることを示す。
  論文  参考訳（メタデータ） (2026-07-20T05:07:22Z)
• Recursive Harness Self-Improvement [28.432258880153125]
  モデル-ハーネス共進化の下では、ハーネスはデータ生成コンポーネントであり、実行トレースは将来の基礎モデルを形成することができる。 本稿では,エージェントループのプロンプトレベル仕様としてハーネスを表現したRecursive Harness Self-Improvement (RHI)を紹介する。 RHIは、自身のリビジョン履歴に対してペアのフィードバックを使って、反復的にそれを洗練します。
  論文  参考訳（メタデータ） (2026-07-17T00:21:19Z)
• Denser $\ eq$ Better: Limits of On-Policy Self-Distillation for Continual Post-Training [44.59915053122529]
  継続的なポストトレーニングにより、ファンデーションモデルは既存の能力を保ちながら新しい知識を得ることができる。 最近の研究は、政治的学習が忘れを軽減し、特に魅力的なアプローチとして、政治的自己蒸留が出現していることを示唆している。 実験の結果、SDPOは教師の信号が安定して整合性が高い場合にドメイン内特殊化を加速できるが、配布外シナリオへの一般化に苦慮している。
  論文  参考訳（メタデータ） (2026-07-02T06:24:30Z)
• Harness Updating Is Not Harness Benefit: Disentangling Evolution Capabilities in Self-Evolving LLM Agents [82.27610290890475]
  i) ハーネス更新、(i) 実行証拠から有用な永続的ハーネス更新を生成する能力、(ii) ハーネスベネフィット、タスク解決時に更新されたハーネスの恩恵を受ける能力の2つのハーネス自己進化能力を分析した。 まず、ハーネス更新は基本能力において平坦である:異なる能力階層のモデルがハーネス更新を生成し、驚くほど類似したゲインをもたらす。 第二に、ハーネスベネフィットは基本能力において単調ではない:弱い層モデルは更新されたハーネスからほとんど恩恵を受けず、中層モデルは最も恩恵を受け、強い層モデルは中層より利益が低い。
  論文  参考訳（メタデータ） (2026-05-28T22:16:14Z)
• SEIF: Self-Evolving Reinforcement Learning for Instruction Following [53.280277743734096]
  大規模言語モデル(LLM)の指示追従能力を高める自己進化型フレームワークSEIFを提案する。 SEIFは閉じた自己進化ループを形成し、モデルの命令追従能力を改善する。 複数のモデルスケールとアーキテクチャの実験により、SEIFは命令追従性能を一貫して改善し、強い汎用性を示唆している。
  論文  参考訳（メタデータ） (2026-05-08T09:13:12Z)
• UniSD: Towards a Unified Self-Distillation Framework for Large Language Models [38.12407816591177]
  自己蒸留は、より強力な外部教師に頼ることなく、大きな言語モデル(LLM)を適用するための有望な道を提供する。 既存の手法は、主に独立した設計選択を検証し、その効果、役割、相互作用がはっきりしないままである。 自己蒸留を体系的に研究する統合フレームワークUniSDを提案する。
  論文  参考訳（メタデータ） (2026-05-07T17:22:11Z)
• LEGATO: Good Identity Unlearning Is Continuous [30.78585550012454]
  LEGATOは、生成モデルのアイデンティティを忘れることを学ぶための機械学習手法である。 最先端の忘れパフォーマンスを実現し、破滅的な崩壊を回避し、微調整されたパラメータを減らす。 実験の結果,LEGATOは最先端の忘れ物性能を実現し,破滅的な崩壊を回避し,微調整パラメータを低減できることがわかった。
  論文  参考訳（メタデータ） (2026-01-07T13:15:25Z)
• HINT: Helping Ineffective Rollouts Navigate Towards Effectiveness [49.72591739116668]
  強化学習(RL)は、大規模言語モデル(LLM)の長いチェーン・オブ・シント(CoT)推論能力を高めるための重要な要因となっている。 しかし、GRPOのような一般的な手法は、タスクの難しさがモデルの能力を超えると失敗し、スパーシリティと非効率なトレーニングに報いる。 我々は、適応的なヒントフレームワークであるHINT: Helping In Effective Rollouts Navigate Towards Effectiveを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:42:03Z)
• Balancing Expressivity and Robustness: Constrained Rational Activations for Reinforcement Learning [9.120944934920141]
  強化学習と継続学習の両方において、訓練可能な合理的なアクティベーションについて検討する。 我々の主な成果は、合理的なアクティベーションにおける表現性と可塑性のトレードオフを示すことである。 本研究は, 動的非定常環境におけるロバストかつトレーニング可能なアクティベーションに対して, 実用的な設計原理を提供する。
  論文  参考訳（メタデータ） (2025-07-19T19:53:08Z)
• Large Continual Instruction Assistant [59.585544987096974]
  CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。 既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。 本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-08T11:24:59Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• Improving GANs with A Dynamic Discriminator [106.54552336711997]
  我々は、オンザフライで調整可能な判別器は、そのような時間変化に適応できると論じる。 総合的な実証研究により、提案したトレーニング戦略がDynamicDと呼ばれ、追加のコストやトレーニング目標を発生させることなく、合成性能を向上させることが確認された。
  論文  参考訳（メタデータ） (2022-09-20T17:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。