論文の概要: SpikeOPD: Stable On-Policy Distillation for Autoregressive Spiking Language Models

• arxiv url: http://arxiv.org/abs/2608.27857v1
• Date: Fri, 28 Aug 2026 03:05:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.187016
• Title: SpikeOPD: Stable On-Policy Distillation for Autoregressive Spiking Language Models
• Title（参考訳）: SpikeOPD: 自己回帰型スパイク言語モデルのための安定なオンポリシィ蒸留
• Abstract要約: スパイキングニューラルネットワーク(SNN)は、スパースエンコーディングとイベント駆動計算によるエネルギー効率の高い言語モデリングへの道を提供する。 既存のマイグレーションアプローチは固定されたコーパスプレフィックスを蒸留するが、自己生成プレフィックスの自己回帰推論条件はプレフィックスソースミスマッチを生成する。 本研究では,自己生成プレフィックスから学習し,安定性を維持しながら学習する自己回帰SNNのための安定なオンライン蒸留フレームワークであるSpikeOPDを提案する。
• 参考スコア（独自算出の注目度）: 20.042917849171115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Spiking neural networks (SNNs) offer a path to energy-efficient language modeling through sparse encoding and event-driven computation, but training capable spiking language models from scratch remains difficult. A practical alternative is ANN-to-SNN migration through knowledge distillation (KD), where a pretrained artificial neural network (ANN) teacher supervises an SNN student. Existing migration approaches distill on fixed corpus prefixes, whereas autoregressive inference conditions on self-generated prefixes, creating prefix-source mismatch. It manifests as output-policy mismatch with the ANN teacher and internal spiking-dynamics drift between self-generated and matched corpus prefixes. On-policy distillation (OPD) offers a natural way to mitigate both manifestations by continuing teacher supervision on self-generated prefixes. We evaluate a teacher-only full-KL variant, Vanilla OPD, via a controlled stress test and observe it may suffer from delayed rollout-feedback collapse. This result shows that on-policy coverage alone does not ensure stable adaptation. Motivated by these findings, we propose SpikeOPD, a stable on-policy distillation framework for autoregressive SNNs that learns from self-generated prefixes while maintaining rollout stability. It applies full-KL teacher correction to reduce output-policy mismatch, while matched-prefix policy anchoring constrains policy departure from the frozen reference SNN on the same prefixes. Layerwise spike regularization further limits firing-rate deviations during on-policy adaptation. Across three model scales, SpikeOPD improves average accuracy over the corresponding KD SNNs by 0.8, 1.7, and 2.9 points at 0.125B, 0.35B, and 1.3B, respectively, while preserving their sparse-compute profiles.
• Abstract（参考訳）: スパイクニューラルネットワーク(SNN)は、スパースエンコーディングとイベント駆動型計算を通じて、エネルギー効率の高い言語モデリングへの道を提供するが、スクラッチから言語モデルをスパイクする訓練は難しいままである。 実践的な代替手段として、知識蒸留(KD)を通したANN-to-SNNマイグレーションがあり、そこでは、事前訓練された人工知能ニューラルネットワーク(ANN)教師がSNN学生を監督する。 既存のマイグレーションアプローチは固定されたコーパスプレフィックスを蒸留するが、自己生成プレフィックスの自己回帰推論条件はプレフィックスソースミスマッチを生成する。 ANNの教師とアウトプット・ポリティクスのミスマッチや、自己生成したコーパスプレフィックスとマッチしたコーパスプレフィックスの間の内部スパイキング・ダイナミックスドリフトとして現れる。 オンライン蒸留(OPD)は、自己生成した接頭辞に対する教師の監督を継続することにより、両方の表現を緩和する自然な方法を提供する。 教師のみのフルKL変種であるVanilla OPDを, 制御ストレステストにより評価し, ロールアウト・フィードバック崩壊の遅れに悩まされることを観察した。 この結果から, 政治面のカバレッジだけでは, 安定した適応が得られていないことが示唆された。 これらの知見により, 自己生成プレフィックスから学習し, ロールアウト安定性を維持しつつ, 安定な自己回帰SNN蒸留フレームワークであるSpikeOPDを提案する。 フルKLの教師補正を適用して出力とポリティクスのミスマッチを減らすと同時に、同じプレフィックス上の凍結参照SNNからポリシーを逸脱する制約にマッチした事前修正ポリシーを適用する。 階層的なスパイク規則化は、オン・ポリティクス・アダプション時の発射速度のずれをさらに制限する。 3つのモデルスケールで、SpikeOPDは、スパース計算プロファイルを保持しながら、対応するKD SNNの0.8、1.7、および2.9ポイントをそれぞれ0.125B、0.35B、および1.3Bで改善する。

関連論文リスト

• Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher [36.07614733558147]
  フローマッチングモデルのための教師なしOPDフレームワークである textbfSelf-OPD を紹介する。 Self-OPDは決定論的次状態予測を$K$SDE候補に分割し、ODEサンプルとロールアウトして、決定論的自己参照ベースラインと比較する。 単品と混合報酬のベンチマーク実験により、セルフOPDはタスク固有の教師を伴わずに、以前のRLとOPDメソッドよりも優れていた。
  論文  参考訳（メタデータ） (2026-08-27T09:34:23Z)
• WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
  WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。 アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。 凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
  論文  参考訳（メタデータ） (2026-08-10T11:22:53Z)
• OPTD: On-Policy Transition Distillation with Consistency-Guided Adaptive Compression for Few-Step Diffusion Language Models [39.15861870749305]
  OPTD, On-Policy Transition Distillation with consistency-guided Adaptive compression。 これは、数段階の学生自身の軌跡から部分的な状態をサンプリングし、凍結した質問のみの教師を使用して結果に整合した将来の候補者を特定し、現状の信頼でそれらを注文する。 品質効率のトレードオフを継続的に改善し、評価された数ステップのベースラインの中で、全体的な品質に制約のあるAUPを最強に達成します。
  論文  参考訳（メタデータ） (2026-08-03T23:09:43Z)
• dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
  拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。 監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-07-05T17:47:29Z)
• Trajectory-Refined Distillation [25.346810464266497]
  トラジェクトリ精製蒸留(Trjectory-Refined Distillation, TRD)は、教師指導下で生徒のロールアウトをオンライン支援中に修正するトラジェクトリレベルの補正法である。 TRDは、特権情報に規定された学生モデルを教師として使用するパラメータ共有型である、オンライン自己蒸留(OPSD)にも適用することができる。
  論文  参考訳（メタデータ） (2026-06-07T03:17:25Z)
• Self-Distilled Policy Gradient [51.95967256628261]
  都市の自己蒸留は、スパース・リワード強化学習のための密集した監督源として有望である。 SDPGは,グループ相対検証の利点と正規化標準偏差を組み合わせた,自己蒸留型政策段階のフレームワークである。
  論文  参考訳（メタデータ） (2026-06-02T02:31:13Z)
• Not All Timesteps Matter Equally: Selective Alignment Knowledge Distillation for Spiking Neural Networks [7.80484674264907]
  スパイキングニューラルネットワーク(SNN)は高エネルギー効率を実現する。 SNNと人工ニューラルネットワーク(ANN)のパフォーマンスギャップは依然として残っている。 知識蒸留(KD)は一般的にSNNの性能を向上させるために用いられる。 クラスレベルの知識と時間的知識を選択的に整合させるセレクティブアライメント知識蒸留(SeAl-KD)を提案する。
  論文  参考訳（メタデータ） (2026-05-14T01:39:14Z)
• Prune-OPD: Efficient and Reliable On-Policy Distillation for Long-Horizon Reasoning [66.52232008796294]
  Prune-OPDはトレーニング予算と監督品質を動的に調整する。 トレーニング時間を37.6%減らし-68.0%削減すると同時に、しばしば改善され、挑戦的なベンチマークのパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2026-05-08T14:38:53Z)
• Hindsight-Anchored Policy Optimization: Turning Failure into Feedback in Sparse Reward Settings [7.554296968064274]
  検証リワード(RLVR)を用いた強化学習のための階層型ポリシー最適化(HAPO)を提案する。 HAPOは、障害時に教師のデモンストレーションに最適化を選択的にアンカーする、後ろ向きのメカニズムを採用している。 HAPOは,政策改善に伴う教師の信号のアニールを自然に行うことで,非バイアスのオン・ポリティクス勾配を回復する。
  論文  参考訳（メタデータ） (2026-03-11T21:33:41Z)
• Training Language Models to Self-Correct via Reinforcement Learning [98.35197671595343]
  自己補正は、現代の大規模言語モデル(LLM)では、ほとんど効果がないことが判明した。 完全自己生成データを用いたLLMの自己補正能力を大幅に向上させるマルチターンオンライン強化学習手法であるSCoReを開発した。 SCoReは最先端の自己補正性能を実現し,MATHとHumanEvalでそれぞれ15.6%,9.1%向上した。
  論文  参考訳（メタデータ） (2024-09-19T17:16:21Z)
• SPIDE: A Purely Spike-based Method for Training Feedback Spiking Neural Networks [56.35403810762512]
  イベントベースの計算を伴うスパイキングニューラルネットワーク(SNN)は、ニューロモルフィックハードウェアにおけるエネルギー効率の高い応用のために、脳にインスパイアされたモデルを約束している。 本研究では,最近提案されたトレーニング手法を拡張した平衡状態(SPIDE)に対するスパイクに基づく暗黙差分法について検討した。
  論文  参考訳（メタデータ） (2023-02-01T04:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。