論文の概要: Domain-Routed Delta Optimization for Multi-Teacher On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2611.13249v2
- Date: Thu, 12 Nov 2026 17:38:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.899419
- Title: Domain-Routed Delta Optimization for Multi-Teacher On-Policy Distillation
- Title(参考訳): マルチ教師オンポリティー蒸留におけるドメイン制御デルタ最適化
- Abstract要約: DRD-MOPDは、専門家が訓練可能なデルタで凍結したベースを構成する。
共同トレーニングの後、Post-Separateはベースに1つのトレーニングされたドメインをエクスポートする。
- 参考スコア(独自算出の注目度): 0.6916773850242582
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-teacher on-policy distillation can yield uneven domain capabilities. We propose Domain-Routed Delta Optimization (DRD-MOPD), composing a frozen base with expert-initialized trainable deltas. Domains update their deltas with independent optimizer states and clipping. After joint training, Post-separate exports the base plus one trained delta per domain, selected by known task domain without retraining. Using AdamW, the unweighted full student reaches 32.83% Macro across six benchmarks after 20 updates, versus 32.21% for a matched shared control. Post-separate raises Macro with Open-MOPD weighting.
- Abstract(参考訳): マルチティーチンガー・オン・ポリシー蒸留は、不均一なドメイン能力をもたらす可能性がある。
専門的な初期化訓練可能なデルタで凍結したベースを構成するドメイン制御デルタ最適化(DRD-MOPD)を提案する。
ドメインは、独立のオプティマイザステートとクリップでデルタを更新する。
共同トレーニングの後、Post-Separateはベースに加えて、既知のタスクドメインによって選択された1つのトレーニングされたデルタを、再トレーニングせずにエクスポートする。
AdamWでは、20回の更新後に6つのベンチマークで32.83%のマクロに到達し、マッチした共有制御では32.21%となった。
ポストセパレートはオープンMOPD重み付けでマクロを上昇させる。
関連論文リスト
- Spectral Rank and Step-Direction Dynamics in Language-Model Post-Training [0.0]
言語モデルポストトレーニングは累積更新と逐次変位によって重みを変更する。
これらの観察は互換性があり、トレーニング中の更新方向を特徴付ける。
論文 参考訳(メタデータ) (2026-11-09T01:43:20Z) - Turing LLM Post-Training: Calibrated Distillation and Efficient Dynamic-MoE Execution [48.87945011066967]
本研究では, 動的経路混合(MoE)モデルのポストトレーニングについて検討し, コンソリデーション効率を維持しつつ, 独立的に最適化されたスペシャリストの統合に着目した。
提案手法は,教師が選択したTop-$K$サポートと教師の損失正規化とクリッピングを併用した校正型多目的蒸留(C-MOPD)と,ポストキャパシティ境界幅ディスパッチ,終局リプレイ,非同期ロールアウト-トレーニングオーバーラップを用いた実行パスを組み合わせたものである。
論文 参考訳(メタデータ) (2026-10-29T11:52:20Z) - Zhengrong-Spatial-Aware 1.0: Advancing 3D Multimodal Intelligence [9.744286407704905]
最初のパイプラインファインチューンHiSpatial-3Bは、計量スケールの3DポイントマップでRGB観測を強化する。
2つ目は、Qwen3-VLをメモリ効率のよいQLoRAベースの微調整により適応させる。
論文 参考訳(メタデータ) (2026-10-27T13:28:34Z) - Pumpire: Unified Benchmark for Metric Distance Estimation [54.236396473728696]
Pumpireは、画像とビデオの両方の3D基礎モデルの計測点対距離推定能力を評価するためのベンチマークである。
代表的な3D基礎モデルの29のベースライン構成について広範な実験を行った。
論文 参考訳(メタデータ) (2026-10-08T17:55:11Z) - From Gradients to Capabilities: Understanding Multi-Teacher On-Policy Distillation [23.62452389223026]
同じ学生からRLを訓練した4人のドメイン教師を対象にQwen3-1.7Bについて検討した。
いくつかの要因が教師の信号に影響を及ぼすことがわかった。
論文 参考訳(メタデータ) (2026-10-01T17:57:44Z) - PixelDense: Dense Prediction as Representation Alignment for Pixel Diffusion [61.73827573364792]
表現アライメント(REPA)は拡散トランスフォーマートレーニングを加速させる。
最近の分析では、アライメント効果の担体として、大域的な意味論ではなく空間構造が指摘されている。
我々は,DINOv2とSAM2をセマンティックプロジェクションストリームでルーティングするPixelDenseを導入し,Depth Anything v2とMetric3D v2を幾何学的プロジェクションストリームでルーティングする。
論文 参考訳(メタデータ) (2026-09-30T18:00:13Z) - Distribution-Conditioned Task Routing for Class-Incremental Learning [78.62212417481155]
クラスインクリメンタル推論では、各入力をすべてのクラスに分類する必要がある。
これは、破滅的な忘れ物を超えた、重要なタスクルーティングの課題をもたらす。
学習者を再訓練したり、個別に訓練されたルータを導入することなく、ホック後のタスクルーティングについて検討する。
論文 参考訳(メタデータ) (2026-09-28T07:48:15Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳(メタデータ) (2026-06-29T06:39:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。