論文の概要: Janus-MOPD: Tracing the Student Learning Dynamics in Multi-Teacher On-Policy Distillation
- arxiv url: http://arxiv.org/abs/2611.15341v1
- Date: Wed, 11 Nov 2026 11:20:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.111411
- Title: Janus-MOPD: Tracing the Student Learning Dynamics in Multi-Teacher On-Policy Distillation
- Title(参考訳): Janus-MOPD:マルチ教師のオンライン蒸留における学習ダイナミクスの追跡
- Abstract要約: マルチティーチンガー・オン・ポリシィ蒸留(MOPD)は,ポストトレーニングプロセスにおいて重要な役割を担っている。
本稿では,学生の時間的,空間的両面におけるマルチドメイン機能の内部性能に着目した。
- 参考スコア(独自算出の注目度): 25.908065619101876
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multi-domain capabilities are critical for practically applicable Large Reasoning Models (LRMs). Therefore, Multi-teacher On-Policy Distillation (MOPD) has become a crucial part of the post-training process, integrating the capabilities of multiple domain-specific teacher models into a single student model. However, the student usually fails to acquire multi-domain capabilities simultaneously due to undesirable domain heterogeneity. Existing works have address this problem in view of temporal uneven efficiency and spatial hard allocation in external multi-teacher supervision. While in broader multi-domain training, varying degrees of performance degradation is still largely unexplained. In this paper, we shift the focus on how the student learns and integrates multi-domain capabilities internally, and then propose \textbf{\textsc{Janus-MOPD}}, a general learning dynamics framework of geometric representations for LRMs. Specifically, our main focus is on the internal performance of multi-domain capabilities on both temporal and spatial dimensions within the student. Temporally, our study shows that the student exhibits a Expansion-Consolidation-Optimization (ECO) three-phase learning dynamics, together with inherent limitations in learning efficiency and scaling. Spatially, we summarize two types of subspace locking within and across domains by tracing the representation space of the student, while explaining its clear learning directions but inherent cross-domain conflict. Therefore, \textsc{Janus-MOPD} yields a unified learning dynamics formulation, a geometric tracing methodology, and systematic findings of how the student learns and integrates multi-domain capabilities. Overall, we provide a \textsc{Janus} perspective to internally trace the continual evolution of the multi-domain capabilities within the model itself.
- Abstract(参考訳): マルチドメイン機能は、実際に適用可能なLarge Reasoning Model(LRM)にとって重要な機能である。
そのため、マルチ教師オンポリシィ蒸留(MOPD)は、複数のドメイン固有の教師モデルの能力を単一学生モデルに統合し、ポストトレーニングプロセスの重要な部分となっている。
しかし、学生は通常、望ましくないドメインの不均一性のために、同時に複数のドメイン機能を取得することに失敗する。
既存の研究は、外部マルチ教師監督における時間的不均一効率と空間的ハードアロケーションの観点から、この問題に対処している。
より広範なマルチドメイントレーニングでは、パフォーマンス劣化の程度は、まだほとんど説明されていない。
本稿では、学生がマルチドメイン機能の内部でどのように学習し、統合するかに焦点を移し、次に LRM の幾何学的表現の一般学習動的フレームワークである \textbf{\textsc{Janus-MOPD}} を提案する。
具体的には,学生の時間的,空間的両面におけるマルチドメイン機能の内部性能に着目した。
時折,本研究は,学習効率とスケーリングに固有の制約とともに,3相学習の3相学習ダイナミクス(ECO)を示すことを示した。
空間的には、学生の表現空間をトレースし、2種類のサブスペースロックを要約し、その明確な学習方向を説明するとともに、ドメイン間の競合を本質的に説明する。
したがって、‘textsc{Janus-MOPD} は、統一的な学習力学の定式化、幾何学的トレーシング手法、および学生がマルチドメイン機能を学び統合する方法の体系的な発見をもたらす。
全体として、モデル自体におけるマルチドメイン機能の継続的な進化を内部的にトレースするために、 \textsc{Janus} の視点を提供する。
関連論文リスト
- Continual Adaptation Across Modalities: Learning and Forgetting in Unified Multimodal Models [79.97413021087091]
統一マルチモーダルモデル(UMM)は単一のフレームワーク内で様々なモダリティを処理および生成することができる。
アーキテクチャ設計と適応手法がモーダル内学習と、生成側と理解側との相互干渉をどのように形成するかを検討する。
論文 参考訳(メタデータ) (2026-10-28T08:19:03Z) - DyMRL: Dynamic Multispace Representation Learning for Multimodal Event Forecasting in Knowledge Graph [15.450478774839324]
マルチモーダル時間的知識を効率的に獲得・融合する動的マルチスペース表現学習手法であるDyMRLを提案する。
我々はDyMRLが動的一乗法や静的多乗法よりも優れていることを示す。
論文 参考訳(メタデータ) (2026-03-25T09:45:16Z) - Foundation Model for Skeleton-Based Human Action Understanding [56.89025287217221]
本稿では,統一骨格に基づくDense Representation Learningフレームワークを提案する。
USDRLはトランスフォーマーベースのDense Spatio-Temporal (DSTE)、Multi-Grained Feature Deorrelation (MG-FD)、Multi-Perspective Consistency Training (MPCT)で構成されている。
論文 参考訳(メタデータ) (2025-08-18T02:42:16Z) - UniSTD: Towards Unified Spatio-Temporal Learning across Diverse Disciplines [64.84631333071728]
本稿では,時間的モデリングのためのトランスフォーマーベースの統合フレームワークであるbfUnistageを紹介する。
我々の研究は、タスク固有の視覚テキストが時間学習のための一般化可能なモデルを構築することができることを示した。
また、時間的ダイナミクスを明示的に組み込むための時間的モジュールも導入する。
論文 参考訳(メタデータ) (2025-03-26T17:33:23Z) - Contrastive Representation Distillation via Multi-Scale Feature Decoupling [2.0401874889991887]
グローバルな特徴をマルチスケールな局所的特徴に体系的に分離する,モデルに依存しない蒸留フレームワークであるMSDCRDを提案する。
総合的な実験により,MSDCRDは同質な教師・学生設定だけでなく,異種アーキテクチャでも優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2025-02-09T10:03:18Z) - UniTime: A Language-Empowered Unified Model for Cross-Domain Time Series
Forecasting [59.11817101030137]
この研究はドメイン境界を超越する統一モデルパラダイムを提唱する。
効果的なクロスドメインモデルを学ぶことは、以下の課題を提示します。
効果的なドメイン間時系列学習のためのUniTimeを提案する。
論文 参考訳(メタデータ) (2023-10-15T06:30:22Z) - Multi-Domain Learning From Insufficient Annotations [26.83058974786833]
マルチドメイン学習とは、異なるドメインから収集されたデータセット上にモデルまたはモデルのセットを同時に構築することを指す。
本稿では,アノテーション不足の影響を軽減するために,マルチドメインコントラスト学習という新しい手法を提案する。
5つのデータセットにわたる実験結果から、MDCLは様々なSPモデルに対して顕著な改善をもたらすことが示された。
論文 参考訳(メタデータ) (2023-05-04T11:50:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。