論文の概要: Self-Specialized Teachers for Domain Post-Training

• arxiv url: http://arxiv.org/abs/2608.28647v1
• Date: Sun, 16 Aug 2026 04:32:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-06 19:38:41.465373
• Title: Self-Specialized Teachers for Domain Post-Training
• Title（参考訳）: ドメイン・ポスト・トライニングのための自己専門教員
• Abstract要約: ターゲットのみのポストトレーニングは、適応前に取得した汎用ベースモデルの振る舞いを劣化させながら、特殊なドメインのパフォーマンスを向上させることができる。 本稿では,まず基本モデルのコピーをドメイン教師に訓練し,そのトークン分布を学生自身がサンプリングした接頭辞で学生に蒸留する2段階の方法である,自己特化教師蒸留(SSTD)を提案する。
• 参考スコア（独自算出の注目度）: 13.608947134499173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Target-only post-training can improve performance in a specialized domain while degrading behaviors that a general-purpose base model acquired before adaptation. We study this problem when target-domain data are available but a representative replay corpus is not. We propose self-specialized teacher distillation (SSTD), a two-stage procedure that first trains a copy of the base model into a domain teacher, then distills its token distribution to a student on prefixes sampled from the student itself. Teacher training combines standard target supervision with base-aware key-token weighting and distribution alignment to the frozen base model; on-policy distillation then places domain feedback on states the student can encounter at inference time. On financial numerical reasoning, medical question answering, and legal holding identification, SSTD retains much of the target improvement of direct fine-tuning while improving the mean score on the evaluated general suite by 4.8--5.0 points at the reported operating point. The pattern persists across Qwen3 sizes and on Gemma backbones. SSTD requires neither an external teacher nor general replay data.
• Abstract（参考訳）: ターゲットのみのポストトレーニングは、適応前に取得した汎用ベースモデルの振る舞いを劣化させながら、特殊なドメインのパフォーマンスを向上させることができる。 対象ドメインデータが利用できるが、代表的な再生コーパスが存在しない場合、この問題について検討する。 本稿では,まず基本モデルのコピーをドメイン教師に訓練し,そのトークン分布を学生自身がサンプリングした接頭辞で学生に蒸留する2段階の方法である,自己特化教師蒸留(SSTD)を提案する。 教師のトレーニングは、標準的目標監督と、フリーズベースモデルに対する基本意識のキー・トーケン重み付けと分配アライメントを組み合わせ、オン・ポリシーの蒸留は、学生が推論時に遭遇できる状態にドメインフィードバックを配置する。 SSTDは、財務数値推論、医療質問応答、法定保持識別において、直接微調整の目標改善を多く維持するとともに、報告された運用ポイントの4.8～5.0ポイントの総合スイートの平均スコアを改善している。 このパターンはQwen3サイズとGemmaバックボーンに持続する。 SSTDは外部の教師も一般のリプレイデータも必要としない。

関連論文リスト

• Learning from the Future: Privileged Self-Distillation for Sequential Recommendation [51.993699802866956]
  本稿では,学習時間情報と推論時間情報とを分離するフレームワークを提案する。 Privileged Self-Distillation (PSD)は、学習時間情報を推論時間情報から分離する。 PSDは1つの段階でエンドツーエンドに最適化され、デプロイされたモデルと推論コストは変わらない。
  論文  参考訳（メタデータ） (2026-07-29T15:47:22Z)
• H$^2$SD: Hybrid Hindsight Self-Distillation [61.71131241473028]
  検証可能な報酬付き強化学習(RLVR)は、言語モデル推論のための信頼性の高い結果監視を提供する。 既存の自己蒸留法は特権教師を追加するが、通常は一定の役割を割り当てる。 本稿では,教師のコンテキストに適応し,トラジェクタの正当性を更新するHybrid Hindsight Self-Distillation(MathrmH2mathrmSD$)を紹介する。
  論文  参考訳（メタデータ） (2026-07-21T10:47:27Z)
• Rethinking Reward Supervision: Rubric-Conditioned Self-Distillation [60.55792673956761]
  我々は, ルブリックを構造化, きめ細かいフィードバックとして組み込んだフレームワークであるtextbfRubric-Conditioned Self-Distillationを提案する。 その結果, ルーリック条件の自己蒸留は, ルーリックレベルの基準をトークンレベルのガイダンスに効果的に変換することを示した。
  論文  参考訳（メタデータ） (2026-06-17T17:54:04Z)
• Trajectory-Refined Distillation [25.346810464266497]
  トラジェクトリ精製蒸留(Trjectory-Refined Distillation, TRD)は、教師指導下で生徒のロールアウトをオンライン支援中に修正するトラジェクトリレベルの補正法である。 TRDは、特権情報に規定された学生モデルを教師として使用するパラメータ共有型である、オンライン自己蒸留(OPSD)にも適用することができる。
  論文  参考訳（メタデータ） (2026-06-07T03:17:25Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Preference-Based Self-Distillation: Beyond KL Matching via Reward Regularization [18.027254451537342]
  既存の自己蒸留法は、文脈拡張型教師モデルに向けた学習をKLマッチングに大きく還元する。 textbfPreference-textbfBased textbfSelf-textbfDistillation (textbfPBSD)を提案する。
  論文  参考訳（メタデータ） (2026-05-06T15:31:50Z)
• OD-DETR: Online Distillation for Stabilizing Training of Detection Transformer [14.714768026997534]
  本稿では,オンライン蒸留によるDETRトレーニングの安定化を目的とする。 指数移動平均(EMA)で蓄積した教師モデルを利用する。 実験の結果,提案したOD-DETRはトレーニングの安定化に成功し,パラメータを増やすことなく性能を大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2024-06-09T14:07:35Z)
• Stable Distillation: Regularizing Continued Pre-training for Low-Resource Automatic Speech Recognition [54.9235160379917]
  安定蒸留はSSLベースの継続事前トレーニングのためのシンプルで斬新なアプローチである。 これにより、ラベル付きデータとラベルなしデータの両方が制限されたターゲットドメインでのASRパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-12-20T06:02:12Z)
• Self-Distillation for Further Pre-training of Transformers [83.84227016847096]
  我々は、さらなる事前学習段階の正則化として自己蒸留を提案する。 画像およびテキスト分類タスクのための様々なベンチマークデータセットにおける自己蒸留の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2022-09-30T02:25:12Z)
• Adapting the Mean Teacher for keypoint-based lung registration under geometric domain shifts [75.51482952586773]
  ディープニューラルネットワークは一般的に、ラベル付きトレーニングデータが多く必要であり、トレーニングデータとテストデータの間のドメインシフトに弱い。 本稿では,ラベル付きソースからラベル付きターゲットドメインへのモデルの適用により,画像登録のための幾何学的領域適応手法を提案する。 本手法は,ベースラインモデルの精度を目標データに適合させながら,ベースラインモデルの50%/47%を継続的に改善する。
  論文  参考訳（メタデータ） (2022-07-01T12:16:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。