論文の概要: Preserving General Capabilities during Domain Specialization with Uncertainty-Calibrated MOPD

• arxiv url: http://arxiv.org/abs/2608.26735v1
• Date: Thu, 27 Aug 2026 07:28:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.288112
• Title: Preserving General Capabilities during Domain Specialization with Uncertainty-Calibrated MOPD
• Title（参考訳）: 不確かさ校正MOPDによるドメインスペシャライゼーションにおける一般機能維持
• Abstract要約: 大規模言語モデルを垂直ドメインに特化することは、推論、コーディング、命令追従、創造的記述といった一般的な能力を低下させる。 我々は,本ドメインの一般トレードオフについて,ドメインと一般教師による独自のサンプルトラジェクトリを専門学生が指導するMOPD(Multi-Teacher On-Policy Distillation)で検討する。 ロールプレイングと医療領域の専門化実験により,標準的なMOPDよりも4.73%,10.84%向上した。
• 参考スコア（独自算出の注目度）: 47.82945023225761
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Specializing large language models to vertical domains improves domain-specific behavior but often degrades general capabilities such as reasoning, coding, instruction following, and creative writing. We study this domain--general trade-off in Multi-Teacher On-Policy Distillation (MOPD), where a specialized student is supervised on its own sampled trajectories by domain and general teachers. Standard MOPD faces two limitations: ordinary on-policy sampling rarely exposes tokens with large positive teacher--student advantages, while the advantage sign alone does not establish whether the resulting update direction is reliable. We propose uncertainty-calibrated MOPD to address these limitations. Dual-temperature sampling broadens the candidate trajectory pool, and positive-advantage-density filtering selects trajectories with stronger positive learning signals. Centered log-likelihood (CLL) filtering then computes an entropy-calibrated teacher-endorsement score and probabilistically retains token updates according to direction--endorsement consistency. Experiments on role-playing and medical-domain specialization show that our method improves the general-capability average over standard MOPD by $4.73\%$ and $10.84\%$, respectively, while maintaining vertical-domain performance. Ablations and diagnostic analyses further confirm that the gains do not merely result from a larger rollout budget and that the proposed trajectory- and token-level mechanisms address their intended failure modes.
• Abstract（参考訳）: 大規模言語モデルを垂直ドメインに特化することはドメイン固有の振る舞いを改善するが、推論、コーディング、命令追従、創造的記述といった一般的な能力を低下させることが多い。 我々は,本ドメインの一般トレードオフについて,ドメインと一般教師による独自のサンプルトラジェクトリを専門学生が指導するMOPD(Multi-Teacher On-Policy Distillation)で検討する。 標準MOPDは2つの制限に直面している: 通常のオンラインサンプリングは、大きなポジティブな教師の利点を持つトークンを滅多に露出しない。 これらの制約に対処するために不確実性校正MOPDを提案する。 二重温度サンプリングは、候補の軌道プールを広げ、正のアドバンテージ・密度フィルタリングは、より強い正の学習信号を持つ軌道を選択する。 Centered log-likelihood (CLL) フィルタリングは、エントロピーの校正された教師-教師-教師のスコアを計算し、方向性-教師の一貫性に従ってトークンの更新を確率的に保持する。 ロールプレイングと医療領域の専門化実験により,本手法は,垂直領域の性能を維持しつつ,標準的なMOPDよりも4.73 %,10.84 %の一般能力平均を向上することを示した。 アブレーションと診断分析により、ゲインは単により大きなロールアウト予算の結果ではなく、提案されたトラジェクトリレベルおよびトークンレベルメカニズムが意図した障害モードに対処することを確認する。

関連論文リスト

• Self-OPD: On-Policy Distillation for Flow Matching Models without Teacher [36.07614733558147]
  フローマッチングモデルのための教師なしOPDフレームワークである textbfSelf-OPD を紹介する。 Self-OPDは決定論的次状態予測を$K$SDE候補に分割し、ODEサンプルとロールアウトして、決定論的自己参照ベースラインと比較する。 単品と混合報酬のベンチマーク実験により、セルフOPDはタスク固有の教師を伴わずに、以前のRLとOPDメソッドよりも優れていた。
  論文  参考訳（メタデータ） (2026-08-27T09:34:23Z)
• dOPSD: On-Policy Self-Distillation for Diffusion Language Models [52.60302464420127]
  拡散大言語モデルは、マスキングシーケンスを反復的に復調することでテキストを生成する。 監督された微調整は非政治的であり、露出バイアスに悩まされる一方、強化学習はわずかにシーケンスレベルの報酬しか与えない。 On-policy Self-distillation (OPSD)は、学生と教師の両方に1つのモデルを用いて、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-07-05T17:47:29Z)
• How Useful is Causal Invariance for Domain Adaptation in Finite-Sample Settings? [58.740078141879984]
  機械学習モデルは、トレーニングされたソースディストリビューションとは異なるターゲットディストリビューションにデプロイされると、しばしば劣化する。 因果関係に基づく領域一般化における最近の研究は、共用因果構造が不変な予測因子を誘導する方法を示している。 本稿では,完全あるいは部分的な因果知識が,教師付きドメイン適応を確実に改善できるかどうかについて検討する。
  論文  参考訳（メタデータ） (2026-06-10T21:07:49Z)
• Intrinsic Selection and Particle Resampling for Inference-Time Scaling Beyond Domain Verifiability [15.77992479706947]
  推論時間スケーリング(ITS)は、数学やコーディングといった検証可能な領域で大きく成功している。 しかし、ITSを系統的な失敗に陥るタスクに拡張することは、通常、コストのかかる外部解決器や不安定なモデルベースの検証器に依存する。 私たちのパイプラインは、広義、ドメイン特化、マルチモーダルアーキテクチャにシームレスに適用します。
  論文  参考訳（メタデータ） (2026-06-07T21:43:37Z)
• Counteraction-Aware Multi-Teacher On-Policy Distillation for General Capability Recovery with Domain Preservation [47.05508330159435]
  本稿では,簡単に利用できるプロキシ・ジェネラル・プロンプトを用いて,汎用性回復について検討する。 対作用を考慮した多教師オンポリシィ蒸留(CaMOPD)を提案する。 CaMOPDは、一般的なリカバリ専用のアップデートを提供し、定期的にドメインプロンプトをレビューし、平均的なトークンレベルの教師と学生の対数確率ギャップを持つサンプルを選択して、修正信号を集中させる。
  論文  参考訳（メタデータ） (2026-05-26T14:52:51Z)
• Prefix Teach, Suffix Fade: Local Teachability Collapse in Strong-to-Weak On-Policy Distillation [49.117085054884676]
  オンライン蒸留は、より強い教師からの強いフィードバックを使って、学生モデルを独自のロールアウトで訓練する。 我々は、この原則を軌跡固有のリリースルールで運用する。 強弱蒸留作業による実験結果から, この放出規則は標準全軌道PDよりも一貫して優れていたことが示唆された。
  論文  参考訳（メタデータ） (2026-05-13T15:05:30Z)
• Normalized Attention Guidance: Universal Negative Guidance for Diffusion Models [57.20761595019967]
  注意空間にL1をベースとした正規化・精細化を施した,効率的かつトレーニング不要な機構である正規化注意誘導(NAG)を提案する。 NAGは、CFGが忠実性を維持しながら崩壊する効果的な負のガイダンスを復元する。 NAGはアーキテクチャ(UNet、DiT)、サンプリングレシスタンス(複数ステップ、複数ステップ)、モダリティ(イメージ、ビデオ)をまたいで一般化する
  論文  参考訳（メタデータ） (2025-05-27T13:30:46Z)
• Improving Self-supervised Learning with Automated Unsupervised Outlier Arbitration [83.29856873525674]
  本稿では,自己教師型学習のためのビューサンプリング問題を対象とした,軽量潜在変数モデル UOTA を提案する。 本手法は,多くの主流な自己指導型学習手法に直接応用する。
  論文  参考訳（メタデータ） (2021-12-15T14:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。