論文の概要: Domain Mixture Design via Log-Likelihood Differences for Aligning Language Models with a Target Model

• arxiv url: http://arxiv.org/abs/2603.16622v1
• Date: Tue, 17 Mar 2026 14:58:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:07.355958
• Title: Domain Mixture Design via Log-Likelihood Differences for Aligning Language Models with a Target Model
• Title（参考訳）: ターゲットモデルを用いた言語モデル調整のための対数相違によるドメイン混合設計
• Authors: Ryo Kishino, Riku Shiomi, Hiroaki Yamagiwa, Momose Oyama, Hidetoshi Shimodaira,
• Abstract要約: 本稿では,対数様空間の点としてモデルを見ることによって,領域重みを決定する手法を提案する。 NanoGPTを用いた実験により,提案手法は目標モデルに対するKLの発散を連続的に低減することを示した。
• 参考スコア（独自算出の注目度）: 8.492672431361255
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instead of directly distilling a language model, this study addresses the problem of aligning a base model with a target model in distribution by designing the domain mixture of training data for pretraining or continued pretraining as a fixed training recipe. We propose a method for determining domain weights by viewing models as points in log-likelihood space and aligning the training update direction with the direction toward the target model. Experiments with NanoGPT show that the proposed method consistently reduces the KL divergence to the target model compared with uniform weighting over the Pile. Although knowledge distillation remains more effective when available, the proposed method still achieves meaningful alignment, and downstream task performance also tends to become closer to that of the target model.
• Abstract（参考訳）: 本研究は, 言語モデルを直接蒸留する代わりに, 定型学習レシピとして事前学習や継続事前学習のための訓練データのドメインミックスを設計することにより, ベースモデルと目標モデルとを分配する問題に対処する。 本稿では,対数的空間の点としてモデルを見極め,トレーニング更新方向を目標モデルへの方向と整合させることにより,領域重みを決定する手法を提案する。 NanoGPTを用いた実験により,提案手法はパイル上の一様重み付けと比較して,KLの目標モデルへの偏差を一定に低減することを示した。 知識蒸留は引き続き有効であるが,提案手法は依然として意味のあるアライメントを実現しており,下流タスク性能も目標モデルに近い傾向にある。

関連論文リスト

• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Aligning Latent Spaces with Flow Priors [72.24305287508474]
  本稿では,学習可能な潜在空間を任意の目標分布に整合させるための新しいフレームワークを提案する。 特に,提案手法は計算コストの高い確率評価を排除し,最適化時のODE解決を回避する。
  論文  参考訳（メタデータ） (2025-06-05T16:59:53Z)
• Towards Unsupervised Model Selection for Domain Adaptive Object Detection [27.551367463011008]
  ドメイン適応オブジェクト検出のための教師なしモデル選択手法を提案する。 パラメータ空間の平坦なミニマ領域に位置するモデルは通常、優れた一般化能力を示す。 一般化により、平坦性はモデル分散と見なせるが、ミニマは検出されたタスクの領域分布距離に依存することを示す。
  論文  参考訳（メタデータ） (2024-12-23T05:06:26Z)
• Mitigate Domain Shift by Primary-Auxiliary Objectives Association for Generalizing Person ReID [39.98444065846305]
  ReIDモデルは、インスタンス分類の目的に関するトレーニングを通じてのみドメイン不変表現を学ぶのに苦労します。 本稿では,弱いラベル付き歩行者唾液度検出のための補助学習目標を用いて,プライマリReIDインスタンス分類目標のモデル学習を指導する手法を提案する。 我々のモデルは、最近のテストタイムダイアグラムで拡張してPAOA+を形成し、補助的な目的に対してオンザフライ最適化を行うことができる。
  論文  参考訳（メタデータ） (2023-10-24T15:15:57Z)
• Phasic Content Fusing Diffusion Model with Directional Distribution Consistency for Few-Shot Model Adaption [73.98706049140098]
  本稿では,方向分布の整合性を損なう少数ショット拡散モデルを用いた新しいファシックコンテンツを提案する。 具体的には、ファシックコンテンツ融合を用いたファシックトレーニング戦略を設計し、tが大きければ、モデルがコンテンツやスタイル情報を学ぶのに役立てる。 最後に、ドメイン適応時の構造整合性を高めるクロスドメイン構造ガイダンス戦略を提案する。
  論文  参考訳（メタデータ） (2023-09-07T14:14:11Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Optimal Model Averaging: Towards Personalized Collaborative Learning [0.0]
  連合学習では、参加ノード間のデータや目的の違いが、各ノードに対してパーソナライズされた機械学習モデルをトレーニングするためのアプローチを動機付けている。 そのようなアプローチの1つは、局所的に訓練されたモデルとグローバルモデルの間の重み付き平均化である。 局所モデルと比較して予測される2乗誤差を減少させるモデル平均化の正の量が常に存在することがわかった。
  論文  参考訳（メタデータ） (2021-10-25T13:33:20Z)
• Distributional Depth-Based Estimation of Object Articulation Models [21.046351215949525]
  本研究では,奥行き画像から直接,調音モデルパラメータの分布を効率よく学習する手法を提案する。 私たちのコアコントリビューションには、剛体変換に対する分布の新しい表現が含まれています。 本稿では,カテゴリに依存しない調音モデル推定を行う新しい深層学習手法DUST-netを提案する。
  論文  参考訳（メタデータ） (2021-08-12T17:44:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。