論文の概要: DynaMiCS: Fine-tuning LLMs with Performance Constraints using Dynamic Mixtures

• arxiv url: http://arxiv.org/abs/2605.10770v1
• Date: Mon, 11 May 2026 16:02:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.965471
• Title: DynaMiCS: Fine-tuning LLMs with Performance Constraints using Dynamic Mixtures
• Title（参考訳）: DynaMiCS:動的混合を用いた性能制約付き微調整LDM
• Authors: Eleonora Gualdoni, Sonia Laguna, Louis Bethune, Joao Monteiro, Pierre Ablin, Marco Cuturi,
• Abstract要約: 大規模言語モデルのマルチドメイン微調整には,対象ドメインの性能向上が必要である。 制約付き最適化問題としてマルチドメインファインチューニングを行う動的混合DynaMiCSを提案する。
• 参考スコア（独自算出の注目度）: 29.746617183126343
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multi-domain fine-tuning of large language models requires improving performance on target domains while preserving performance on constrained domains, such as general knowledge, instruction following, or safety evaluations. Existing data mixing strategies rely on fixed heuristics or adaptive rules that cannot explicitly enforce preservation of such capabilities. We propose DynaMiCS, a dynamic mixture optimizer that casts multi-domain fine-tuning as a constrained optimization problem. At each update, DynaMiCS performs short domain-specific probing runs to estimate a slope matrix of local cross-domain effects, capturing how training on each fine-tuning dataset affects each evaluation domain. These estimates are then used to compute mixture weights through optimization over the probability simplex, with the objective of improving target-domain performance while keeping constrained-domain losses below reference levels. Across multi-domain fine-tuning scenarios with varying numbers of target and constrained domains, DynaMiCS achieves stronger target-domain improvements and higher constraint satisfaction than fixed-mixture baselines, at lower computational cost and without reference models, per-example scoring, or manually tuned mixture weights.
• Abstract（参考訳）: 大規模言語モデルのマルチドメイン微調整では、汎用知識や命令追従、安全性評価といった制約付きドメインのパフォーマンスを維持しながら、対象ドメインのパフォーマンスを向上させる必要がある。 既存のデータ混合戦略は、そのような機能の保存を明示的に強制できない固定されたヒューリスティックや適応ルールに依存している。 制約付き最適化問題としてマルチドメインファインチューニングを行う動的混合オプティマイザDynaMiCSを提案する。 アップデート毎にDynaMiCSは、短いドメイン固有の探索を実行し、局所的なクロスドメイン効果の勾配行列を推定し、各微調整データセットのトレーニングが各評価ドメインに与える影響をキャプチャする。 これらの推定値は、基準レベル以下で制約されたドメイン損失を保ちながら、目標ドメインの性能を改善することを目的として、確率単純度を最適化することで混合重量を計算するために使用される。 ターゲットドメインと制約ドメインの数が異なるマルチドメインの微調整シナリオ全体で、DynaMiCSは、固定混合ベースラインよりも強い目標ドメイン改善とより高い制約満足度を実現し、計算コストが低く、参照モデルなしで、サンプルごとのスコアリング、または手動で調整された混合重量を実現している。

関連論文リスト

• Tunable Domain Adaptation Using Unfolding [11.125968799758438]
  本稿では,解釈不能なネットワークに基づく回帰タスクに対する2つの新しいドメイン適応手法を提案する。 これらのモデルは、選択可能なパラメータのドメイン変数への機能的依存を活用し、推論中に制御された適応を可能にする。 本稿では,雑音適応型スパース信号回復,領域適応型ゲインキャリブレーション,領域適応型位相探索などを含む圧縮センシング問題に対するアプローチを検証する。
  論文  参考訳（メタデータ） (2026-03-27T19:15:05Z)
• FeDecider: An LLM-Based Framework for Federated Cross-Domain Recommendation [75.50721642765994]
  大規模言語モデル(LLM)ベースのレコメンデーションモデルは、素晴らしいパフォーマンスを示している。 We propose a LLM-based framework for Federated cross- domain recommendation, FeDecider。 多様なデータセットにわたる大規模な実験により、提案したFeDeciderの有効性が検証された。
  論文  参考訳（メタデータ） (2026-02-17T21:42:28Z)
• Relation-Aware Bayesian Optimization of DBMS Configurations Guided by Affinity Scores [2.474203056060563]
  データベース管理システム(DBMS)は,大規模および異種データの管理に基本的であり,その性能は構成パラメータの影響を強く受けている。 近年の研究では、機械学習を用いた自動構成最適化に焦点が当てられているが、既存のアプローチにはいくつかの重要な制限がある。 パラメータ依存をグラフとして表現する新しいフレームワークであるRelTuneを提案し,パフォーマンス関連セマンティクスを符号化したGNNベースの潜伏埋め込みを学習する。
  論文  参考訳（メタデータ） (2025-10-31T03:46:42Z)
• Adaptive Weighted Loss for Sequential Recommendations on Sparse Domains [0.0]
  単一の均一な重みは、非常に少ない相互作用を持つドメインでは不十分であり、トレーニング信号は広大な汎用データセットによって容易に希釈される。 本稿では, 包括的理論的基礎と広範な実証検証を備えた動的重み付きロス関数を提案する。
  論文  参考訳（メタデータ） (2025-10-05T21:42:33Z)
• DIDS: Domain Impact-aware Data Sampling for Large Language Model Training [61.10643823069603]
  大規模言語モデルに対するドメインインパクト対応データサンプリング(DIDS)を提案する。 学習効果に基づくDIDSグループトレーニングデータでは、プロキシ言語モデルと次元削減が使用される。 同等のトレーニング効率を維持しながら平均パフォーマンスを3.4%向上させる。
  論文  参考訳（メタデータ） (2025-04-17T13:09:38Z)
• Exploiting Aggregation and Segregation of Representations for Domain Adaptive Human Pose Estimation [50.31351006532924]
  人間のポーズ推定(HPE)は最近、モーション分析、バーチャルリアリティー、ヘルスケア等に広く応用されているため、注目を集めている。 時間と労働集約的なアノテーションのために、ラベル付き現実世界のデータセットが不足している。 本稿では,ドメイン適応型人間のポーズ推定のための表現集約と分離を両立させる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-29T17:59:45Z)
• StyDeSty: Min-Max Stylization and Destylization for Single Domain Generalization [85.18995948334592]
  単一のドメインの一般化(単一DG)は、単一のトレーニングドメインからのみ見えないドメインに一般化可能な堅牢なモデルを学ぶことを目的としている。 最先端のアプローチは、主に新しいデータを合成するために、敵対的な摂動やスタイルの強化といったデータ拡張に頼っている。 データ拡張の過程で、ソースと擬似ドメインのアライメントを明示的に考慮したemphStyDeStyを提案する。
  論文  参考訳（メタデータ） (2024-06-01T02:41:34Z)
• Domain-incremental Cardiac Image Segmentation with Style-oriented Replay and Domain-sensitive Feature Whitening [67.6394526631557]
  M&Mは、各受信データセットから漸進的に学習し、時間が経つにつれて改善された機能で漸進的に更新する必要がある。 医学的シナリオでは、データのプライバシのため、過去のデータへのアクセスや保存が一般的に許可されないため、これは特に困難である。 本稿では,まず過去のドメイン入力を復元し,モデル最適化中に定期的に再生する新しいドメイン増分学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-09T13:07:36Z)
• MetaAlign: Coordinating Domain Alignment and Classification for Unsupervised Domain Adaptation [84.90801699807426]
  本稿ではMetaAlignと呼ばれるメタ最適化に基づく効果的な戦略を提案する。 ドメインアライメントの目的と分類の目的をメタ学習計画におけるメタトレーニングとメタテストのタスクとして扱う。 実験結果は,アライメントに基づくベースラインアプローチを用いた提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-03-25T03:16:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。