論文の概要: Finetune Once: Decoupling General & Domain Learning with Dynamic Boosted Annealing

• arxiv url: http://arxiv.org/abs/2509.26242v1
• Date: Tue, 30 Sep 2025 13:36:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-01 17:09:04.558261
• Title: Finetune Once: Decoupling General & Domain Learning with Dynamic Boosted Annealing
• Title（参考訳）: Finetune once: 動的ブーストアニーリングによる一般とドメインの学習の分離
• Authors: Yang Tang, Ruijie Liu, Yifan Wang, Shiyu Li, Xi Chen,
• Abstract要約: 微調整プロセスの合理化を目的とした動的ブーストアニーリング(DBA)を提案する。 DBAはバニラ微調整よりも5.8%の継手性能向上を実現している。 DBA法はバニラ法と比較してGPU時間を91.0%削減できる。
• 参考スコア（独自算出の注目度）: 19.695301237273707
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) fine-tuning shows excellent implications. However, vanilla fine-tuning methods often require intricate data mixture and repeated experiments for optimal generalization. To address these challenges and streamline the training process, we propose an efficient and universal solution, Dynamic Boosted Annealing (DBA). We obtain a global gradient through zero-learning-rate training on general data, which is subsequently employed for gradient boosting and dynamic training step correction during domain training. In conjunction with annealing learning, we end up establishing a fine-tuning pipeline that relies solely on domain data without collapse. By evaluating both general and domain-specific performance across multiple tasks on several popular base models, DBA achieves an average improvement of 5.8% in joint performance over vanilla fine-tuning. Furthermore, since general data is no longer involved in annealing, repeated experiments led by data mixture are also eliminated. According to our tests, the DBA method can reduce GPU hours by 91.0% compared to the vanilla method.
• Abstract（参考訳）: 大きな言語モデル(LLM)の微調整は、優れた意味を示している。 しかしながら、バニラ微調整法は、しばしば最適な一般化のために複雑なデータ混合と繰り返しの実験を必要とする。 これらの課題に対処し、トレーニングプロセスを合理化するために、効率的で普遍的なソリューションであるDynamic Boosted Annealing (DBA)を提案する。 一般データに基づくゼロラーニング・レート・トレーニングを通したグローバル・グラデーションを取得し、その後、グラデーション・ブースティングや、ドメイン・トレーニング中のダイナミック・トレーニング・ステップの補正に活用する。 アニーリング学習と合わせて、崩壊することなくドメインデータのみに依存する微調整パイプラインを構築しました。 DBAは、複数の一般的なベースモデル上で複数のタスクにまたがる一般的なパフォーマンスとドメイン固有のパフォーマンスを評価することにより、バニラファインチューニングよりも平均5.8%のジョイントパフォーマンスを実現している。 さらに, 一般的なデータによるアニール処理が不要になるため, データ混合による繰り返し実験も不要となる。 DBA法はバニラ法と比較してGPU時間を91.0%削減できる。

関連論文リスト

• LEAD: Iterative Data Selection for Efficient LLM Instruction Tuning [22.242445543184264]
  我々は,標準トレーニングループ内でサンプルユーティリティを完全に正確に推定する,効率的な反復的データ選択フレームワークであるLEADを提案する。 実験の結果、LEADは最先端の手法を著しく上回り、平均モデル性能は6.1%-10.8%向上し、トレーニングデータの2.5%しか使用せず、全体のトレーニング時間を5-10倍短縮した。
  論文  参考訳（メタデータ） (2025-05-12T10:57:51Z)
• DONOD: Efficient and Generalizable Instruction Fine-Tuning for LLMs via Model-Intrinsic Dataset Pruning [22.704995231753397]
  大規模言語モデル(LLM)のアドホック命令の微調整は、ドメイン固有の適応に広く採用されている。 本研究では,軽量なモデル固有データ解析手法であるDONODを提案する。 データセット全体の70%をフィルタリングすることで、ターゲットドメインの精度を14.90%、クロスドメインの精度を5.67%向上させる。
  論文  参考訳（メタデータ） (2025-04-21T02:25:03Z)
• DUET: Optimizing Training Data Mixtures via Feedback from Unseen Evaluation Tasks [40.91931801667421]
  本稿では, ベイズ最適化を用いたデータ選択手法として, 影響関数をインターリーブし, 特定の未確認評価タスクからのフィードバックによるデータ混合を最適化する, グローバル・ローカルなアルゴリズムを提案する。 DUETの累積的後悔を解析することにより、DUETはタスクに関するデータ知識がなくても、見えないタスクに対して最適なトレーニングデータ混合に収束することを示す。
  論文  参考訳（メタデータ） (2025-02-01T01:52:32Z)
• Beyond Efficiency: Molecular Data Pruning for Enhanced Generalization [30.738229850748137]
  MolPegは、一般化を強化するための分子データプルーニングフレームワークである。 これは、事前訓練されたモデルでデータプルーニングを適用する、ソースフリーなデータプルーニングシナリオに焦点を当てている。 4つのダウンストリームタスクで既存のDPメソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-09-02T09:06:04Z)
• SMaRt: Improving GANs with Score Matching Regularity [94.81046452865583]
  生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。 スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることを示す。 スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。
  論文  参考訳（メタデータ） (2023-11-30T03:05:14Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• Integrating Local Real Data with Global Gradient Prototypes for Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
  フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。 データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。 本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
  論文  参考訳（メタデータ） (2023-01-25T03:18:10Z)
• Gradient-guided Loss Masking for Neural Machine Translation [27.609155878513334]
  本稿では、トレーニングプロセス中にデータ利用を動的に最適化する戦略を検討する。 本アルゴリズムは,トレーニングデータとクリーンデータとの勾配アライメントを計算し,負のアライメントでデータをマスクアウトする。 3つのwmt言語ペアを実験した結果,本手法は強いベースラインよりも大きな改善をもたらすことがわかった。
  論文  参考訳（メタデータ） (2021-02-26T15:41:48Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。