論文の概要: HBO: Hierarchical Balancing Optimization for Fine-Tuning Large Language Models

• arxiv url: http://arxiv.org/abs/2505.12300v1
• Date: Sun, 18 May 2025 08:31:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.150195
• Title: HBO: Hierarchical Balancing Optimization for Fine-Tuning Large Language Models
• Title（参考訳）: HBO: 大規模言語モデルの階層的バランシング最適化
• Authors: Weixuan Wang, Minghao Wu, Barry Haddow, Alexandra Birch,
• Abstract要約: 多様なデータセット上の微調整された大きな言語モデルは、データの不均衡と不均一性による課題を引き起こす。 本稿では,LLMがデータアロケーションを自律的に調整できる新しい手法である階層的バランシング最適化(HBO)を紹介する。 我々は,多言語およびマルチタスク設定において,9つのタスクにまたがる3つのLLMバックボーン上でHBOを評価する。
• 参考スコア（独自算出の注目度）: 71.12193680015622
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-tuning large language models (LLMs) on a mixture of diverse datasets poses challenges due to data imbalance and heterogeneity. Existing methods often address these issues across datasets (globally) but overlook the imbalance and heterogeneity within individual datasets (locally), which limits their effectiveness. We introduce Hierarchical Balancing Optimization (HBO), a novel method that enables LLMs to autonomously adjust data allocation during fine-tuning both across datasets (globally) and within each individual dataset (locally). HBO employs a bilevel optimization strategy with two types of actors: a Global Actor, which balances data sampling across different subsets of the training mixture, and several Local Actors, which optimizes data usage within each subset based on difficulty levels. These actors are guided by reward functions derived from the LLM's training state, which measure learning progress and relative performance improvement. We evaluate HBO on three LLM backbones across nine diverse tasks in multilingual and multitask setups. Results show that HBO consistently outperforms existing baselines, achieving significant accuracy gains. Our in-depth analysis further demonstrates that both the global actor and local actors of HBO effectively adjust data usage during fine-tuning. HBO provides a comprehensive solution to the challenges of data imbalance and heterogeneity in LLM fine-tuning, enabling more effective training across diverse datasets.
• Abstract（参考訳）: 多様なデータセットを混合した細調整された大規模言語モデル(LLM)は、データの不均衡と不均一性に起因する課題を提起する。 既存の手法はデータセット全体(グローバル)にわたるこれらの問題に対処することが多いが、個々のデータセット(ローカル)における不均衡と不均一性を見落とし、その効果を制限している。 階層的バランス最適化(Hierarchical Balancing Optimization, HBO)は、LLMがデータセット(グローバル)と各データセット(ローカル)の両方の微調整中に、データアロケーションを自律的に調整できる新しい手法である。 HBOは、トレーニングミックスの異なるサブセット間でデータサンプリングのバランスをとるGlobal Actorと、難易度に基づいて各サブセット内でのデータ使用を最適化するLocal Actorsの2つのタイプのアクタで、双方向の最適化戦略を採用している。 これらのアクターは、学習の進歩と相対的なパフォーマンス改善を測定するLLMのトレーニング状態に由来する報酬関数によってガイドされる。 我々は,多言語およびマルチタスク設定において,9つのタスクにまたがる3つのLLMバックボーン上でHBOを評価する。 その結果,HBOは既存のベースラインを一貫して上回り,精度が向上した。 さらに、HBOのグローバルアクターとローカルアクターの両方が、微調整時のデータ使用量を効果的に調整していることを示す。 HBOは、LLMの微調整におけるデータ不均衡と不均一性の課題に対する包括的なソリューションを提供する。

関連論文リスト

• IDEAL: Data Equilibrium Adaptation for Multi-Capability Language Model Alignment [29.703775936837012]
  大規模言語モデル(LLM)は、多様な教育データセット上でのスーパービジョンファインチューニング(SFT)を通じて、素晴らしいパフォーマンスを実現している。 複数の機能を同時にトレーニングする場合、異なるドメインからのデータ量によって管理される混合トレーニングデータセットは、最終モデルのパフォーマンスに直接影響を及ぼす重要な要素である。 混合SFTデータセット内の異なる領域からのデータのボリュームを効果的に最適化する革新的なデータ平衡フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-19T06:42:44Z)
• Ensembles of Low-Rank Expert Adapters [9.599957499802446]
  本稿では,多種多様なタスクを扱うモデルの能力を向上させるために,低ランクエキスパートアダプタ(ELREA)フレームワークの組み立てを提案する。 ELREAは、トレーニング指示をその勾配方向に基づいてクラスタ化し、さまざまな専門分野を表現している。 推論中、ELREAは、入力データの勾配とトレーニングクラスタとの類似性に基づいて、最も関連する専門家アダプタからの予測を組み合わせる。
  論文  参考訳（メタデータ） (2025-01-31T18:07:21Z)
• Star-Agents: Automatic Data Optimization with LLM Agents for Instruction Tuning [71.2981957820888]
  本稿では,データセット間のデータ品質向上を自動化する新しいStar-Agentsフレームワークを提案する。 このフレームワークは最初,複数のLDMエージェントを用いた多様なインストラクションデータを生成する。 生成したデータは、難易度と品質の両方を評価する二重モデル法を用いて厳密な評価を行う。
  論文  参考訳（メタデータ） (2024-11-21T02:30:53Z)
• FedLF: Adaptive Logit Adjustment and Feature Optimization in Federated Long-Tailed Learning [5.23984567704876]
  フェデレーション学習は、分散機械学習におけるプライバシの保護という課題にパラダイムを提供する。 伝統的なアプローチは、グローバルな長期データにおけるクラスワイドバイアスの現象に対処できない。 新しい手法であるFedLFは、適応ロジット調整、連続クラス中心最適化、特徴デコリレーションという、局所的なトレーニングフェーズに3つの修正を導入している。
  論文  参考訳（メタデータ） (2024-09-18T16:25:29Z)
• A Framework for Fine-Tuning LLMs using Heterogeneous Feedback [69.51729152929413]
  ヘテロジニアスフィードバックを用いた大規模言語モデル(LLM)の微調整フレームワークを提案する。 まず、不均一なフィードバックデータをSFTやRLHFなどの手法と互換性のある単一の監視形式にまとめる。 次に、この統合されたフィードバックデータセットから、性能向上を得るために高品質で多様なサブセットを抽出する。
  論文  参考訳（メタデータ） (2024-08-05T23:20:32Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。