論文の概要: IDEAL: Data Equilibrium Adaptation for Multi-Capability Language Model Alignment

• arxiv url: http://arxiv.org/abs/2505.12762v1
• Date: Mon, 19 May 2025 06:42:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.445953
• Title: IDEAL: Data Equilibrium Adaptation for Multi-Capability Language Model Alignment
• Title（参考訳）: IDEAL:多機能言語モデルアライメントのためのデータ平衡適応
• Authors: Chenlin Ming, Chendi Qu, Mengzhang Cai, Qizhi Pei, Zhuoshi Pan, Yu Li, Xiaoming Duan, Lijun Wu, Conghui He,
• Abstract要約: 大規模言語モデル(LLM)は、多様な教育データセット上でのスーパービジョンファインチューニング(SFT)を通じて、素晴らしいパフォーマンスを実現している。 複数の機能を同時にトレーニングする場合、異なるドメインからのデータ量によって管理される混合トレーニングデータセットは、最終モデルのパフォーマンスに直接影響を及ぼす重要な要素である。 混合SFTデータセット内の異なる領域からのデータのボリュームを効果的に最適化する革新的なデータ平衡フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 29.703775936837012
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have achieved impressive performance through Supervised Fine-tuning (SFT) on diverse instructional datasets. When training on multiple capabilities simultaneously, the mixture training dataset, governed by volumes of data from different domains, is a critical factor that directly impacts the final model's performance. Unlike many studies that focus on enhancing the quality of training datasets through data selection methods, few works explore the intricate relationship between the compositional quantity of mixture training datasets and the emergent capabilities of LLMs. Given the availability of a high-quality multi-domain training dataset, understanding the impact of data from each domain on the model's overall capabilities is crucial for preparing SFT data and training a well-balanced model that performs effectively across diverse domains. In this work, we introduce IDEAL, an innovative data equilibrium adaptation framework designed to effectively optimize volumes of data from different domains within mixture SFT datasets, thereby enhancing the model's alignment and performance across multiple capabilities. IDEAL employs a gradient-based approach to iteratively refine the training data distribution, dynamically adjusting the volumes of domain-specific data based on their impact on downstream task performance. By leveraging this adaptive mechanism, IDEAL ensures a balanced dataset composition, enabling the model to achieve robust generalization and consistent proficiency across diverse tasks. Experiments across different capabilities demonstrate that IDEAL outperforms conventional uniform data allocation strategies, achieving a comprehensive improvement of approximately 7% in multi-task evaluation scores.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多様な教育データセット上でのスーパービジョンファインチューニング(SFT)を通じて、素晴らしいパフォーマンスを実現している。 複数の機能を同時にトレーニングする場合、異なるドメインからのデータ量によって管理される混合トレーニングデータセットは、最終モデルのパフォーマンスに直接影響を及ぼす重要な要素である。 データ選択手法によるトレーニングデータセットの品質向上に重点を置く多くの研究とは異なり、混合トレーニングデータセットの構成量とLLMの創発的能力との複雑な関係を探求する研究はほとんどない。 高品質なマルチドメイントレーニングデータセットが利用可能であることを考えると、モデル全体の機能に対する各ドメインのデータの影響を理解することは、SFTデータの作成と、さまざまなドメインで効果的に機能するバランスのとれたモデルのトレーニングに不可欠である。 本研究では、混合SFTデータセット内の異なる領域からのデータのボリュームを効果的に最適化し、複数の機能にわたってモデルのアライメントと性能を向上させるために設計された、革新的なデータ平衡適応フレームワークであるIDEALを紹介する。 IDEALは、トレーニングデータ分散を反復的に洗練するための勾配ベースのアプローチを採用し、下流タスクのパフォーマンスへの影響に基づいて、ドメイン固有のデータのボリュームを動的に調整する。 この適応メカニズムを活用することで、IDEALはバランスの取れたデータセットの構成を保証し、モデルがさまざまなタスクに対して堅牢な一般化と一貫した習熟を達成することができる。 さまざまな機能の実験では、IDEALが従来の均一なデータ割り当て戦略より優れており、マルチタスク評価スコアで約7%の総合的な改善が達成されている。

関連論文リスト

• LLM Data Selection and Utilization via Dynamic Bi-level Optimization [100.20933466418786]
  本研究では,各バッチ内で選択したデータの重み付けを調整し,トレーニング中の動的データ利用を実現するための新しいデータ重み付けモデル(DWM)を提案する。 実験により,DWMはランダムに選択されたデータを用いて訓練されたモデルの性能を向上させることが示された。 さらに、トレーニング中にモデルのデータ嗜好がどのように進化するかを分析し、トレーニング中のモデルのデータ嗜好に関する新たな洞察を提供する。
  論文  参考訳（メタデータ） (2025-07-22T02:47:12Z)
• Multimodal-Guided Dynamic Dataset Pruning for Robust and Efficient Data-Centric Learning [49.10890099624699]
  本稿では,タスク駆動の難易度とモダリティ間のセマンティクスの整合性に基づいて,トレーニングサンプルを適応的に選択する動的データセット解析フレームワークを提案する。 私たちの研究は、堅牢なサンプル選択のためのモダリティアライメントの統合の可能性を強調し、アプリケーションドメイン全体のより効率的で堅牢なプラクティスに向けて、データ中心の学習を進めています。
  論文  参考訳（メタデータ） (2025-07-17T03:08:26Z)
• HBO: Hierarchical Balancing Optimization for Fine-Tuning Large Language Models [71.12193680015622]
  多様なデータセット上の微調整された大きな言語モデルは、データの不均衡と不均一性による課題を引き起こす。 本稿では,LLMがデータアロケーションを自律的に調整できる新しい手法である階層的バランシング最適化(HBO)を紹介する。 我々は,多言語およびマルチタスク設定において,9つのタスクにまたがる3つのLLMバックボーン上でHBOを評価する。
  論文  参考訳（メタデータ） (2025-05-18T08:31:44Z)
• Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data [36.277423093218275]
  大規模言語モデル(LLM)の全体的な能力向上におけるデータ多様性の役割について検討する。 本稿では,LLMに2つのアイデンティティを与える新しい手法を提案する。多様性報酬に基づいてデータを認知的に探索し,選択する出力モデルと,選択したデータに調整する入力モデルである。
  論文  参考訳（メタデータ） (2025-02-05T17:21:01Z)
• On the Diversity of Synthetic Data and its Impact on Training Large Language Models [34.00031258223175]
  大規模言語モデル(LLM)は、多種多様な高品質な事前学習データの必要性を強調している。 合成データは、データの不足とアクセシビリティの課題に対する、実行可能なソリューションとして現れます。 本研究では, 事前学習および微調整段階における合成データ多様性の下流効果について検討した。
  論文  参考訳（メタデータ） (2024-10-19T22:14:07Z)
• Mixture-of-Skills: Learning to Optimize Data Usage for Fine-Tuning Large Language Models [45.51085356985464]
  大規模言語モデル(LLM)は、様々な起源から派生した多種多様なデータセットに基づいて微調整されるのが一般的である。 MoSは、微調整プロセス中に自動的にデータ使用量を最適化することを学ぶ。 MoSpecは、特定の目的のために様々なデータセットのユーティリティを利用する。
  論文  参考訳（メタデータ） (2024-06-13T05:01:28Z)
• Unveiling the Impact of Coding Data Instruction Fine-Tuning on Large Language Models Reasoning [64.5243480989869]
  コーディングデータは、事前訓練中に推論能力を高めることで知られています。 IFTにおける内的推論能力の活性化におけるその役割はいまだ検討されている。 IFT段階におけるLLMの推論能力に及ぼす符号化データの影響について検討する。
  論文  参考訳（メタデータ） (2024-05-30T23:20:25Z)
• BiMix: A Bivariate Data Mixing Law for Language Model Pretraining [47.77701041534746]
  事前学習データ構成がモデル性能に与える影響はいまだよく分かっていない。 $textbfBiMix$は、データの混合を理解し、最適化するための体系的なフレームワークを提供する。 我々の研究は、データミキシングの力学に関する理論的知見と、LLMトレーニング効率を向上させるための実践的なツールの両方に貢献する。
  論文  参考訳（メタデータ） (2024-05-23T09:44:02Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。