論文の概要: IDEAL: Data Equilibrium Adaptation for Multi-Capability Language Model Alignment

• arxiv url: http://arxiv.org/abs/2505.12762v1
• Date: Mon, 19 May 2025 06:42:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-20 14:57:11.445953
• Title: IDEAL: Data Equilibrium Adaptation for Multi-Capability Language Model Alignment
• Title（参考訳）: IDEAL:多機能言語モデルアライメントのためのデータ平衡適応
• Authors: Chenlin Ming, Chendi Qu, Mengzhang Cai, Qizhi Pei, Zhuoshi Pan, Yu Li, Xiaoming Duan, Lijun Wu, Conghui He,
• Abstract要約: 大規模言語モデル(LLM)は、多様な教育データセット上でのスーパービジョンファインチューニング(SFT)を通じて、素晴らしいパフォーマンスを実現している。 複数の機能を同時にトレーニングする場合、異なるドメインからのデータ量によって管理される混合トレーニングデータセットは、最終モデルのパフォーマンスに直接影響を及ぼす重要な要素である。 混合SFTデータセット内の異なる領域からのデータのボリュームを効果的に最適化する革新的なデータ平衡フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 29.703775936837012
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large Language Models (LLMs) have achieved impressive performance through Supervised Fine-tuning (SFT) on diverse instructional datasets. When training on multiple capabilities simultaneously, the mixture training dataset, governed by volumes of data from different domains, is a critical factor that directly impacts the final model's performance. Unlike many studies that focus on enhancing the quality of training datasets through data selection methods, few works explore the intricate relationship between the compositional quantity of mixture training datasets and the emergent capabilities of LLMs. Given the availability of a high-quality multi-domain training dataset, understanding the impact of data from each domain on the model's overall capabilities is crucial for preparing SFT data and training a well-balanced model that performs effectively across diverse domains. In this work, we introduce IDEAL, an innovative data equilibrium adaptation framework designed to effectively optimize volumes of data from different domains within mixture SFT datasets, thereby enhancing the model's alignment and performance across multiple capabilities. IDEAL employs a gradient-based approach to iteratively refine the training data distribution, dynamically adjusting the volumes of domain-specific data based on their impact on downstream task performance. By leveraging this adaptive mechanism, IDEAL ensures a balanced dataset composition, enabling the model to achieve robust generalization and consistent proficiency across diverse tasks. Experiments across different capabilities demonstrate that IDEAL outperforms conventional uniform data allocation strategies, achieving a comprehensive improvement of approximately 7% in multi-task evaluation scores.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多様な教育データセット上でのスーパービジョンファインチューニング(SFT)を通じて、素晴らしいパフォーマンスを実現している。 複数の機能を同時にトレーニングする場合、異なるドメインからのデータ量によって管理される混合トレーニングデータセットは、最終モデルのパフォーマンスに直接影響を及ぼす重要な要素である。 データ選択手法によるトレーニングデータセットの品質向上に重点を置く多くの研究とは異なり、混合トレーニングデータセットの構成量とLLMの創発的能力との複雑な関係を探求する研究はほとんどない。 高品質なマルチドメイントレーニングデータセットが利用可能であることを考えると、モデル全体の機能に対する各ドメインのデータの影響を理解することは、SFTデータの作成と、さまざまなドメインで効果的に機能するバランスのとれたモデルのトレーニングに不可欠である。 本研究では、混合SFTデータセット内の異なる領域からのデータのボリュームを効果的に最適化し、複数の機能にわたってモデルのアライメントと性能を向上させるために設計された、革新的なデータ平衡適応フレームワークであるIDEALを紹介する。 IDEALは、トレーニングデータ分散を反復的に洗練するための勾配ベースのアプローチを採用し、下流タスクのパフォーマンスへの影響に基づいて、ドメイン固有のデータのボリュームを動的に調整する。 この適応メカニズムを活用することで、IDEALはバランスの取れたデータセットの構成を保証し、モデルがさまざまなタスクに対して堅牢な一般化と一貫した習熟を達成することができる。 さまざまな機能の実験では、IDEALが従来の均一なデータ割り当て戦略より優れており、マルチタスク評価スコアで約7%の総合的な改善が達成されている。

関連論文リスト

• HBO: Hierarchical Balancing Optimization for Fine-Tuning Large Language Models [71.12193680015622]
  多様なデータセット上の微調整された大きな言語モデルは、データの不均衡と不均一性による課題を引き起こす。 本稿では,LLMがデータアロケーションを自律的に調整できる新しい手法である階層的バランシング最適化(HBO)を紹介する。 我々は,多言語およびマルチタスク設定において,9つのタスクにまたがる3つのLLMバックボーン上でHBOを評価する。
  論文  参考訳（メタデータ） (2025-05-18T08:31:44Z)
• Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data [36.277423093218275]
  大規模言語モデル(LLM)の全体的な能力向上におけるデータ多様性の役割について検討する。 本稿では,LLMに2つのアイデンティティを与える新しい手法を提案する。多様性報酬に基づいてデータを認知的に探索し,選択する出力モデルと,選択したデータに調整する入力モデルである。
  論文  参考訳（メタデータ） (2025-02-05T17:21:01Z)
• On the Diversity of Synthetic Data and its Impact on Training Large Language Models [34.00031258223175]
  大規模言語モデル(LLM)は、多種多様な高品質な事前学習データの必要性を強調している。 合成データは、データの不足とアクセシビリティの課題に対する、実行可能なソリューションとして現れます。 本研究では, 事前学習および微調整段階における合成データ多様性の下流効果について検討した。
  論文  参考訳（メタデータ） (2024-10-19T22:14:07Z)
• Mixture-of-Skills: Learning to Optimize Data Usage for Fine-Tuning Large Language Models [45.51085356985464]
  大規模言語モデル(LLM)は、様々な起源から派生した多種多様なデータセットに基づいて微調整されるのが一般的である。 MoSは、微調整プロセス中に自動的にデータ使用量を最適化することを学ぶ。 MoSpecは、特定の目的のために様々なデータセットのユーティリティを利用する。
  論文  参考訳（メタデータ） (2024-06-13T05:01:28Z)
• Unveiling the Impact of Coding Data Instruction Fine-Tuning on Large Language Models Reasoning [64.5243480989869]
  コーディングデータは、事前訓練中に推論能力を高めることで知られています。 IFTにおける内的推論能力の活性化におけるその役割はいまだ検討されている。 IFT段階におけるLLMの推論能力に及ぼす符号化データの影響について検討する。
  論文  参考訳（メタデータ） (2024-05-30T23:20:25Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。