論文の概要: Heterogeneity-Aware Dataset Scheduling for Efficient Audio Large Language Model Training

• arxiv url: http://arxiv.org/abs/2605.19101v1
• Date: Mon, 18 May 2026 20:41:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:08.980295
• Title: Heterogeneity-Aware Dataset Scheduling for Efficient Audio Large Language Model Training
• Title（参考訳）: 高精度大規模言語モデル学習のための不均一性を考慮したデータセットスケジューリング
• Authors: Yanru Wu, Jianning Wang, Chongxin Gan, Yang Li,
• Abstract要約: Grouped Sequential Training(GST)は、さまざまなデータセット間でオーディオ大言語モデル(ALLM)をトレーニングする効率的な方法である。 GSTは、Mix-allトレーニングのパフォーマンスを維持したり、超えたりしながら、標準の並列トレーニングよりも30～40%高速な収束を実現している。 提案手法は,大規模ALLM最適化を効率的に行うための,理論的知見と実用的,モデルに依存しないフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 8.070081784771899
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training general-purpose Audio Large Language Models (ALLMs) across diverse datasets is essential for holistic audio understanding, yet it faces significant challenges due to dataset heterogeneity, which often leads to conflicting gradients and slow convergence. Despite its impact, how to explicitly manage this heterogeneity during training remains underexplored, with current practices relying primarily on uniform mixture. In this work, we analyze multi-dataset AudioQA training from a convergence perspective and propose Grouped Sequential Training (GST). GST strategically organizes datasets into affinity-aware groups and introduces them via a progressive scheduling protocol, effectively balancing the stability of parallel training with the efficiency of sequential optimization. To ensure scalability, we develop gradient-based affinity metrics that capture inter-dataset relationships without the prohibitive cost of empirical transferability estimation. Extensive evaluations on 14 AudioQA datasets spanning speech, music, and environmental sounds demonstrate that GST achieves 30--40\% faster convergence than standard parallel training while maintaining or even surpassing the performance of mix-all training. Our results provide both theoretical insights and a practical, model-agnostic framework for efficient large-scale ALLM optimization.
• Abstract（参考訳）: 多様なデータセットにわたる汎用オーディオ大言語モデル(ALLMs)のトレーニングは、全体的な音声理解には不可欠だが、データセットの不均一性のために大きな課題に直面している。 その影響にもかかわらず、トレーニング中にこの異種性をどのように明示的に管理するかは未解明のままであり、現在のプラクティスは、主に均一な混合に依存している。 本研究では,収束の観点からマルチデータセットAudioQAトレーニングを分析し,GST(Grouped Sequential Training)を提案する。 GSTは、データセットをアフィニティ対応グループに戦略的に整理し、プログレッシブなスケジューリングプロトコルを通じて導入し、並列トレーニングの安定性とシーケンシャルな最適化の効率を効果的にバランスさせる。 スケーラビリティを確保するため,経験的転送可能性推定の禁止コストを伴わずに,データセット間の関係を捉える勾配に基づく親和性指標を開発した。 音声,音楽,環境音にまたがる14のAudioQAデータセットの広範囲な評価は,GSTが標準並列トレーニングよりも30～40倍早く収束し,ミックスオールトレーニングのパフォーマンスを維持または超越していることを示している。 提案手法は,大規模ALLM最適化を効率的に行うための,理論的知見と実用的,モデルに依存しないフレームワークを提供する。

関連論文リスト

• Data Mixing for Large Language Models Pretraining: A Survey and Outlook [52.66761353708619]
  大規模言語モデル(LLM)は、大規模で不均一なコーパスの事前訓練に依存している。 サンプルレベルのデータ選択とは異なり、データミキシングはドメインレベルのサンプリング重量を最適化し、限られた予算をより効率的に割り当てる。 本稿では,LLM事前学習におけるデータ混合の総合的な検討について述べる。
  論文  参考訳（メタデータ） (2026-03-25T13:30:40Z)
• A Scalable Pretraining Framework for Link Prediction with Efficient Adaptation [16.82426251068573]
  リンク予測(LP)は、グラフ機械学習において重要なタスクである。 既存の手法は、疎結合性からの限られた監督を含む重要な課題に直面している。 これらの課題に対処するためのソリューションとして,事前学習について検討する。
  論文  参考訳（メタデータ） (2025-08-06T17:10:31Z)
• Enhancing Generalization via Sharpness-Aware Trajectory Matching for Dataset Condensation [37.77454972709646]
  学習した合成データセットの一般化能力を高めるシャープネス認識軌道マッチング(SATM)を導入する。 我々の手法は数学的に十分サポートされており、制御可能な計算オーバーヘッドとともに実装が容易である。
  論文  参考訳（メタデータ） (2025-02-03T22:30:06Z)
• Aligning Instruction Tuning with Pre-training [61.50161961371844]
  そこで我々は,AITP(Aligning Instruction Tuning with Pre-training)を提案する。 8つのベンチマークで3つの完全にオープンな大規模言語モデル(LLM)上で,AITPによる一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2025-01-16T08:27:40Z)
• Improving Generalization of Speech Separation in Real-World Scenarios: Strategies in Simulation, Optimization, and Evaluation [45.76004686788507]
  本研究では,様々な環境やコンテンツから多様なトレーニングデータを生成する新しいデータシミュレーションパイプラインを提案する。 一般的な音声分離モデルの品質向上のための新しい訓練パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-08-28T20:26:34Z)
• Towards Robust Few-shot Class Incremental Learning in Audio Classification using Contrastive Representation [1.3586572110652484]
  少数のクラスインクリメンタルな学習は、限られた受信データから生じる課題に対処する。 我々は、表現空間を洗練させ、識別力を高め、より良い一般化をもたらすための教師付きコントラスト学習を提案する。
  論文  参考訳（メタデータ） (2024-07-27T14:16:25Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。