論文の概要: Clustering-Based Balanced Sampling and Allocation with Data Parallelism for High-Performance Fine-Tuning

• arxiv url: http://arxiv.org/abs/2609.12584v1
• Date: Fri, 11 Sep 2026 08:36:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.684758
• Title: Clustering-Based Balanced Sampling and Allocation with Data Parallelism for High-Performance Fine-Tuning
• Title（参考訳）: クラスタリングに基づく並列サンプリングとデータ並列化による高性能ファインチューニング
• Abstract要約: CluSTERは、DP命令のチューニングにおいて、効率的なデータ削減を訓練するためのクラスタ対応の平衡サンプリングフレームワークである。 CluSTERは、勾配空間クラスタリングとDP対応のバランスアロケーションを通じて、代表的な縮小データセットをキュレートする。 複数のインストラクションチューニングデータセット全体で、CluSTERはトレーニング時間を69.6%まで短縮し、以前のサンプリングやデータ削減手法と比べてほとんど精度が低下しない。
• 参考スコア（独自算出の注目度）: 14.851794578048539
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction-tuning datasets for large language models (LLMs) are often large, redundant, and imbalanced, limiting efficient adaptation. Naive large-batch fine-tuning repeatedly includes overrepresented sample groups while weakly covering underrepresented but informative ones, especially under data parallelism (DP) across multiple GPUs. We propose CluSTER, a Cluster-aware balanced Sampling framework for Training Efficient data Reduction in DP instruction tuning. CluSTER curates a representative reduced dataset through gradient-space clustering and DP-aware balanced allocation, ensuring dual-level coverage across clusters and workers, while preserving the original data distribution by weighted update. As a result, CluSTER reduces redundant computation and improves training stability without compromising model quality. Across multiple instruction-tuning datasets, CluSTER reduces training time by up to 69.6% with almost no accuracy loss compared to prior sampling and data reduction methods. Code is available at https://github.com/kaist-dmlab/CluSTER.
• Abstract（参考訳）: 大規模言語モデル(LLM)のインストラクションチューニングデータセットは、しばしば大きく、冗長で、不均衡であり、効率的な適応を制限する。 大規模バッチの微調整を繰り返すには、過剰に表現されたサンプルグループを含むと同時に、表現されていないが情報に富んだグループ、特に複数のGPUにわたるデータ並列性(DP)を弱くカバーする。 CluSTER は,DP 命令チューニングにおける効率的なデータ削減を訓練するためのクラスタ対応の平衡サンプリングフレームワークである。 CluSTERは、勾配空間クラスタリングとDP対応のバランスアロケーションを通じて、代表的な縮小データセットをキュレートし、クラスタとワーカー間の二重レベルのカバレッジを確保しながら、重み付けされた更新によって元のデータ配布を保存する。 結果として、CluSTERは冗長な計算を減らし、モデルの質を損なうことなくトレーニングの安定性を向上させる。 複数のインストラクションチューニングデータセット全体で、CluSTERはトレーニング時間を69.6%まで短縮し、以前のサンプリングやデータ削減手法と比べてほとんど精度が低下しない。 コードはhttps://github.com/kaist-dmlab/CluSTERで入手できる。

関連論文リスト

• PET-TURTLE: Deep Unsupervised Support Vector Machines for Imbalanced Data Clusters [0.0]
  本稿では,不均衡なデータ分散を扱うコスト関数を従来法則で一般化したPET-TURTLEを提案する。 PET-TURTLEは、不均衡なソースの精度を改善し、マイノリティクラスタの過剰な予測を防止し、全体的なクラスタリングを強化する。
  論文  参考訳（メタデータ） (2026-01-06T18:30:25Z)
• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• RL-Selector: Reinforcement Learning-Guided Data Selection via Redundancy Assessment [10.284993431741377]
  サンプル間の関係に基づいてサンプル冗長性を定量化する,エプシロン・サンプル被覆の概念を導入する。 我々は、強化学習プロセスとしてデータ選択を再構成し、RLセレクタを提案する。 我々の手法は、既存の最先端のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2025-06-26T06:28:56Z)
• Hierarchical Balance Packing: Towards Efficient Supervised Fine-tuning for Long-Context LLM [49.2709992932292]
  長期コンテキスト大規模言語モデル(LLM)のトレーニングは、長期コンテキストと短コンテキストデータによるハイブリッドトレーニングが、ワークロードの不均衡につながることが多いため、難しい。 既存の作業では、主にデータパッキングを使用してこの問題を軽減するが、不均衡な注意計算や通信オーバーヘッドの無駄を考慮できない。 本稿では,これらの非効率性に対処する新しいバッチ構築法とトレーニングレシピを設計する階層的バランスパッキング(HBP)を提案する。
  論文  参考訳（メタデータ） (2025-03-10T10:52:50Z)
• Balanced Data Sampling for Language Model Training with Clustering [96.46042695333655]
  本稿では,学習データのテキスト分布のバランスをとるためにClusterClip Smplingを提案する。 大規模な実験は、ClusterClip Smplingの有効性を検証する。
  論文  参考訳（メタデータ） (2024-02-22T13:20:53Z)
• Efficient Augmentation for Imbalanced Deep Learning [8.38844520504124]
  本研究では、畳み込みニューラルネットワークの内部表現である不均衡画像データについて検討する。 モデルの特徴埋め込みとテストセットの一般化ギャップを測定し、マイノリティクラスではそのギャップが広いことを示す。 この洞察により、不均衡なデータのための効率的な3相CNNトレーニングフレームワークを設計できる。
  論文  参考訳（メタデータ） (2022-07-13T09:43:17Z)
• ClusterQ: Semantic Feature Distribution Alignment for Data-Free Quantization [111.12063632743013]
  本稿では,ClusterQと呼ばれるデータフリーな量子化手法を提案する。 意味的特徴のクラス間分離性を高めるために,特徴分布統計をクラスタ化し,整列する。 また、クラス内分散を組み込んで、クラスワイドモードの崩壊を解決する。
  論文  参考訳（メタデータ） (2022-04-30T06:58:56Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
  本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。 我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。 カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
  論文  参考訳（メタデータ） (2020-04-05T12:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。