論文の概要: Beyond What to Select: A Plug-and-play Oscillatory Data-Volume Scheduling for Efficient Model Training
- arxiv url: http://arxiv.org/abs/2605.14773v1
- Date: Thu, 14 May 2026 12:37:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-15 21:45:34.824187
- Title: Beyond What to Select: A Plug-and-play Oscillatory Data-Volume Scheduling for Efficient Model Training
- Title（参考訳）: 選択すべきことを超えて: 効率的なモデルトレーニングのためのプラグアンドプレイオシレータ型データボリュームスケジューリング
- Authors: Suorong Yang, Hanqi Zhu, Hai Gan, Fangjian Su, Guang Li, Furao Shen, Soujanya Poria,
- Abstract要約: 選択データ学習は、瞬時選択比による暗黙の正則化効果を誘導することを示す。
これは、選択によって引き起こされる正規化を低くするのに対して、高い比率はデータカバレッジを保っている、という重要なトレードオフを明らかにします。
PODSは既存の静的および動的選択メソッドと互換性があり、トレーニングパラダイムに広く適用できる。
- 参考スコア（独自算出の注目度）: 36.289092974454796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data selection accelerates training by identifying representative training data while preserving model performance. However, existing methods mainly focus on designing sample-importance criteria, i.e., deciding what to select, while typically fixing the selected data volume as the target ratio throughout training. Thus, they are often dynamic in sample identity but static in data volume. In this work, we revisit data selection from an optimization perspective and show that selected-data training induces an implicit regularization effect modulated by the instantaneous selection ratio. This reveals a key trade-off: lower ratios amplify selection-induced regularization, whereas higher ratios preserve data coverage and optimization fidelity. Motivated by this insight, we propose PODS, a Plug-and-play Oscillatory Data-volume Scheduling framework. Rather than introducing another sample-scoring metric, PODS serves as a lightweight module that dynamically schedules how much data to select over training. Under the target selection ratio, PODS alternates between low-ratio regularization phases and high-ratio recovery phases to exploit selection-induced regularization without sacrificing optimization stability. With its lightweight, ratio-level, and task-agnostic design, PODS is compatible with existing static and dynamic selection methods and broadly applicable across training paradigms. Experiments across various datasets, architectures, and tasks show that PODS consistently improves the efficiency-generalization trade-off, e.g., reducing ImageNet-1k training cost by 50% with improved accuracy and accelerating LLM instruction tuning by over 2x without performance degradation.
- Abstract（参考訳）: データ選択は、モデルパフォーマンスを維持しながら、代表的トレーニングデータを特定することで、トレーニングを加速する。
しかし、既存の手法は主にサンプル重要度基準、すなわち、何を選ぶかを決めることに焦点を当て、典型的には、選択したデータ量をトレーニング期間中の目標比率として固定する。
したがって、サンプルアイデンティティでは動的だが、データボリュームでは静的であることが多い。
本研究では、最適化の観点からデータ選択を再考し、選択データトレーニングが瞬時選択比で変調された暗黙的な正規化効果を誘導することを示す。
低い比率は選択によって引き起こされる正規化を増幅するが、高い割合はデータカバレッジと最適化の忠実さを保っている。
この知見に触発され,プラグイン・アンド・プレイのOscillatory Data-volume SchedulingフレームワークであるPODSを提案する。
別のサンプルスコーリングメトリックを導入するのではなく、PODSはトレーニング中に選択するデータ量を動的にスケジュールする軽量モジュールとして機能する。
目標選択比の下では、PODSは低比正則化フェーズと高比回復フェーズを交互に切り替え、最適化安定性を犠牲にすることなく選択誘導正則化を利用する。
軽量、比率レベル、タスクに依存しない設計で、PODSは既存の静的および動的選択メソッドと互換性があり、トレーニングパラダイムに広く適用できる。
さまざまなデータセット、アーキテクチャ、タスクにわたる実験により、PODSは効率と一般化のトレードオフ、例えば、ImageNet-1kのトレーニングコストを50%削減し、精度を向上し、性能劣化のないLLM命令チューニングを2倍以上高速化する。
関連論文リスト
- Dr. Post-Training: A Data Regularization Perspective on LLM Post-Training [9.040054119267344]
ポストトライニング(Dr. Post-Training)は、一般的なトレーニングデータをデータ誘導正規化器として再認識する新しいフレームワークである。
我々の手法は、最先端のデータ選択ベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2026-05-08T00:16:11Z) - EvoSelect: Data-Efficient LLM Evolution for Targeted Task Adaptation [79.71802168256542]
大きな言語モデル(LLM)を目的のタスクに効率的に、効果的に適応させることは、根本的な課題である。
1つの簡単なアプローチは、外部ジェネレータを通じて候補データを合成する反復的な生成訓練ループである。
モデル更新に先立って選択ステップを組み込んだ改良パラダイム,すなわち反復生成選択学習ループを導入する。
論文 参考訳（メタデータ） (2026-04-28T23:26:16Z) - Adaptive Data Dropout: Towards Self-Regulated Learning in Deep Neural Networks [10.269961654607108]
ディープニューラルネットワークは通常、エポック全体にわたって大きなデータセットを均一にサンプリングすることによって訓練される。
最近の研究は、トレーニングデータの量を徐々に減らすことで、効率と一般化が向上することを示している。
本稿では,パフォーマンスフィードバックに基づいてトレーニングデータのサブセットを動的に調整するフレームワークであるAdaptive Data Dropoutを提案する。
論文 参考訳（メタデータ） (2026-04-14T16:41:33Z) - Data Agent: Learning to Select Data via End-to-End Dynamic Optimization [37.1771265765151]
データエージェントは、トレーニング対応のシーケンシャルな意思決定問題としてデータ選択を定式化する。
データエージェントは、パフォーマンスを保留または改善しながら、トレーニングを継続的に加速する。
データセットに依存しない定式化とモジュラー報酬により、タスクやシナリオをプラグイン&プレイできる。
論文 参考訳（メタデータ） (2026-03-08T03:10:39Z) - Utility-Diversity Aware Online Batch Selection for LLM Supervised Fine-tuning [49.04912820721943]
Supervised Fine-tuning (SFT) は計算コストが高く、時にはオーバーフィットやバイアス増幅に悩まされる。
本研究は、トレーニングプロセス中にサンプルを動的にスコア付け、フィルタリングするオンラインバッチ選択ファミリについて研究する。
SFTにおける効率的なオンラインバッチ選択のためのフレームワークである textbfUDS (Utility-Diversity Sampling) を開発した。
論文 参考訳（メタデータ） (2025-10-19T15:32:01Z) - LLM Data Selection and Utilization via Dynamic Bi-level Optimization [100.20933466418786]
本研究では,各バッチ内で選択したデータの重み付けを調整し,トレーニング中の動的データ利用を実現するための新しいデータ重み付けモデル(DWM)を提案する。
実験により,DWMはランダムに選択されたデータを用いて訓練されたモデルの性能を向上させることが示された。
さらに、トレーニング中にモデルのデータ嗜好がどのように進化するかを分析し、トレーニング中のモデルのデータ嗜好に関する新たな洞察を提供する。
論文 参考訳（メタデータ） (2025-07-22T02:47:12Z) - RL-Selector: Reinforcement Learning-Guided Data Selection via Redundancy Assessment [10.284993431741377]
サンプル間の関係に基づいてサンプル冗長性を定量化する,エプシロン・サンプル被覆の概念を導入する。
我々は、強化学習プロセスとしてデータ選択を再構成し、RLセレクタを提案する。
我々の手法は、既存の最先端のベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2025-06-26T06:28:56Z) - OASIS: Online Sample Selection for Continual Visual Instruction Tuning [55.92362550389058]
連続的インストラクションチューニング(CIT)のシナリオでは、新しいインストラクションチューニングデータがオンラインストリーミング形式で連続的に到着する。
データの選択はこのオーバーヘッドを軽減することができるが、既存の戦略はしばしば事前訓練された参照モデルに依存している。
最近の参照モデルなしオンラインサンプル選択手法はこれに対処するが、典型的にはバッチ毎に一定の数のサンプルを選択する。
論文 参考訳（メタデータ） (2025-05-27T20:32:43Z) - A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。
データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。
より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-15T03:00:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。