論文の概要: RL-Selector: Reinforcement Learning-Guided Data Selection via Redundancy Assessment

• arxiv url: http://arxiv.org/abs/2506.21037v1
• Date: Thu, 26 Jun 2025 06:28:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-27 19:53:09.999622
• Title: RL-Selector: Reinforcement Learning-Guided Data Selection via Redundancy Assessment
• Title（参考訳）: RL-セレクタ:冗長性評価による強化学習型データ選択
• Authors: Suorong Yang, Peijia Li, Furao Shen, Jian Zhao,
• Abstract要約: サンプル間の関係に基づいてサンプル冗長性を定量化する,エプシロン・サンプル被覆の概念を導入する。 我々は、強化学習プロセスとしてデータ選択を再構成し、RLセレクタを提案する。 我々の手法は、既存の最先端のベースラインを一貫して上回る。
• 参考スコア（独自算出の注目度）: 10.284993431741377
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep architectures often rely on large-scale datasets, but training on these datasets incurs high computational and storage overhead. Real-world datasets often contain substantial redundancies, prompting the need for more data-efficient training paradigms. Data selection has shown promise to mitigate redundancy by identifying the most representative samples, thereby reducing training costs without compromising performance. Existing methods typically rely on static scoring metrics or pretrained models, overlooking the combined effect of selected samples and their evolving dynamics during training. We introduce the concept of epsilon-sample cover, which quantifies sample redundancy based on inter-sample relationships, capturing the intrinsic structure of the dataset. Based on this, we reformulate data selection as a reinforcement learning (RL) process and propose RL-Selector, where a lightweight RL agent optimizes the selection policy by leveraging epsilon-sample cover derived from evolving dataset distribution as a reward signal. Extensive experiments across benchmark datasets and diverse architectures demonstrate that our method consistently outperforms existing state-of-the-art baselines. Models trained with our selected datasets show enhanced generalization performance with improved training efficiency.
• Abstract（参考訳）: 現代のディープアーキテクチャは大規模なデータセットに依存することが多いが、これらのデータセットのトレーニングは高い計算とストレージオーバーヘッドを引き起こす。 実世界のデータセットは、しばしばかなりの冗長性を含んでいるため、よりデータ効率のよいトレーニングパラダイムの必要性が生じる。 データ選択は、最も代表的なサンプルを特定することで冗長性を緩和し、パフォーマンスを損なうことなくトレーニングコストを削減している。 既存の手法は、通常、静的スコアリングメトリクスや事前訓練されたモデルに依存し、選択されたサンプルとトレーニング中に進化するダイナミクスの組合せ効果を見越す。 本研究では,サンプル間の関係に基づいてサンプルの冗長性を定量化し,データセットの固有構造を抽出するエプシロン・サンプル被覆の概念を導入する。 これに基づいて、データ選択を強化学習(RL)プロセスとして再構成し、軽量なRLエージェントが、進化するデータセット分布から派生したエプシロン・サンプルカバーを報酬信号として活用することにより、選択ポリシーを最適化するRL-セレクタを提案する。 ベンチマークデータセットと多様なアーキテクチャにわたる大規模な実験は、我々の手法が既存の最先端のベースラインを一貫して上回ることを示した。 選択したデータセットでトレーニングしたモデルでは、トレーニング効率が向上し、一般化性能が向上した。

関連論文リスト

• Adaptive Dataset Quantization [2.0105434963031463]
  適応データセット量子化(ADQ)という,データセット圧縮のための汎用フレームワークを導入する。 本稿では,生成したビンの代表性スコア,多様性スコア,重要度スコアの評価を通じて,新しい適応型サンプリング戦略を提案する。 提案手法は, 異なるアーキテクチャにまたがる優れた一般化能力を示すだけでなく, 各種データセットにおいてDQを平均3%越えて, 最先端の結果が得られる。
  論文  参考訳（メタデータ） (2024-12-22T07:08:29Z)
• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Adapt-$\infty$: Scalable Continual Multimodal Instruction Tuning via Dynamic Data Selection [89.42023974249122]
  Adapt-$infty$は、生涯のインストラクションチューニングのための、新しいマルチウェイおよびアダプティブなデータ選択アプローチである。 勾配に基づくサンプルベクトルをグループ化して擬似スキルクラスタを構築する。 セレクタエキスパートのプールから各スキルクラスタの最高のパフォーマンスデータセレクタを選択する。 このデータセレクタは、トレーニングのために各スキルクラスタから最も重要なサンプルのサブセットをサンプリングする。
  論文  参考訳（メタデータ） (2024-10-14T15:48:09Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Self-Evolved Diverse Data Sampling for Efficient Instruction Tuning [47.02160072880698]
  モデル自体が等しくあるいはそれ以上に効果的であるサブセットを積極的にサンプリングできる自己進化メカニズムを導入します。 データサンプリング技術の鍵は、選択したサブセットの多様性の向上にあります。 3つのデータセットとベンチマークにわたる大規模な実験は、DiverseEvolの有効性を示している。
  論文  参考訳（メタデータ） (2023-11-14T14:10:40Z)
• Iterative self-transfer learning: A general methodology for response time-history prediction based on small dataset [0.0]
  本研究では,小さなデータセットに基づいてニューラルネットワークを学習するための反復的自己伝達学習手法を提案する。 提案手法は,小さなデータセットに対して,ほぼ一桁の精度でモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T18:48:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。