Fugu-MT 論文翻訳(概要): On the Difficulty of Learning a Meta-network for Training Data Selection

論文の概要: On the Difficulty of Learning a Meta-network for Training Data Selection

arxiv url: http://arxiv.org/abs/2606.00571v1
Date: Sat, 30 May 2026 06:47:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-02 21:34:28.530766
Title: On the Difficulty of Learning a Meta-network for Training Data Selection
Title（参考訳）: データ選択学習のためのメタネットワーク学習の難しさについて
Abstract要約: 本稿では,MTS(Meta-learning for Training-data Selection)が期待以下であることを示す。 MTSの数学的解析を行い、正規化データ重みのダイナミクスと、異なるデータ品質と粗いGSNRの関係を明らかにする。本稿では,トレーニングデータの分布とトレーニングダイナミクスの位置を捉える情報的特徴セットを提案する。
参考スコア（独自算出の注目度）: 1.9431149786214235
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Synthetic data are increasingly used to train neural networks, yet distributional mismatch with real data limits their effectiveness when used indiscriminately. A common strategy is to learn data weights via bi-level optimization, which we refer to as Meta-learning for Training-data Selection (MTS). Interestingly, in practice, MTS often performs below expectation. We identify two obstacles in properly training MTS: a poor gradient signal-to-noise ratio (GSNR), which causes optimization difficulties, and lack of informative features that correlates with data quality. We present a mathematical analysis of MTS, which reveals the dynamics of normalized data weights and the relation between disparate data quality and poor GSNR. The analysis suggests a a simple yet effective solution: increasing the batch size. Further, we propose a set of informative features that capture the positions of training data in their distributions and training dynamics. Experiments across four benchmarks show consistent improvements, achieving average gains of 5.49% over training without selection and 2.89% over the strongest baseline.
Abstract（参考訳）: 合成データはニューラルネットワークのトレーニングにますます利用されているが、実際のデータによる分布ミスマッチは、無差別に使用する際の有効性を制限している。一般的な戦略は、双方向の最適化を通じてデータウェイトを学習することであり、これは訓練データ選択のためのメタラーニング(MTS)と呼ばれる。興味深いことに、実際は、MSSは期待以下で実行されます。データ品質と相関する情報的特徴の欠如や、最適化困難の原因となる勾配信号-雑音比 (GSNR) の低下など、MSSを適切に訓練する際の2つの障害を同定する。 MTSの数学的解析を行い、正規化データ重みのダイナミクスと、異なるデータ品質と粗いGSNRの関係を明らかにする。この分析は、バッチサイズを増やすという、単純だが効果的なソリューションを示唆している。さらに,トレーニングデータの分布とトレーニングダイナミクスの位置をキャプチャする情報的特徴セットを提案する。 4つのベンチマークの実験では、一貫した改善が示され、選択なしのトレーニングで平均5.49%、最強のベースラインで2.89%が達成された。

関連論文リスト

Holistic Data Scheduler for LLM Pre-training via Multi-Objective Reinforcement Learning [7.431998098521794]
我々は,新しいオンラインデータミキシングフレームワークであるHolistic Data Scheduler (HDS)を紹介した。 HDSは、連続的な制御空間における強化学習問題として、データスケジューリングの課題を定式化している。品質に対するデータ駆動報酬、ドメイン間の影響を捉えた損失駆動報酬、重量ノルムに基づくモデル駆動報酬を統合する。
論文参考訳（メタデータ） (2026-06-23T04:32:46Z)
Data Agent: Learning to Select Data via End-to-End Dynamic Optimization [37.1771265765151]
データエージェントは、トレーニング対応のシーケンシャルな意思決定問題としてデータ選択を定式化する。データエージェントは、パフォーマンスを保留または改善しながら、トレーニングを継続的に加速する。データセットに依存しない定式化とモジュラー報酬により、タスクやシナリオをプラグイン&プレイできる。
論文参考訳（メタデータ） (2026-03-08T03:10:39Z)
Towards High Data Efficiency in Reinforcement Learning with Verifiable Reward [54.708851958671794]
オフラインとオンラインの両方のデータ選択のための最適化戦略を組み合わせた,データ効率のよいポリシ最適化パイプラインを提案する。オフラインフェーズでは、多様性、影響、適切な難易度に基づいて、トレーニングサンプルの高品質なサブセットをキュレートする。オンラインRLVRトレーニングにおいて、探索可能性の低いサンプルを動的にフィルタリングするサンプルレベルの探索性指標を導入する。
論文参考訳（メタデータ） (2025-09-01T10:04:20Z)
Dynamic Loss-Based Sample Reweighting for Improved Large Language Model Pretraining [55.262510814326035]
既存のリウェイト戦略は主にグループレベルのデータの重要性に焦点を当てている。動的・インスタンスレベルのデータ再重み付けのための新しいアルゴリズムを提案する。当社のフレームワークでは,冗長データや非形式データを優先的に再重み付けする戦略を考案することが可能です。
論文参考訳（メタデータ） (2025-02-10T17:57:15Z)
MetaTrading: An Immersion-Aware Model Trading Framework for Vehicular Metaverse Services [92.40586697273868]
モノのインターネットのタイムリーな更新は、車載メタバースサービスの没入を実現するために不可欠である。本稿では,フェデレーション学習による効率的なプライバシ保護データ提供を可能にする没入型モデルトレーディングフレームワークを提案する。実験の結果,提案手法は最先端のベンチマークよりも優れていた。
論文参考訳（メタデータ） (2024-10-25T16:20:46Z)
Mitigating Training Imbalance in LLM Fine-Tuning via Selective Parameter Merging [11.223074654129915]
大型言語モデル(LLM)を特定のタスクに適応させるためには、SFT(Supervised Fine-tuning)が不可欠である。本稿では,SFTモデルとデータ順序の微調整を併用することにより,この不均衡を軽減することを提案する。
論文参考訳（メタデータ） (2024-10-01T08:44:31Z)
Efficient Online Data Mixing For Language Model Pre-Training [101.45242332613944]
既存のデータ選択方法は、遅くて計算コストのかかるプロセスに悩まされる。一方、データミキシングは、データポイントをまとめることで、データ選択の複雑さを低減する。我々は,データ選択とデータ混合の両要素を組み合わせたオンラインデータ混合(ODM)の効率的なアルゴリズムを開発した。
論文参考訳（メタデータ） (2023-12-05T00:42:35Z)
A Study on the Impact of Data Augmentation for Training Convolutional Neural Networks in the Presence of Noisy Labels [14.998309259808236]
ラベルノイズは大規模な実世界のデータセットで一般的であり、その存在はディープニューラルネットワークのトレーニングプロセスに悪影響を及ぼす。我々は、深層ニューラルネットワークをトレーニングするための設計選択として、データ拡張の影響を評価する。データ拡張の適切な選択は、ラベルノイズに対するモデルロバスト性を大幅に改善できることを示す。
論文参考訳（メタデータ） (2022-08-23T20:04:17Z)
CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文参考訳（メタデータ） (2022-02-11T13:49:51Z)
CatFedAvg: Optimising Communication-efficiency and Classification Accuracy in Federated Learning [2.2172881631608456]
そこで我々はCatFedAvgというフェデレート学習アルゴリズムを新たに導入した。コミュニケーション効率は向上するが、NIST戦略のカテゴリカバレッジを用いて学習の質を向上させる。実験の結果,FedAvgよりもネットワーク転送率が70%低いMデータセットでは,10%の絶対点精度が向上していることがわかった。
論文参考訳（メタデータ） (2020-11-14T06:52:02Z)
Meta Feature Modulator for Long-tailed Recognition [37.90990378643794]
本稿では,長期訓練データとバランスの取れたメタデータの違いを表現学習の観点からモデル化するメタラーニングフレームワークを提案する。さらに、変調パラメータの生成を誘導するモジュレータネットワークを設計し、そのようなメタラーナは、他の長い尾を持つデータセットの分類ネットワークのトレーニングに容易に適応することができる。
論文参考訳（メタデータ） (2020-08-08T03:19:03Z)
COLAM: Co-Learning of Deep Neural Networks and Soft Labels via Alternating Minimization [60.07531696857743]
2つの目的の交互最小化によるDNNとソフトラベルの共学習本稿では,DNNとソフトラベルを相互に学習するCOLAMフレームワークを提案する。
論文参考訳（メタデータ） (2020-04-26T17:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。