論文の概要: Swift Sampler: Efficient Learning of Sampler by 10 Parameters

• arxiv url: http://arxiv.org/abs/2410.05578v1
• Date: Tue, 8 Oct 2024 00:26:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 17:58:21.817147
• Title: Swift Sampler: Efficient Learning of Sampler by 10 Parameters
• Title（参考訳）: Swift Sampler: 10パラメータによるサンプリングの効率的な学習
• Authors: Jiawei Yao, Chuming Li, Canran Xiao,
• Abstract要約: 効果的なデータサンプリング器は、トレーニングデータに対して適切なサンプリング確率を割り当てる。 textbfSSは高効率で大規模データセットに適用できる。
• 参考スコア（独自算出の注目度）: 5.595723519561982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data selection is essential for training deep learning models. An effective data sampler assigns proper sampling probability for training data and helps the model converge to a good local minimum with high performance. Previous studies in data sampling are mainly based on heuristic rules or learning through a huge amount of time-consuming trials. In this paper, we propose an automatic \textbf{swift sampler} search algorithm, \textbf{SS}, to explore automatically learning effective samplers efficiently. In particular, \textbf{SS} utilizes a novel formulation to map a sampler to a low dimension of hyper-parameters and uses an approximated local minimum to quickly examine the quality of a sampler. Benefiting from its low computational expense, \textbf{SS} can be applied on large-scale data sets with high efficiency. Comprehensive experiments on various tasks demonstrate that \textbf{SS} powered sampling can achieve obvious improvements (e.g., 1.5\% on ImageNet) and transfer among different neural networks. Project page: https://github.com/Alexander-Yao/Swift-Sampler.
• Abstract（参考訳）: ディープラーニングモデルのトレーニングには,データ選択が不可欠だ。 効果的なデータサンプリング器は、トレーニングデータに対して適切なサンプリング確率を割り当て、モデルが高性能で良好な局所最小値に収束するのを助ける。 データサンプリングに関するこれまでの研究は、主にヒューリスティックなルールに基づいており、大量の時間を要する試行を通じて学習している。 本稿では, 効率的なサンプリングを効率的に学習するための, 自動検索アルゴリズムである \textbf{swift sampler} を提案する。 特に、 \textbf{SS} は、新しい定式化を用いて、サンプリング器をハイパーパラメータの低次元にマッピングし、近似された局所最小値を用いて、サンプリング器の品質をすばやく調べる。 計算コストの低さから、高効率で大規模データセットに適用できる。 さまざまなタスクに関する総合的な実験により、 \textbf{SS} によるサンプリングは明らかに改善され(例えば、ImageNetでは1.5\%)、異なるニューラルネットワーク間での転送が可能になることが示されている。 プロジェクトページ:https://github.com/Alexander-Yao/Swift-Sampler。

関連論文リスト

• Adaptive teachers for amortized samplers [76.88721198565861]
  償却推論(英: Amortized inference)とは、ニューラルネットワークなどのパラメトリックモデルをトレーニングし、正確なサンプリングが可能な所定の非正規化密度で分布を近似するタスクである。 オフ・ポリティクスのRLトレーニングは多様でハイ・リワードな候補の発見を促進するが、既存の手法は依然として効率的な探索の課題に直面している。 そこで本研究では,高次領域の優先順位付けにより,初等補正標本作成者(学生)の指導を指導する適応学習分布(教師)を提案する。
  論文  参考訳（メタデータ） (2024-10-02T11:33:13Z)
• Target-Aware Language Modeling via Granular Data Sampling [25.957424920194914]
  言語モデルの事前訓練は、一般的に幅広いユースケースをターゲットにし、多様なソースからのデータを取り込む。 コスト効率が高く簡単なアプローチは、低次元のデータ特徴をサンプリングすることである。 事前学習したモデルはRefinedWebの全データと同等に動作し、125Mから1.5Bまでのモデルサイズに対してランダムに選択されたサンプルより優れた性能を示す。
  論文  参考訳（メタデータ） (2024-09-23T04:52:17Z)
• Dataset Quantization with Active Learning based Adaptive Sampling [11.157462442942775]
  また, 不均一なサンプル分布であっても, 性能維持が可能であることを示す。 サンプル選択を最適化するために,新しい能動的学習に基づく適応型サンプリング手法を提案する。 提案手法は,最先端のデータセット圧縮手法よりも優れている。
  論文  参考訳（メタデータ） (2024-07-09T23:09:18Z)
• Towards Free Data Selection with General-Purpose Models [71.92151210413374]
  望ましいデータ選択アルゴリズムは、限られたアノテーション予算の有用性を最大化するために、最も情報性の高いサンプルを効率的に選択することができる。 アクティブな学習手法で表現された現在のアプローチは、通常、時間を要するモデルのトレーニングとバッチデータ選択を繰り返し繰り返す、面倒なパイプラインに従う。 FreeSelは重いバッチ選択プロセスをバイパスし、効率を大幅に改善し、既存のアクティブラーニングメソッドよりも530倍高速である。
  論文  参考訳（メタデータ） (2023-09-29T15:50:14Z)
• FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
  フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。 既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。 フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
  論文  参考訳（メタデータ） (2023-06-25T13:38:51Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)
• Pareto Optimization for Active Learning under Out-of-Distribution Data Scenarios [79.02009938011447]
  本研究では,未ラベルデータプールからバッチサイズを固定した未ラベルサンプルの最適なサブセットを選択するサンプリング手法を提案する。 実験の結果,従来の機械学習(ML)タスクとディープラーニング(DL)タスクの両方において,その効果が示された。
  論文  参考訳（メタデータ） (2022-07-04T04:11:44Z)
• ScatterSample: Diversified Label Sampling for Data Efficient Graph Neural Network Learning [22.278779277115234]
  グラフニューラルネットワーク(GNN)トレーニングが高価であるいくつかのアプリケーションでは、新しいインスタンスのラベル付けが高価である。 データ効率のよいアクティブサンプリングフレームワークであるScatterSampleを開発し、アクティブな学習環境下でGNNを訓練する。 5つのデータセットに対する実験により、ScatterSampleは他のGNNのアクティブラーニングベースラインよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2022-06-09T04:05:02Z)
• AutoSampling: Search for Effective Data Sampling Schedules [118.20014773014671]
  モデル学習のためのサンプリングスケジュールを自動的に学習するAutoSampling法を提案する。 提案手法の有効性を示す様々な画像分類タスクに本手法を適用した。
  論文  参考訳（メタデータ） (2021-05-28T09:39:41Z)
• Efficient Deep Representation Learning by Adaptive Latent Space Sampling [16.320898678521843]
  監視されたディープラーニングには、アノテーションを備えた大量のトレーニングサンプルが必要です。 本稿では,学習プロセスに供給される情報サンプルを適応的に選択する新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-19T22:17:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。