論文の概要: Importance Sampling for Stochastic Gradient Descent in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2303.16529v1
• Date: Wed, 29 Mar 2023 08:35:11 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-30 15:27:06.985089
• Title: Importance Sampling for Stochastic Gradient Descent in Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークにおける確率的勾配Descenceの重要サンプリング
• Authors: Thibault Lahire
• Abstract要約: ディープニューラルネットワークのトレーニングのための重要サンプリングが広く研究されている。 本稿では,本研究領域に固有の課題について概説する。 本稿では,所定のサンプリング方式の品質を評価するための指標を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Stochastic gradient descent samples uniformly the training set to build an unbiased gradient estimate with a limited number of samples. However, at a given step of the training process, some data are more helpful than others to continue learning. Importance sampling for training deep neural networks has been widely studied to propose sampling schemes yielding better performance than the uniform sampling scheme. After recalling the theory of importance sampling for deep learning, this paper reviews the challenges inherent to this research area. In particular, we propose a metric allowing the assessment of the quality of a given sampling scheme; and we study the interplay between the sampling scheme and the optimizer used.
• Abstract（参考訳）: 確率的勾配降下サンプルは、限られたサンプル数で偏りのない勾配推定を構築するためのトレーニングセットを均一に設定する。 しかし、トレーニングプロセスの所定のステップでは、学習を続けるために他のデータよりも役に立つデータもある。 深層ニューラルネットワークのトレーニングにおける重要サンプリングは、一様サンプリング方式よりも優れた性能を示すサンプリングスキームを提案するために広く研究されている。 深層学習における重要度サンプリング理論を想起した後,本研究の課題を概観する。 特に,与えられたサンプリングスキームの品質を評価するための指標を提案し,サンプリングスキームと使用するオプティマイザの相互作用について検討する。

関連論文リスト

• Adaptive teachers for amortized samplers [76.88721198565861]
  償却推論(英: Amortized inference)とは、ニューラルネットワークなどのパラメトリックモデルをトレーニングし、正確なサンプリングが可能な所定の非正規化密度で分布を近似するタスクである。 オフ・ポリティクスのRLトレーニングは多様でハイ・リワードな候補の発見を促進するが、既存の手法は依然として効率的な探索の課題に直面している。 そこで本研究では,高次領域の優先順位付けにより,初等補正標本作成者(学生)の指導を指導する適応学習分布(教師)を提案する。
  論文  参考訳（メタデータ） (2024-10-02T11:33:13Z)
• Data Pruning via Moving-one-Sample-out [61.45441981346064]
  我々は移動1サンプルアウト(MoSo)と呼ばれる新しいデータ処理手法を提案する。 MoSoは、トレーニングセットから最も分かりにくいサンプルを特定し、削除することを目的としている。 実験結果から,MoSoは高プルーニング比で高い性能劣化を効果的に緩和することが示された。
  論文  参考訳（メタデータ） (2023-10-23T08:00:03Z)
• Sampling Through the Lens of Sequential Decision Making [9.101505546901999]
  我々はアダプティブ・サンプル・ウィズ・リワード(ASR)と呼ばれる報酬誘導型サンプリング戦略を提案する。 提案手法は,サンプリング過程を最適に調整し,最適性能を実現する。 情報検索とクラスタリングの実証的な結果は、異なるデータセット間でのASRのスーパーブパフォーマンスを示している。
  論文  参考訳（メタデータ） (2022-08-17T04:01:29Z)
• Active Learning for Deep Visual Tracking [51.5063680734122]
  畳み込みニューラルネットワーク(CNN)は近年,単一目標追跡タスクに成功している。 本稿では,ディープ・ビジュアル・トラッキングのためのアクティブ・ラーニング手法を提案する。 アクティブラーニングの指導のもと、トレーニングされた深層CNNモデルに基づくトラッカーは、ラベリングコストを低減しつつ、競合的なトラッキング性能を達成することができる。
  論文  参考訳（メタデータ） (2021-10-17T11:47:56Z)
• Beyond Farthest Point Sampling in Point-Wise Analysis [52.218037492342546]
  本稿では,ポイントワイズ分析タスクのための新しいデータ駆動型サンプル学習手法を提案する。 我々はサンプルと下流のアプリケーションを共同で学習する。 実験により, 従来のベースライン法に比べて, サンプルとタスクの同時学習が顕著に改善することが示された。
  論文  参考訳（メタデータ） (2021-07-09T08:08:44Z)
• AutoSampling: Search for Effective Data Sampling Schedules [118.20014773014671]
  モデル学習のためのサンプリングスケジュールを自動的に学習するAutoSampling法を提案する。 提案手法の有効性を示す様々な画像分類タスクに本手法を適用した。
  論文  参考訳（メタデータ） (2021-05-28T09:39:41Z)
• Robust Ensemble Model Training via Random Layer Sampling Against Adversarial Attack [38.1887818626171]
  本稿では,深層ニューラルネットワークのロバスト性を改善するために,ランダム層サンプリングを用いたアンサンブルモデルトレーニングフレームワークを提案する。 提案するトレーニングフレームワークでは,ランダム層サンプリングにより種々のサンプルモデルを生成し,サンプルモデルの重みを更新する。 アンサンブルモデルが訓練された後、効率よく勾配を隠蔽し、勾配に基づく攻撃を避けることができる。
  論文  参考訳（メタデータ） (2020-05-21T16:14:18Z)
• Efficient Deep Representation Learning by Adaptive Latent Space Sampling [16.320898678521843]
  監視されたディープラーニングには、アノテーションを備えた大量のトレーニングサンプルが必要です。 本稿では,学習プロセスに供給される情報サンプルを適応的に選択する新しいトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-19T22:17:02Z)
• Subset Sampling For Progressive Neural Network Learning [106.12874293597754]
  プログレッシブニューラルネットワーク学習は、ネットワークのトポロジを漸進的に構築し、トレーニングデータに基づいてパラメータを最適化するアルゴリズムのクラスである。 段階的なトレーニングステップ毎にトレーニングデータのサブセットを活用することで,このプロセスの高速化を提案する。 オブジェクト,シーン,顔の認識における実験結果から,提案手法が最適化手順を大幅に高速化することを示す。
  論文  参考訳（メタデータ） (2020-02-17T18:57:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。