論文の概要: A Constant-time Adaptive Negative Sampling

• arxiv url: http://arxiv.org/abs/2012.15843v1
• Date: Thu, 31 Dec 2020 18:56:41 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 17:22:12.469074
• Title: A Constant-time Adaptive Negative Sampling
• Title（参考訳）: 定時間適応負サンプリング
• Authors: Shabnam Daghaghi, Tharun Medini, Beidi Chen, Mengnan Zhao, Anshumali Shrivastava
• Abstract要約: サンプリングスキームが真に適応し,一定の時間内に負のサンプルを生成できる分布のクラスを示す。 C++のコモディティCPUへの実装は、ウォールクロック時間の観点から、はるかに高速です。
• 参考スコア（独自算出の注目度）: 33.585006286223994
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Softmax classifiers with a very large number of classes naturally occur in many applications such as natural language processing and information retrieval. The calculation of full-softmax is very expensive from the computational and energy perspective. There have been a variety of sampling approaches to overcome this challenge, popularly known as negative sampling (NS). Ideally, NS should sample negative classes from a distribution that is dependent on the input data, the current parameters, and the correct positive class. Unfortunately, due to the dynamically updated parameters and data samples, there does not exist any sampling scheme that is truly adaptive and also samples the negative classes in constant time every iteration. Therefore, alternative heuristics like random sampling, static frequency-based sampling, or learning-based biased sampling, which primarily trade either the sampling cost or the adaptivity of samples per iteration, are adopted. In this paper, we show a class of distribution where the sampling scheme is truly adaptive and provably generates negative samples in constant time. Our implementation in C++ on commodity CPU is significantly faster, in terms of wall clock time, compared to the most optimized TensorFlow implementations of standard softmax or other sampling approaches on modern GPUs (V100s).
• Abstract（参考訳）: 非常に多数のクラスを持つsoftmax分類器は自然言語処理や情報検索といった多くのアプリケーションで自然に発生する。 フルソフトマックスの計算は計算とエネルギーの観点から非常に高価である。 この課題を克服するための様々なサンプリングアプローチがあり、一般には負サンプリング(NS)として知られている。 理想的には、NSは入力データ、現在のパラメータ、正しい正のクラスに依存する分布から負のクラスをサンプリングする必要がある。 残念ながら、動的に更新されたパラメータとデータサンプルのため、真に適応的なサンプリングスキームはなく、反復毎に一定の時間内に負のクラスをサンプリングする。 そのため、ランダムサンプリング、静的周波数ベースサンプリング、学習ベースのバイアスサンプリングといった、主にサンプリングコストとイテレーション当たりのサンプルの適応性を交換する代替ヒューリスティックが採用される。 本稿では,サンプリング方式が真に適応し,一定の時間内に負のサンプルを確実に生成する分布のクラスを示す。 C++のコモディティCPUへの実装は、標準的なソフトマックスや他の最新のGPU(V100s)へのサンプリングアプローチの最も最適化されたTensorFlow実装と比較して、ウォールクロック時間の観点からはるかに高速です。

関連論文リスト

• Adaptive Selection of Sampling-Reconstruction in Fourier Compressed Sensing [13.775902519100075]
  圧縮センシング(CS)は、ナイキストサンプリングの非効率性を克服するために出現している。 ディープラーニングベースの再構築は、最適化ベースの再構築に代わる有望な代替手段である。
  論文  参考訳（メタデータ） (2024-09-18T06:51:29Z)
• Restart Sampling for Improving Generative Processes [30.745245429072735]
  ODEベースのサンプリングは高速であるが,SDEベースのサンプリングはサンプリング時間の増加を犠牲にして高い品質のサンプルを提供する。 本稿では,離散化誤差と収縮のバランスを改善するために,Restartと呼ばれる新しいサンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-26T17:48:25Z)
• Let's Sample Step by Step: Adaptive-Consistency for Efficient Reasoning and Coding with LLMs [60.58434523646137]
  大規模言語モデル(LLM)からの出力の正確性を改善するための一般的なアプローチは、自己整合性である。 コスト効率のよいモデルに依存しない手法であるAdaptive-Consistencyを導入し,各質問のサンプル数を動的に調整する。 実験の結果,Adaptive-Consistencyはサンプル予算を最大7.9倍に削減し,平均精度は0.1%以下であった。
  論文  参考訳（メタデータ） (2023-05-19T17:49:25Z)
• Bias Mimicking: A Simple Sampling Approach for Bias Mitigation [57.17709477668213]
  本稿では,新しいクラス条件サンプリング手法であるBias Mimickingを紹介する。 Bias Mimickingは、4つのベンチマークで3%の精度でサンプリングの精度を向上する。
  論文  参考訳（メタデータ） (2022-09-30T17:33:00Z)
• Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
  我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。 我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
  論文  参考訳（メタデータ） (2022-07-16T03:09:30Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• On the Comparison between Cyclic Sampling and Random Reshuffling [27.27774034428748]
  周期的なサンプリングは、サンプルを周期的に再シャッフルするよりも頑丈でない、固定された循環的な順序でサンプルを引き出す。 既存の研究は、循環サンプリングにおける最悪のケース収束率を確立しており、一般にランダムリシャフリングよりも悪い。 本論文では,リシャッフルよりも一定の周期順序の方がはるかに早く,低コストで発見できることを発見した。
  論文  参考訳（メタデータ） (2021-04-25T09:29:43Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Minority Class Oversampling for Tabular Data with Deep Generative Models [4.976007156860967]
  オーバーサンプリングによる非バランスな分類タスクの性能向上を図るために, 深層生成モデルを用いて現実的なサンプルを提供する能力について検討した。 実験の結果,サンプリング手法は品質に影響を与えないが,実行環境は様々であることがわかった。 また、性能指標の点でも改善が重要であるが、絶対的な点では小さな点がしばしば見られる。
  論文  参考訳（メタデータ） (2020-05-07T21:35:57Z)
• Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
  カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。 我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
  論文  参考訳（メタデータ） (2020-04-23T05:00:21Z)
• Incremental Sampling Without Replacement for Sequence Models [39.3035292844624]
  広範囲なランダム化プログラムから置き換えることなくサンプリングを行うエレガントな手順を提案する。 当社のアプローチは漸進的,すなわちサンプルを一度に1つずつ描画することで,柔軟性の向上を実現しています。
  論文  参考訳（メタデータ） (2020-02-21T00:12:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。