論文の概要: Incremental Sampling Without Replacement for Sequence Models

• arxiv url: http://arxiv.org/abs/2002.09067v2
• Date: Tue, 20 Jul 2021 00:09:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-30 00:50:57.927741
• Title: Incremental Sampling Without Replacement for Sequence Models
• Title（参考訳）: シーケンスモデルの置換のないインクリメンタルサンプリング
• Authors: Kensen Shi, David Bieber, Charles Sutton
• Abstract要約: 広範囲なランダム化プログラムから置き換えることなくサンプリングを行うエレガントな手順を提案する。 当社のアプローチは漸進的,すなわちサンプルを一度に1つずつ描画することで,柔軟性の向上を実現しています。
• 参考スコア（独自算出の注目度）: 39.3035292844624
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling is a fundamental technique, and sampling without replacement is often desirable when duplicate samples are not beneficial. Within machine learning, sampling is useful for generating diverse outputs from a trained model. We present an elegant procedure for sampling without replacement from a broad class of randomized programs, including generative neural models that construct outputs sequentially. Our procedure is efficient even for exponentially-large output spaces. Unlike prior work, our approach is incremental, i.e., samples can be drawn one at a time, allowing for increased flexibility. We also present a new estimator for computing expectations from samples drawn without replacement. We show that incremental sampling without replacement is applicable to many domains, e.g., program synthesis and combinatorial optimization.
• Abstract（参考訳）: サンプリングは基本的な手法であり、重複サンプルが有用でない場合には、置換せずにサンプリングすることが望ましい。 機械学習では、トレーニングされたモデルから多様な出力を生成するのにサンプリングが有用である。 本稿では,出力を逐次生成する生成ニューラルモデルを含む,広範囲なランダム化プログラムから置き換えることなくサンプリングを行うエレガントな手法を提案する。 我々の手順は指数関数的に大きい出力空間でも効率的である。 以前の作業とは異なり、私たちのアプローチはインクリメンタルであり、サンプルは一度に1つずつ描画でき、柔軟性が向上します。 また,代替のないサンプルから期待値を計算するための新しい推定器を提案する。 置換のないインクリメンタルサンプリングは,プログラム合成や組合せ最適化など,多くの領域に適用可能であることを示す。

関連論文リスト

• Adaptive Selection of Sampling-Reconstruction in Fourier Compressed Sensing [13.775902519100075]
  圧縮センシング(CS)は、ナイキストサンプリングの非効率性を克服するために出現している。 ディープラーニングベースの再構築は、最適化ベースの再構築に代わる有望な代替手段である。
  論文  参考訳（メタデータ） (2024-09-18T06:51:29Z)
• Priority Sampling of Large Language Models for Compilers [4.2266182821287135]
  プライオリティサンプリングは、モデルの信頼性によって順序付けられたユニークなサンプルを生成する、単純で決定論的サンプリング技術である。 正規表現に基づいた生成をサポートし、制御可能で構造化された探索プロセスを提供する。 これは、オリジナルのモデルのトレーニングのためにラベルの生成に使用するオートチューニングを、わずか30のサンプルで上回っている。
  論文  参考訳（メタデータ） (2024-02-28T22:27:49Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)
• Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
  我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。 我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
  論文  参考訳（メタデータ） (2022-07-16T03:09:30Z)
• Diverse Human Motion Prediction via Gumbel-Softmax Sampling from an Auxiliary Space [34.83587750498361]
  多様な人間の動き予測は、観測されたポーズのシーケンスから、複数の将来のポーズシーケンスを予測することを目的としている。 従来のアプローチでは、通常、データの条件分布をモデル化するために深い生成ネットワークを使用し、その後、分布からランダムにサンプル結果を得る。 不均衡なマルチモーダル分布から非常に多様な結果をサンプリングするための新しいサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2022-07-15T09:03:57Z)
• POODLE: Improving Few-shot Learning via Penalizing Out-of-Distribution Samples [19.311470287767385]
  そこで本研究では,対象クラス外からのラベル付きサンプルの配布外サンプルを用いて,数発の学習を改善することを提案する。 提案手法は, 実装が簡単で, 特徴抽出器に非依存であり, 事前学習に要する追加コストを伴わず軽量であり, インダクティブ設定とトランスダクティブ設定の両方に適用可能である。
  論文  参考訳（メタデータ） (2022-06-08T18:59:21Z)
• Reparameterized Sampling for Generative Adversarial Networks [71.30132908130581]
  本稿では,マルコフ連鎖をジェネレータの潜在空間に再配置することで,一般依存型提案を可能にする新しいサンプリング手法REP-GANを提案する。 実験的な実験により、我々のREP-GANはサンプル効率を大幅に改善し、同時により良いサンプル品質を得ることを示した。
  論文  参考訳（メタデータ） (2021-07-01T10:34:55Z)
• A Constant-time Adaptive Negative Sampling [33.585006286223994]
  サンプリングスキームが真に適応し,一定の時間内に負のサンプルを生成できる分布のクラスを示す。 C++のコモディティCPUへの実装は、ウォールクロック時間の観点から、はるかに高速です。
  論文  参考訳（メタデータ） (2020-12-31T18:56:41Z)
• Non-Adaptive Adaptive Sampling on Turnstile Streams [57.619901304728366]
  カラムサブセット選択、部分空間近似、射影クラスタリング、および空間サブリニアを$n$で使用するターンタイルストリームのボリュームに対する最初の相対エラーアルゴリズムを提供する。 我々の適応的なサンプリング手法は、様々なデータ要約問題に多くの応用をもたらしており、これは最先端を改善するか、より緩和された行列列モデルで以前に研究されただけである。
  論文  参考訳（メタデータ） (2020-04-23T05:00:21Z)
• Efficiently Sampling Functions from Gaussian Process Posteriors [76.94808614373609]
  高速後部サンプリングのための簡易かつ汎用的なアプローチを提案する。 分離されたサンプルパスがガウス過程の後部を通常のコストのごく一部で正確に表現する方法を実証する。
  論文  参考訳（メタデータ） (2020-02-21T14:03:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。