論文の概要: Revisiting Score Function Estimators for $k$-Subset Sampling

• arxiv url: http://arxiv.org/abs/2407.16058v2
• Date: Fri, 16 Aug 2024 10:29:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-19 17:49:17.959682
• Title: Revisiting Score Function Estimators for $k$-Subset Sampling
• Title（参考訳）: $k$-subsetサンプリングのためのスコア関数推定器の再検討
• Authors: Klas Wijk, Ricardo Vinuesa, Hossein Azizpour,
• Abstract要約: 離散フーリエ変換を用いて,$k$-subset分布のスコア関数を効率的に計算する方法を示す。 得られた推定器は、正確なサンプルと偏りのない勾配推定の両方を提供する。 特徴選択の実験は、仮定が弱いにもかかわらず、現在の手法と競合する結果を示している。
• 参考スコア（独自算出の注目度）: 5.464421236280698
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Are score function estimators an underestimated approach to learning with $k$-subset sampling? Sampling $k$-subsets is a fundamental operation in many machine learning tasks that is not amenable to differentiable parametrization, impeding gradient-based optimization. Prior work has focused on relaxed sampling or pathwise gradient estimators. Inspired by the success of score function estimators in variational inference and reinforcement learning, we revisit them within the context of $k$-subset sampling. Specifically, we demonstrate how to efficiently compute the $k$-subset distribution's score function using a discrete Fourier transform, and reduce the estimator's variance with control variates. The resulting estimator provides both exact samples and unbiased gradient estimates while also applying to non-differentiable downstream models, unlike existing methods. Experiments in feature selection show results competitive with current methods, despite weaker assumptions.
• Abstract（参考訳）: スコア関数推定は$k$-subsetサンプリングによる学習の過小評価手法か? k$-subsetsをサンプリングすることは、微分可能なパラメトリゼーションには適さない多くの機械学習タスクの基本的な操作であり、勾配に基づく最適化を妨げる。 以前の研究は、緩やかなサンプリングや道順勾配推定に重点を置いていた。 変分推論および強化学習におけるスコア関数推定器の成功に触発されて、$k$-subset サンプリングの文脈で再検討する。 具体的には、離散フーリエ変換を用いて、$k$-subset分布のスコア関数を効率的に計算し、制御変数による推定値の分散を低減する方法を示す。 得られた推定器は、既存の方法とは異なり、非微分不可能な下流モデルにも適用しながら、正確なサンプルと偏りのない勾配推定の両方を提供する。 特徴選択の実験は、仮定が弱いにもかかわらず、現在の手法と競合する結果を示している。

関連論文リスト

• Generalized Differentiable RANSAC [95.95627475224231]
  $nabla$-RANSACは、ランダム化された堅牢な推定パイプライン全体を学ぶことができる、微分可能なRANSACである。 $nabla$-RANSACは、精度という点では最先端のシステムよりも優れているが、精度は低い。
  論文  参考訳（メタデータ） (2022-12-26T15:13:13Z)
• SIMPLE: A Gradient Estimator for $k$-Subset Sampling [42.38652558807518]
  この作業では、フォワードパスの離散$k$-subsetサンプリングに戻ります。 勾配推定器 SIMPLE は, 最先端推定器と比較して, バイアスやばらつきが低いことを示す。 実験結果から,線形回帰を説明・スパースする学習性能が向上した。
  論文  参考訳（メタデータ） (2022-10-04T22:33:16Z)
• Measuring the Effect of Training Data on Deep Learning Predictions via Randomized Experiments [5.625056584412003]
  本研究では,ディープラーニングモデルに対するトレーニングデータポイントの寄与度を推定するアルゴリズムを開発した。 提案アルゴリズムは,トレーニングデータのサブセットにデータポイントを追加することにより,期待値(平均値)の限界効果を測定する量であるAMEを推定する。
  論文  参考訳（メタデータ） (2022-06-20T21:27:18Z)
• Gradient Estimation with Discrete Stein Operators [44.64146470394269]
  離散分布に対するスタイン演算子に基づく分散化手法を提案する。 提案手法は,同数の関数評価値を持つ最先端推定値よりも,かなり低い分散性を実現する。
  論文  参考訳（メタデータ） (2022-02-19T02:22:23Z)
• Unrolling Particles: Unsupervised Learning of Sampling Distributions [102.72972137287728]
  粒子フィルタリングは複素系の優れた非線形推定を計算するために用いられる。 粒子フィルタは様々なシナリオにおいて良好な推定値が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-06T16:58:34Z)
• Storchastic: A Framework for General Stochastic Automatic Differentiation [9.34612743192798]
  グラフの自動微分のための新しいフレームワークであるstorchasticを紹介する。 Storchasticにより、モデラーはサンプリングステップごとに様々な勾配推定方法を選択することができる。 Storchasticは任意の階勾配の推定に偏見がなく、分散減少技術を高階勾配推定に一般化する。
  論文  参考訳（メタデータ） (2021-04-01T12:19:54Z)
• Optimal Off-Policy Evaluation from Multiple Logging Policies [77.62012545592233]
  我々は,複数のロギングポリシからオフ政治評価を行い,それぞれが一定のサイズ,すなわち階層化サンプリングのデータセットを生成する。 複数ロガーのOPE推定器は,任意のインスタンス,すなわち効率のよいインスタンスに対して最小分散である。
  論文  参考訳（メタデータ） (2020-10-21T13:43:48Z)
• Exploratory Landscape Analysis is Strongly Sensitive to the Sampling Strategy [8.246980996934347]
  明示的な問題表現が利用できないブラックボックス最適化では、少数のサンプルポイントから特徴値を近似する必要がある。 本研究では,サンプリング法とサンプルサイズが特徴値の近似値の品質に与える影響を解析する。
  論文  参考訳（メタデータ） (2020-06-19T13:45:13Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Spatially Adaptive Inference with Stochastic Feature Sampling and Interpolation [72.40827239394565]
  スパースサンプリングされた場所のみの機能を計算することを提案する。 次に、効率的な手順で特徴写像を密に再構築する。 提案したネットワークは、様々なコンピュータビジョンタスクの精度を維持しながら、かなりの計算を省くために実験的に示されている。
  論文  参考訳（メタデータ） (2020-03-19T15:36:31Z)
• Estimating Gradients for Discrete Random Variables by Sampling without Replacement [93.09326095997336]
  我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。 推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。