論文の概要: SIMPLE: A Gradient Estimator for $k$-Subset Sampling

• arxiv url: http://arxiv.org/abs/2210.01941v2
• Date: Thu, 6 Jun 2024 23:33:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 23:14:33.772456
• Title: SIMPLE: A Gradient Estimator for $k$-Subset Sampling
• Title（参考訳）: SIMPLE:$k$-subsetサンプリングのための勾配推定器
• Authors: Kareem Ahmed, Zhe Zeng, Mathias Niepert, Guy Van den Broeck,
• Abstract要約: この作業では、フォワードパスの離散$k$-subsetサンプリングに戻ります。 勾配推定器 SIMPLE は, 最先端推定器と比較して, バイアスやばらつきが低いことを示す。 実験結果から,線形回帰を説明・スパースする学習性能が向上した。
• 参考スコア（独自算出の注目度）: 42.38652558807518
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: $k$-subset sampling is ubiquitous in machine learning, enabling regularization and interpretability through sparsity. The challenge lies in rendering $k$-subset sampling amenable to end-to-end learning. This has typically involved relaxing the reparameterized samples to allow for backpropagation, with the risk of introducing high bias and high variance. In this work, we fall back to discrete $k$-subset sampling on the forward pass. This is coupled with using the gradient with respect to the exact marginals, computed efficiently, as a proxy for the true gradient. We show that our gradient estimator, SIMPLE, exhibits lower bias and variance compared to state-of-the-art estimators, including the straight-through Gumbel estimator when $k = 1$. Empirical results show improved performance on learning to explain and sparse linear regression. We provide an algorithm for computing the exact ELBO for the $k$-subset distribution, obtaining significantly lower loss compared to SOTA.
• Abstract（参考訳）: $k$-subsetのサンプリングは機械学習においてユビキタスであり、スパーシティによる正規化と解釈を可能にしている。 この課題は、エンドツーエンドの学習に適した$k$-subsetサンプリングのレンダリングにある。 これは典型的には、バックプロパゲーションを可能にするために再パラメータ化されたサンプルを緩和することであり、高いバイアスと高い分散をもたらすリスクがある。 この作業では、フォワードパスの離散$k$-subsetサンプリングに戻ります。 これは、真の勾配のプロキシとして効率的に計算された、正確な辺辺に関する勾配と結合する。 勾配推定器 SIMPLE は,k = 1$ のときのストレートスルー Gumbel 推定器を含む最先端推定器と比較して,バイアスやばらつきが低いことを示す。 実験結果から,線形回帰を説明・スパースする学習性能が向上した。 我々は,$k$-subset分布の正確なELBOを計算し,SOTAと比較して損失を著しく低減するアルゴリズムを提案する。

関連論文リスト

• Improving the Convergence Rates of Forward Gradient Descent with Repeated Sampling [5.448070998907116]
  前向き勾配降下(FGD)は、生物学的により妥当な勾配降下の代替として提案されている。 本稿では、各トレーニングサンプルに基づいて、$ell$FGDステップを計算することにより、この亜最適係数が$d/(ell wedge d)$となることを示す。 また、繰り返しサンプリングしたFGDは入力分布の低次元構造に適応できることを示す。
  論文  参考訳（メタデータ） (2024-11-26T16:28:16Z)
• Revisiting Score Function Estimators for $k$-Subset Sampling [5.464421236280698]
  離散フーリエ変換を用いて,$k$-subset分布のスコア関数を効率的に計算する方法を示す。 得られた推定器は、正確なサンプルと偏りのない勾配推定の両方を提供する。 特徴選択の実験は、仮定が弱いにもかかわらず、現在の手法と競合する結果を示している。
  論文  参考訳（メタデータ） (2024-07-22T21:26:39Z)
• Retire: Robust Expectile Regression in High Dimensions [3.9391041278203978]
  ペナル化量子化法と期待回帰法は、高次元データの異方性検出に有用な手段を提供する。 我々は,頑健な期待回帰(退職)を提案し,研究する。 提案手法は半平滑なニュートン座標降下アルゴリズムにより効率よく解けることを示す。
  論文  参考訳（メタデータ） (2022-12-11T18:03:12Z)
• Adaptive Sketches for Robust Regression with Importance Sampling [64.75899469557272]
  我々は、勾配降下(SGD)による頑健な回帰を解くためのデータ構造を導入する。 我々のアルゴリズムは、サブ線形空間を使用し、データに1回パスするだけで、SGDの$T$ステップを重要サンプリングで効果的に実行します。
  論文  参考訳（メタデータ） (2022-07-16T03:09:30Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Carath\'eodory Sampling for Stochastic Gradient Descent [79.55586575988292]
  本稿では,Tchakaloff と Carath'eodory の古典的な結果から着想を得た手法を提案する。 我々は、測定値の低減を行う降下ステップを適応的に選択する。 これをBlock Coordinate Descentと組み合わせることで、測定の削減を極めて安価に行えるようにします。
  論文  参考訳（メタデータ） (2020-06-02T17:52:59Z)
• Learning Entangled Single-Sample Distributions via Iterative Trimming [28.839136703139225]
  そこで本研究では, 反復トリミング標本に基づいて, 簡便かつ効率的な手法を解析し, トリミング標本集合上のパラメータを再推定する。 対数反復法では, 誤差が$lceil alpha n rceil$-th ノイズ点の雑音レベルにのみ依存する推定値が出力されることを示す。
  論文  参考訳（メタデータ） (2020-04-20T18:37:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。