論文の概要: Gradient Estimation with Stochastic Softmax Tricks

• arxiv url: http://arxiv.org/abs/2006.08063v3
• Date: Sun, 28 Feb 2021 23:43:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 02:49:20.946891
• Title: Gradient Estimation with Stochastic Softmax Tricks
• Title（参考訳）: 確率的ソフトマックストリックによる勾配推定
• Authors: Max B. Paulus, Dami Choi, Daniel Tarlow, Andreas Krause, Chris J. Maddison
• Abstract要約: Gumbel-Softmax のトリックを空間に一般化するソフトマックスのトリックを導入する。 ソフトマックスのトリックは、より優れた性能を示す潜在変数モデルを訓練し、より潜時構造を発見するのに利用できる。
• 参考スコア（独自算出の注目度）: 84.68686389163153
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Gumbel-Max trick is the basis of many relaxed gradient estimators. These estimators are easy to implement and low variance, but the goal of scaling them comprehensively to large combinatorial distributions is still outstanding. Working within the perturbation model framework, we introduce stochastic softmax tricks, which generalize the Gumbel-Softmax trick to combinatorial spaces. Our framework is a unified perspective on existing relaxed estimators for perturbation models, and it contains many novel relaxations. We design structured relaxations for subset selection, spanning trees, arborescences, and others. When compared to less structured baselines, we find that stochastic softmax tricks can be used to train latent variable models that perform better and discover more latent structure.
• Abstract（参考訳）: ガンベル・マックスのトリックは多くの緩和された勾配推定器の基礎である。 これらの推定器は実装が容易で分散度も低いが、大規模な組合せ分布に包括的にスケールするという目的はまだ優れている。 摂動モデルフレームワーク内で作業し、Gumbel-Softmax トリックを組合せ空間に一般化する確率的ソフトマックストリックを導入する。 我々のフレームワークは、摂動モデルのための既存の緩和推定器の統一的な視点であり、多くの新しい緩和を含んでいる。 我々は、サブセット選択、スパンニングツリー、アーボラッセンスなどの構造的緩和を設計する。 より構造化の少ないベースラインと比較して、確率的ソフトマックスのトリックは、より優れた性能を示す潜在変数モデルを訓練し、より潜在構造を発見するために使用できる。

関連論文リスト

• Adaptive Sampled Softmax with Inverted Multi-Index: Methods, Theory and Applications [79.53938312089308]
  MIDX-Samplerは、逆多重インデックスアプローチに基づく新しい適応型サンプリング戦略である。 本手法は, サンプリングバイアス, 勾配バイアス, 収束速度, 一般化誤差境界などの重要な問題に対処するため, 厳密な理論的解析によって裏付けられている。
  論文  参考訳（メタデータ） (2025-01-15T04:09:21Z)
• On Least Square Estimation in Softmax Gating Mixture of Experts [78.3687645289918]
  決定論的MoEモデルに基づく最小二乗推定器(LSE)の性能について検討する。 我々は,多種多様な専門家関数の収束挙動を特徴付けるために,強い識別可能性という条件を確立する。 本研究は,専門家の選択に重要な意味を持つ。
  論文  参考訳（メタデータ） (2024-02-05T12:31:18Z)
• r-softmax: Generalized Softmax with Controllable Sparsity Rate [11.39524236962986]
  本稿では,ソフトマックスの修正であるr-softmaxを提案し,スパース確率分布を制御可能なスペーサ率で出力する。 我々は、r-softmaxが他のソフトマックス代替品よりも優れており、元のソフトマックスと高い競争力を持つ複数のマルチラベルデータセットを示す。
  論文  参考訳（メタデータ） (2023-04-11T14:28:29Z)
• Semidefinite Relaxations for Robust Multiview Triangulation [53.360555898338106]
  既存の緩和手法を最小2乗のコスト関数を組み込むことで、非ロバストなマルチビュー三角測量に拡張する。 提案手法は,大きな雑音と大容量の異常の下でも,証明可能な最適再構成を計算できることを実証する。
  論文  参考訳（メタデータ） (2023-01-26T21:31:32Z)
• Optimal Sparse Regression Trees [24.03491277969824]
  本研究は,確率的最適スパース回帰木の構築に対する動的プログラミングとバウンドのアプローチを提案する。 ラベル集合上の1次元におけるk平均クラスタリングアルゴリズムの最適解に基づいて、新しい下界を利用する。
  論文  参考訳（メタデータ） (2022-11-28T00:43:21Z)
• Leveraging Recursive Gumbel-Max Trick for Approximate Inference in Combinatorial Spaces [4.829821142951709]
  構造化潜在変数は、深層学習モデルに意味のある事前知識を組み込むことができる。 標準的な学習手法は、潜伏変数をアルゴリズム出力として定義し、訓練に微分可能な代理語を使用することである。 我々は、Gumbel-Maxトリックを拡張して、構造化領域上の分布を定義する。
  論文  参考訳（メタデータ） (2021-10-28T12:46:10Z)
• Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
  我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。 このアプローチは多くの実装と最適化の課題をもたらします。 提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
  論文  参考訳（メタデータ） (2021-03-18T14:26:26Z)
• Nearly Dimension-Independent Sparse Linear Bandit over Small Action Spaces via Best Subset Selection [71.9765117768556]
  本研究では,高次元線形モデルの下での文脈的帯域問題について考察する。 この設定は、パーソナライズされたレコメンデーション、オンライン広告、パーソナライズされた医療など、不可欠な応用を見出す。 本稿では,最適部分集合選択法を用いて2重成長エポックを推定する手法を提案する。
  論文  参考訳（メタデータ） (2020-09-04T04:10:39Z)
• Efficient Marginalization of Discrete and Structured Latent Variables via Sparsity [26.518803984578867]
  離散的な(分類的または構造化された)潜在変数を持つニューラルネットワークモデルを訓練することは、計算的に困難である。 典型的には、真の限界のサンプリングに基づく近似に頼っている。 そこで本研究では,これらの推定器を高精度かつ効率的なマージン化によって置き換える新たなトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-07-03T19:36:35Z)
• Structure Adaptive Algorithms for Stochastic Bandits [22.871155520200773]
  構造化多武装バンディット問題のクラスにおける報酬最大化について検討する。 平均的な武器の報酬は、与えられた構造的制約を満たす。 我々は、反復的なサドルポイントソルバを用いて、インスタンス依存の低バウンドからのアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2020-07-02T08:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。