論文の概要: A Review of the Gumbel-max Trick and its Extensions for Discrete Stochasticity in Machine Learning

• arxiv url: http://arxiv.org/abs/2110.01515v1
• Date: Mon, 4 Oct 2021 15:34:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-05 19:15:14.126434
• Title: A Review of the Gumbel-max Trick and its Extensions for Discrete Stochasticity in Machine Learning
• Title（参考訳）: 機械学習における離散確率性のためのGumbel-max Trickとその拡張
• Authors: Iris A. M. Huijben, Wouter Kool, Max B. Paulus, Ruud J. G. van Sloun
• Abstract要約: Gumbel-max トリック(英: Gumbel-max trick)は、その非正規化(log-)確率によって与えられるカテゴリ分布からサンプルを引き出す方法である。 過去数年間、機械学習コミュニティは、複数のサンプルの描画、構造化ドメインからのサンプリング、ニューラルネットワーク最適化におけるエラーバックプロパゲーションの勾配推定などを容易にするために、このトリックのいくつかの拡張を提案してきた。
• 参考スコア（独自算出の注目度）: 27.069604864691566
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Gumbel-max trick is a method to draw a sample from a categorical distribution, given by its unnormalized (log-)probabilities. Over the past years, the machine learning community has proposed several extensions of this trick to facilitate, e.g., drawing multiple samples, sampling from structured domains, or gradient estimation for error backpropagation in neural network optimization. The goal of this survey article is to present background about the Gumbel-max trick, and to provide a structured overview of its extensions to ease algorithm selection. Moreover, it presents a comprehensive outline of (machine learning) literature in which Gumbel-based algorithms have been leveraged, reviews commonly-made design choices, and sketches a future perspective.
• Abstract（参考訳）: Gumbel-max トリック(Gumbel-max trick)は、その非正規化(log-)確率によって与えられるカテゴリ分布からサンプルを引き出す方法である。 過去数年間、機械学習コミュニティは、複数のサンプルの描画、構造化されたドメインからのサンプリング、ニューラルネットワーク最適化におけるエラーバックプロパゲーションの勾配推定など、このトリックのいくつかの拡張を提案した。 本研究の目的は,Gumbel-maxトリックの背景と,アルゴリズム選択を容易にするための拡張の構造化概要を提供することである。 さらに、Gumbelベースのアルゴリズムが活用され、一般的な設計選択をレビューし、将来の展望をスケッチする(機械学習)文献の概要を包括的に提示する。

関連論文リスト

• Generator Born from Classifier [66.56001246096002]
  データサンプルに頼ることなく、イメージジェネレータを再構築することを目指している。 本稿では,ネットワークパラメータの収束条件を満たすために,ジェネレータを訓練する新しい学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-12-05T03:41:17Z)
• Learning to Branch in Combinatorial Optimization with Graph Pointer Networks [17.729352126574902]
  本稿では,分岐境界における変数選択ポリシーを学習するためのグラフポインターネットワークモデルを提案する。 グラフニューラルネットワークとポインタ機構を組み合わせたモデルでは,解法状態から分岐変数決定への効果的マッピングが可能である。
  論文  参考訳（メタデータ） (2023-07-04T01:56:07Z)
• Classified as unknown: A novel Bayesian neural network [0.0]
  完全連結ニューラルネットワークのための効率の良いベイズ学習アルゴリズムを開発した。 多層パーセプトロンから多層パーセプトロンへの二元分類のための単一パーセプトロンのアルゴリズムを一般化する。
  論文  参考訳（メタデータ） (2023-01-31T04:27:09Z)
• Importance Weighted Structure Learning for Scene Graph Generation [40.46394569128303]
  本稿では,シーングラフ生成のための重み付き構造学習手法を提案する。 結果として生じる制約付き変動推論タスクを解決するために、一般的なエントロピーミラー降下アルゴリズムを適用した。 提案手法は,様々な人気シーングラフ生成ベンチマークにおいて,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-05-14T09:25:14Z)
• Bayesian Graph Contrastive Learning [55.36652660268726]
  本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。 提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。 いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2021-12-15T01:45:32Z)
• Learning Debiased and Disentangled Representations for Semantic Segmentation [52.35766945827972]
  セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。 各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。 提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
  論文  参考訳（メタデータ） (2021-10-31T16:15:09Z)
• Graph-Embedded Subspace Support Vector Data Description [98.78559179013295]
  一クラス分類のための新しいサブスペース学習フレームワークを提案する。 提案されたフレームワークはグラフ埋め込みという形で問題を提示する。 ベースラインに対する改善されたパフォーマンスと、最近提案された1クラス分類のためのサブスペース学習方法を示す。
  論文  参考訳（メタデータ） (2021-04-29T14:30:48Z)
• Beta-CoRM: A Bayesian Approach for $n$-gram Profiles Analysis [0.0]
  提案したモデリングの柔軟性により、生成モデルにおける特徴選択への簡単なアプローチを考えることができる。 スライスサンプリングアルゴリズムは高速な推論手順のために導出され、合成および実データシナリオに適用される。
  論文  参考訳（メタデータ） (2020-11-23T17:12:34Z)
• Gradient Estimation with Stochastic Softmax Tricks [84.68686389163153]
  Gumbel-Softmax のトリックを空間に一般化するソフトマックスのトリックを導入する。 ソフトマックスのトリックは、より優れた性能を示す潜在変数モデルを訓練し、より潜時構造を発見するのに利用できる。
  論文  参考訳（メタデータ） (2020-06-15T00:43:44Z)
• Option Discovery in the Absence of Rewards with Manifold Analysis [16.260113196512865]
  我々は、特定の報酬やタスクの割り当てにアクセスできることなく、体系的にオプションを発見できるアルゴリズムを導出する。 従来の手法とは対照的に,本アルゴリズムはグラフラプラシアンのスペクトルをフル活用する。
  論文  参考訳（メタデータ） (2020-03-12T16:14:24Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。