論文の概要: Scalable Normalizing Flows for Permutation Invariant Densities

• arxiv url: http://arxiv.org/abs/2010.03242v2
• Date: Wed, 30 Jun 2021 10:50:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 22:27:36.771664
• Title: Scalable Normalizing Flows for Permutation Invariant Densities
• Title（参考訳）: 置換不変密度に対するスケーラブル正規化フロー
• Authors: Marin Bilo\v{s}, Stephan G\"unnemann
• Abstract要約: 有望なアプローチは、連続正規化フローを持つ置換不変密度の族を定義する。 この手法の重要なステップであるトレースの計算が、トレーニングと推論の両方で発生する問題を提起する方法を実証する。 我々は、閉じた形跡を与える置換同変変換を定義する別の方法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modeling sets is an important problem in machine learning since this type of data can be found in many domains. A promising approach defines a family of permutation invariant densities with continuous normalizing flows. This allows us to maximize the likelihood directly and sample new realizations with ease. In this work, we demonstrate how calculating the trace, a crucial step in this method, raises issues that occur both during training and inference, limiting its practicality. We propose an alternative way of defining permutation equivariant transformations that give closed form trace. This leads not only to improvements while training, but also to better final performance. We demonstrate the benefits of our approach on point processes and general set modeling.
• Abstract（参考訳）: このタイプのデータは、多くの領域で見られるため、機械学習においてモデリングセットは重要な問題である。 有望なアプローチは連続正規化フローを持つ置換不変密度の族を定義する。 これにより、可能性を直接最大化し、新しい実現を簡単にサンプルできます。 本研究では,この手法における重要なステップであるトレースの計算方法を示し,トレーニングと推論の両方で発生する問題を提起し,その実用性を制限する。 我々は、閉じた形跡を与える置換同変変換を定義する別の方法を提案する。 これはトレーニング中の改善だけでなく、最終的なパフォーマンス向上につながります。 我々は点過程と一般集合モデリングにおけるアプローチの利点を実証する。

関連論文リスト

• Unnatural Algorithms in Machine Learning [0.0]
  この特性を持つ最適化アルゴリズムは、自然勾配降下の離散近似とみなすことができる。 本稿では、この自然性をより一般的に導入する簡単な方法を紹介し、多くの一般的な機械学習トレーニングアルゴリズムについて検討する。
  論文  参考訳（メタデータ） (2023-12-07T22:43:37Z)
• Equivariant Adaptation of Large Pretrained Models [20.687626756753563]
  正規化ネットワークは,大規模な事前学習ネットワークの同種化に有効であることを示す。 データセットに依存した事前情報を用いて正準化関数を通知し、その性能を維持しながら、大きな事前訓練されたモデルを同変させることができる。
  論文  参考訳（メタデータ） (2023-10-02T21:21:28Z)
• Scalable and adaptive variational Bayes methods for Hawkes processes [4.580983642743026]
  本稿では,スペーサ性誘導法を提案し,一般的なシグモイドホークスプロセスに対する適応平均場変動アルゴリズムを導出する。 我々のアルゴリズムは並列性があり、したがって高次元設定では計算効率がよい。
  論文  参考訳（メタデータ） (2022-12-01T05:35:32Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Flow Network based Generative Models for Non-Iterative Diverse Candidate Generation [110.09855163856326]
  本稿では,アクションのシーケンスからオブジェクトを生成するためのポリシーを学習する問題について述べる。 本稿では,生成過程をフローネットワークとして見たGFlowNetを提案する。 提案した目的の任意のグローバルな最小限が、所望の分布から標本化する方針を導出することを証明する。
  論文  参考訳（メタデータ） (2021-06-08T14:21:10Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)
• Regularizing Towards Permutation Invariance in Recurrent Models [26.36835670113303]
  我々は、RNNが置換不変性に対して規則化可能であることを示し、その結果、コンパクトモデルが得られることを示した。 既存のソリューションは、主に、設計によって不変な置換性を持つ仮説クラスに学習問題を限定することを提案している。 提案手法は,合成および実世界のデータセットにおける他の置換不変手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-25T07:46:51Z)
• Robust, Accurate Stochastic Optimization for Variational Inference [68.83746081733464]
  また, 共通最適化手法は, 問題が適度に大きい場合, 変分近似の精度が低下することを示した。 これらの結果から,基礎となるアルゴリズムをマルコフ連鎖の生成とみなして,より堅牢で正確な最適化フレームワークを開発する。
  論文  参考訳（メタデータ） (2020-09-01T19:12:11Z)
• MINA: Convex Mixed-Integer Programming for Non-Rigid Shape Alignment [77.38594866794429]
  非剛体形状マッチングのための凸混合整数プログラミングの定式化。 効率的な低次元離散モデルに基づく新しい形状変形モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-28T09:54:06Z)
• Learning with Differentiable Perturbed Optimizers [54.351317101356614]
  本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。 提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。 本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
  論文  参考訳（メタデータ） (2020-02-20T11:11:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。