論文の概要: Universal Approximation of Functions on Sets

• arxiv url: http://arxiv.org/abs/2107.01959v1
• Date: Mon, 5 Jul 2021 11:56:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 18:38:30.539172
• Title: Universal Approximation of Functions on Sets
• Title（参考訳）: 集合上の関数の普遍近似
• Authors: Edward Wagstaff, Fabian B. Fuchs, Martin Engelcke, Michael A. Osborne, Ingmar Posner
• Abstract要約: ディープ集合は連続集合函数の普遍近似として知られている。 ディープ・セットはジャノッシー・プール・パラダイムの最も効率的なインカーネーションと見なすことができる。
• 参考スコア（独自算出の注目度）: 39.35754251872388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modelling functions of sets, or equivalently, permutation-invariant functions, is a long-standing challenge in machine learning. Deep Sets is a popular method which is known to be a universal approximator for continuous set functions. We provide a theoretical analysis of Deep Sets which shows that this universal approximation property is only guaranteed if the model's latent space is sufficiently high-dimensional. If the latent space is even one dimension lower than necessary, there exist piecewise-affine functions for which Deep Sets performs no better than a na\"ive constant baseline, as judged by worst-case error. Deep Sets may be viewed as the most efficient incarnation of the Janossy pooling paradigm. We identify this paradigm as encompassing most currently popular set-learning methods. Based on this connection, we discuss the implications of our results for set learning more broadly, and identify some open questions on the universality of Janossy pooling in general.
• Abstract（参考訳）: 集合のモデリング関数、あるいは同値な置換不変関数は、機械学習における長年の課題である。 Deep Sets は連続集合関数の普遍近似器として知られている一般的な方法である。 モデルの潜在空間が十分に高次元である場合にのみ、この普遍近似特性が保証されることを示すディープ集合の理論解析を提供する。 潜在空間が必要よりも1次元低い場合、最悪の場合の誤差によって判断されるように、深い集合がna\"ive constant baseよりもうまく機能しない分割アフィン函数が存在する。 深層集合はjanossyプーリングパラダイムの最も効率的なインカーネーションと見なすことができる。 このパラダイムは、現在最も普及しているセットラーニングメソッドを包含するものだと考えています。 この関係に基づき、集合学習における結果の意味をより広く議論し、一般にジャノッシープールの普遍性に関するいくつかのオープンな疑問を識別する。

関連論文リスト

• Enhancing Neural Subset Selection: Integrating Background Information into Set Representations [53.15923939406772]
  対象値が入力集合とサブセットの両方に条件付けされている場合、スーパーセットのテクスティ不変な統計量を関心のサブセットに組み込むことが不可欠であることを示す。 これにより、出力値がサブセットとその対応するスーパーセットの置換に不変であることを保証する。
  論文  参考訳（メタデータ） (2024-02-05T16:09:35Z)
• Complexity-Theoretic Implications of Multicalibration [8.315801422499863]
  多精度予測器はより強い条件を満たす:それらはコレクションの各セットで校正される。 この複雑性理論的正則性レンマは、異なる領域に影響を及ぼすことが知られている。 すべての函数(その硬さによらず)が不随伴なハードコア集合の小さな集合を持つことが示される。
  論文  参考訳（メタデータ） (2023-12-28T18:53:21Z)
• Universal Representation of Permutation-Invariant Functions on Vectors and Tensors [11.345796608258434]
  我々の研究の主な対象は、様々な大きさの入力に対する多元関数、すなわち置換不変関数である。 citezaheer 2017deepによって提案されたDeep Setsは、和分解可能なモデルを通じてスカラー上の連続的多重集合関数の指数表現を提供する。 普遍表現は連続かつ不連続な多重集合函数に対して保証されるが、潜在空間次元は$O(ND)$である。
  論文  参考訳（メタデータ） (2023-10-20T22:00:59Z)
• Deep Generalized Schr\"odinger Bridge [26.540105544872958]
  平均フィールドゲーム(Mean-Field Game)は、個々のエージェントの集合的振る舞いをモデル化する重要な数学的枠組みとして機能する。 エントロピー規則化された最適輸送モデルとして、Schr"odinger Bridgeは平均場構造を受け入れるために一般化可能であることを示す。 我々の手法はDeep Generalized Schr"odinger Bridge (DeepGSB) と呼ばれ、古典的な集団ナビゲーションMFGの解法よりも優れている。
  論文  参考訳（メタデータ） (2022-09-20T17:47:15Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear Modulation [69.34011200590817]
  本稿では,特徴量線形変調の概念に基づく暗黙のアンサンブル手法であるFiLM-Ensembleを紹介する。 単一ディープネットワークのネットワークアクティベーションをFiLMで変調することにより、高多様性のモデルアンサンブルを得る。 我々は、FiLM-Ensembleが他の暗黙のアンサンブル法よりも優れており、ネットワークの明示的なアンサンブルの上限に非常に近いことを示す。
  論文  参考訳（メタデータ） (2022-05-31T18:33:15Z)
• Learning Neural Set Functions Under the Optimal Subset Oracle [48.20868958542155]
  本稿では,EquiVSetと呼ばれる,原則的かつ実用的な最大度学習フレームワークを提案する。 当社のフレームワークは,OSオラクル下での学習セット関数のデシラタに適合する。 これらの高度なアーキテクチャのエレガントな組み合わせのおかげで、3つの実世界のアプリケーションに関する実証的研究は、EquiVSetがベースラインを大きなマージンで上回っていることを示している。
  論文  参考訳（メタデータ） (2022-03-03T12:59:00Z)
• Pareto Navigation Gradient Descent: a First-Order Algorithm for Optimization in Pareto Set [17.617944390196286]
  マルチタスク学習のような現代の機械学習アプリケーションは、複数の目的関数をトレードオフするために最適なモデルパラメータを見つける必要がある。 勾配情報のみを用いてOPT-in-Paretoを近似的に解く1次アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-17T04:07:04Z)
• Learning Aggregation Functions [78.47770735205134]
  任意の濃度の集合に対する学習可能なアグリゲータであるLAF(Learning Aggregation Function)を紹介する。 半合成および実データを用いて,LAFが最先端の和(max-)分解アーキテクチャより優れていることを示す実験を報告する。
  論文  参考訳（メタデータ） (2020-12-15T18:28:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。