論文の概要: Universal Representation of Permutation-Invariant Functions on Vectors and Tensors

• arxiv url: http://arxiv.org/abs/2310.13829v1
• Date: Fri, 20 Oct 2023 22:00:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 04:57:43.856409
• Title: Universal Representation of Permutation-Invariant Functions on Vectors and Tensors
• Title（参考訳）: ベクトルとテンソル上の置換不変関数の普遍表現
• Authors: Puoya Tabaghi, Yusu Wang
• Abstract要約: 我々の研究の主な対象は、様々な大きさの入力に対する多元関数、すなわち置換不変関数である。 citezaheer 2017deepによって提案されたDeep Setsは、和分解可能なモデルを通じてスカラー上の連続的多重集合関数の指数表現を提供する。 普遍表現は連続かつ不連続な多重集合函数に対して保証されるが、潜在空間次元は$O(ND)$である。
• 参考スコア（独自算出の注目度）: 11.345796608258434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A main object of our study is multiset functions -- that is, permutation-invariant functions over inputs of varying sizes. Deep Sets, proposed by \cite{zaheer2017deep}, provides a \emph{universal representation} for continuous multiset functions on scalars via a sum-decomposable model. Restricting the domain of the functions to finite multisets of $D$-dimensional vectors, Deep Sets also provides a \emph{universal approximation} that requires a latent space dimension of $O(N^D)$ -- where $N$ is an upper bound on the size of input multisets. In this paper, we strengthen this result by proving that universal representation is guaranteed for continuous and discontinuous multiset functions though a latent space dimension of $O(N^D)$. We then introduce \emph{identifiable} multisets for which we can uniquely label their elements using an identifier function, namely, finite-precision vectors are identifiable. Using our analysis on identifiable multisets, we prove that a sum-decomposable model for general continuous multiset functions only requires a latent dimension of $2DN$. We further show that both encoder and decoder functions of the model are continuous -- our main contribution to the existing work which lack such a guarantee. Also this provides a significant improvement over the aforementioned $O(N^D)$ bound which was derived for universal representation of continuous and discontinuous multiset functions. We then extend our results and provide special sum-decomposition structures to universally represent permutation-invariant tensor functions on identifiable tensors. These families of sum-decomposition models enables us to design deep network architectures and deploy them on a variety of learning tasks on sequences, images, and graphs.
• Abstract（参考訳）: 我々の研究の主な対象は、様々な大きさの入力に対する多元関数、すなわち置換不変関数である。 Deep Sets は \cite{zaheer2017deep} によって提案され、和分解可能なモデルを通してスカラー上の連続多重集合関数に対して \emph{universal representation} を提供する。 関数の領域を、$d$-次元ベクトルの有限多重集合に制限すると、ディープ集合はまた、入力多重集合の大きさの上限が$n$であるような、潜空間次元が $o(n^d)$ であるような \emph{universal approximation} も提供する。 本稿では, 普遍表現が連続かつ不連続な多重集合函数に対して, 潜在空間次元が $o(n^d)$ でありながら保証されることを示すことにより, この結果を強化する。 次に、識別子関数を用いてそれらの要素を一意にラベル付けできるような \emph{identible} 多重集合を導入する。 同定可能な多重集合に関する解析を用いて、一般連続的多重集合関数に対する和分解可能モデルは2DN$の潜在次元しか必要としないことを示す。 さらに、モデルのエンコーダ関数とデコーダ関数の両方が継続していることも示しています。 これはまた、連続かつ不連続な多重集合関数の普遍表現のために導かれた、前述の $o(n^d)$ bound を大幅に改善する。 そして、結果を拡張し、置換不変テンソル関数を同定可能なテンソル上で普遍的に表現する特別な和分解構造を提供する。 このような総和分解モデルによって,ディープネットワークアーキテクチャの設計と,シーケンスやイメージ,グラフといったさまざまな学習タスクへのデプロイが可能になります。

関連論文リスト

• Structure of universal formulas [13.794391803767617]
  本稿では,大域近似特性と無限VC次元の弱い性質を結合するクラス階層を導入する。 活性化するニューロンの層が1つ以上ある固定サイズニューラルネットワークは任意の有限集合上の関数を近似できないことを示す。 任意の有限集合上の関数を近似する2層ニューラルネットワークを含む関数族を例に挙げるが、定義領域全体においてそれを行うことができない。
  論文  参考訳（メタデータ） (2023-11-07T11:50:25Z)
• Polynomial Width is Sufficient for Set Representation with High-dimensional Features [69.65698500919869]
  DeepSetsは集合表現のための最も広く使われているニューラルネットワークアーキテクチャである。 a) 線形 + パワーアクティベーション (LP) と (b) 線形 + 指数的アクティベーション (LE) の2つの集合要素埋め込み層を示す。
  論文  参考訳（メタデータ） (2023-07-08T16:00:59Z)
• Quantics Tensor Cross Interpolation for High-Resolution, Parsimonious Representations of Multivariate Functions in Physics and Beyond [0.0]
  両スキームの利点を組み合わせた戦略である量子TCI(QTCI)を提案する。 凝縮物質物理学の応用でその可能性を説明する。
  論文  参考訳（メタデータ） (2023-03-21T13:02:58Z)
• Multi-block-Single-probe Variance Reduced Estimator for Coupled Compositional Optimization [49.58290066287418]
  構成問題の複雑さを軽減するために,MSVR (Multi-block-probe Variance Reduced) という新しい手法を提案する。 本研究の結果は, 試料の複雑さの順序や強靭性への依存など, 様々な面で先行して改善された。
  論文  参考訳（メタデータ） (2022-07-18T12:03:26Z)
• Submodular + Concave [53.208470310734825]
  第一次最適化法が凹関数の最大目的値に収束できることはよく確立されている。 本研究では、滑らかな函数凸体(英語版)の行列式を$F(x) = G(x) +C(x)$で始める。 このクラスの函数は、保証がないような凹凸函数と連続DR-部分モジュラ函数の両方の拡張である。
  論文  参考訳（メタデータ） (2021-06-09T01:59:55Z)
• Learning Aggregation Functions [78.47770735205134]
  任意の濃度の集合に対する学習可能なアグリゲータであるLAF(Learning Aggregation Function)を紹介する。 半合成および実データを用いて,LAFが最先端の和(max-)分解アーキテクチャより優れていることを示す実験を報告する。
  論文  参考訳（メタデータ） (2020-12-15T18:28:53Z)
• On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces [208.67848059021915]
  強化学習のコアにおける探索・探索トレードオフについて検討する。 特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。 私たちの後悔の限界はエピソードの数とは無関係です。
  論文  参考訳（メタデータ） (2020-11-09T18:32:22Z)
• From Sets to Multisets: Provable Variational Inference for Probabilistic Integer Submodular Models [82.95892656532696]
  サブモジュール関数は機械学習やデータマイニングにおいて広く研究されている。 本研究では,整数部分モジュラ函数に対する連続DR-部分モジュラ拡張を提案する。 整数部分モジュラー関数によって定義される新しい確率モデルを定式化する。
  論文  参考訳（メタデータ） (2020-06-01T22:20:45Z)
• Representing Unordered Data Using Complex-Weighted Multiset Automata [23.68657135308002]
  我々は、既存のニューラルネットワークアーキテクチャのマルチセット表現を、我々の特別なケースとみなすことができることを示す。 すなわち、正弦波関数を用いたトランスフォーマーモデルの位置表現に対して、新しい理論的、直感的な正当性を与える。 私たちはDeepSetsモデルを複雑な数に拡張し、既存のモデルをそのタスクの1つの拡張で上回るようにします。
  論文  参考訳（メタデータ） (2020-01-02T20:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。