論文の概要: On permutation-invariant neural networks

• arxiv url: http://arxiv.org/abs/2403.17410v2
• Date: Thu, 28 Mar 2024 22:28:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-01 11:08:03.406800
• Title: On permutation-invariant neural networks
• Title（参考訳）: 置換不変ニューラルネットワークについて
• Authors: Masanari Kimura, Ryotaro Shimizu, Yuki Hirakawa, Ryosuke Goto, Yuki Saito,
• Abstract要約: Deep SetsやTransformersといったニューラルネットワークアーキテクチャの出現は、セットベースのデータ処理において大きな進歩を見せている。 この総合的な調査は、設定関数を近似するニューラルネットワークに関する様々な問題設定と進行中の研究の概観を提供することを目的としている。
• 参考スコア（独自算出の注目度）: 8.633259015417993
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional machine learning algorithms have traditionally been designed under the assumption that input data follows a vector-based format, with an emphasis on vector-centric paradigms. However, as the demand for tasks involving set-based inputs has grown, there has been a paradigm shift in the research community towards addressing these challenges. In recent years, the emergence of neural network architectures such as Deep Sets and Transformers has presented a significant advancement in the treatment of set-based data. These architectures are specifically engineered to naturally accommodate sets as input, enabling more effective representation and processing of set structures. Consequently, there has been a surge of research endeavors dedicated to exploring and harnessing the capabilities of these architectures for various tasks involving the approximation of set functions. This comprehensive survey aims to provide an overview of the diverse problem settings and ongoing research efforts pertaining to neural networks that approximate set functions. By delving into the intricacies of these approaches and elucidating the associated challenges, the survey aims to equip readers with a comprehensive understanding of the field. Through this comprehensive perspective, we hope that researchers can gain valuable insights into the potential applications, inherent limitations, and future directions of set-based neural networks. Indeed, from this survey we gain two insights: i) Deep Sets and its variants can be generalized by differences in the aggregation function, and ii) the behavior of Deep Sets is sensitive to the choice of the aggregation function. From these observations, we show that Deep Sets, one of the well-known permutation-invariant neural networks, can be generalized in the sense of a quasi-arithmetic mean.
• Abstract（参考訳）: 従来の機械学習アルゴリズムは、入力データがベクトル中心のパラダイムに重点を置いてベクトルベースのフォーマットに従うという仮定の下で伝統的に設計されてきた。 しかし、セットベース入力に関わるタスクの需要が高まるにつれて、これらの課題に対処する研究コミュニティのパラダイムシフトが進んでいる。 近年、Deep SetsやTransformersといったニューラルネットワークアーキテクチャの出現は、セットベースのデータ処理において大きな進歩を見せている。 これらのアーキテクチャは、集合を入力として自然に適応するように特別に設計されており、集合構造のより効率的な表現と処理を可能にしている。 その結果、集合関数の近似を含む様々なタスクに対して、これらのアーキテクチャの能力を探索し活用するための研究が急増した。 この総合的な調査は、設定関数を近似するニューラルネットワークに関する様々な問題設定と進行中の研究の概観を提供することを目的としている。 これらのアプローチの複雑さを掘り下げて、関連する課題を解明することで、この調査は、読者にその分野を包括的に理解させることを目的としている。 この包括的視点を通じて、研究者たちは、セットベースのニューラルネットワークの潜在的な応用、固有の制限、そして将来の方向性について、貴重な洞察を得ることができることを願っている。 実際、この調査から2つの洞察を得た。 一 深集合及びその変種は、集約関数の差分により一般化することができる。 二 ディープセットの挙動は、アグリゲーション関数の選択に敏感である。 これらの観測結果から,置換不変ニューラルネットワークとしてよく知られたDeep Setsが準パラメータ平均の意味で一般化できることが示唆された。

関連論文リスト

• Relational Composition in Neural Networks: A Survey and Call to Action [54.47858085003077]
  多くのニューラルネットは、データを「機能ベクトル」の線形結合として表現しているように見える。 我々は、この成功は関係性の構成を理解せずに不完全であると主張する。
  論文  参考訳（メタデータ） (2024-07-19T20:50:57Z)
• Enhancing Neural Subset Selection: Integrating Background Information into Set Representations [53.15923939406772]
  対象値が入力集合とサブセットの両方に条件付けされている場合、スーパーセットのテクスティ不変な統計量を関心のサブセットに組み込むことが不可欠であることを示す。 これにより、出力値がサブセットとその対応するスーパーセットの置換に不変であることを保証する。
  論文  参考訳（メタデータ） (2024-02-05T16:09:35Z)
• A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
  Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
  論文  参考訳（メタデータ） (2023-06-11T23:13:51Z)
• Multiobjective Evolutionary Pruning of Deep Neural Networks with Transfer Learning for improving their Performance and Robustness [15.29595828816055]
  本研究は,多目的進化解析アルゴリズムMO-EvoPruneDeepTLを提案する。 我々は、トランスファーラーニングを使用して、遺伝的アルゴリズムによって進化したスパース層に置き換えることで、ディープニューラルネットワークの最後の層を適応します。 実験の結果,提案手法は全ての目的に対して有望な結果が得られ,直接的な関係が示された。
  論文  参考訳（メタデータ） (2023-02-20T19:33:38Z)
• Learning Invariances with Generalised Input-Convex Neural Networks [3.5611181253285253]
  本稿では,スムーズなネットワークを形成する連結レベルセットを持つことが保証される関数を表現する,フレキシブルニューラルネットワークの新たなクラスを紹介する。 計算化学などの実世界の応用において,不変性を特徴付ける新しい手法が強力な生成データ探索ツールであることを示す。
  論文  参考訳（メタデータ） (2022-04-14T15:03:30Z)
• Redefining Neural Architecture Search of Heterogeneous Multi-Network Models by Characterizing Variation Operators and Model Components [71.03032589756434]
  複素領域における異なる変動演算子の効果について検討する。 モデルの複雑さと性能に影響を及ぼす変化演算子と、それを構成する異なる部分の質を推定する様々な指標に依存するモデルの両方を特徴付ける。
  論文  参考訳（メタデータ） (2021-06-16T17:12:26Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learn to Predict Sets Using Feed-Forward Neural Networks [63.91494644881925]
  本稿では、ディープフィードフォワードニューラルネットワークを用いた設定予測の課題に対処する。 未知の置換と基数を持つ集合を予測するための新しい手法を提案する。 関連視覚問題に対する集合定式化の有効性を実証する。
  論文  参考訳（メタデータ） (2020-01-30T01:52:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。