論文の概要: RPN 2: On Interdependence Function Learning Towards Unifying and Advancing CNN, RNN, GNN, and Transformer

• arxiv url: http://arxiv.org/abs/2411.11162v1
• Date: Sun, 17 Nov 2024 19:45:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:36:26.995910
• Title: RPN 2: On Interdependence Function Learning Towards Unifying and Advancing CNN, RNN, GNN, and Transformer
• Title（参考訳）: RPN 2: CNN, RNN, GNN, Transformerの統一と拡張に向けた相互依存関数学習について
• Authors: Jiawei Zhang,
• Abstract要約: 本稿は、Reconciled Polynomial Network(RPN)に関するこれまでの研究に基づいています。 データと構造的相互依存関数を組み込むことで、RPN 2はアーキテクチャ内の新しいコンポーネント機能を介してデータ相互依存を明示的にモデル化する。
• 参考スコア（独自算出の注目度）: 8.168523242105763
• License:
• Abstract: This paper builds upon our previous work on the Reconciled Polynomial Network (RPN). The original RPN model was designed under the assumption of input data independence, presuming the independence among both individual instances within data batches and attributes in each data instance. However, this assumption often proves invalid for function learning tasks involving complex, interdependent data such as language, images, time series, and graphs. Ignoring such data interdependence may inevitably lead to significant performance degradation. To overcome these limitations, we introduce the new Reconciled Polynomial Network (version 2), namely RPN 2, in this paper. By incorporating data and structural interdependence functions, RPN 2 explicitly models data interdependence via new component functions in its architecture. This enhancement not only significantly improves RPN 2's learning performance but also substantially expands its unifying potential, enabling it to encompass a broader range of contemporary dominant backbone models within its canonical representation. These backbones include, but are not limited to, convolutional neural networks (CNNs), recurrent neural networks (RNNs), graph neural networks (GNNs), and Transformers. Our analysis reveals that the fundamental distinctions among these backbone models primarily stem from their diverse approaches to defining the interdependence functions. Furthermore, this unified representation opens up new opportunities for designing innovative architectures with the potential to surpass the performance of these dominant backbones.
• Abstract（参考訳）: 本稿では,Reconciled Polynomial Network (RPN) について述べる。 元々のRPNモデルは、入力データ独立性を前提として設計され、データバッチ内の個々のインスタンスと、各データインスタンス内の属性の両方の独立性を前提としていた。 しかし、この仮定は、言語、画像、時系列、グラフなどの複雑な相互依存データを含む関数学習タスクに対して無効であることがしばしば証明される。 このようなデータの相互依存を無視することは、必然的にパフォーマンスを著しく低下させる可能性がある。 これらの制約を克服するため、我々はReconciled Polynomial Network (version 2)、すなわちRPN 2を紹介した。 データと構造的相互依存関数を組み込むことで、RPN 2はアーキテクチャ内の新しいコンポーネント機能を介してデータ相互依存を明示的にモデル化する。 この拡張は、RPN 2の学習性能を大幅に改善するだけでなく、その統一可能性も大幅に拡大し、同時代の支配的なバックボーンモデルをその標準表現の中に含むことができる。 これらのバックボーンには、畳み込みニューラルネットワーク(CNN)、リカレントニューラルネットワーク(RNN)、グラフニューラルネットワーク(GNN)、トランスフォーマーが含まれる。 解析の結果,これらのバックボーンモデルの基本的な相違は主に相互依存関数を定義するための多種多様なアプローチに起因していることが明らかとなった。 さらに、この統一された表現は、これらの支配的なバックボーンのパフォーマンスを上回る可能性を秘めた革新的なアーキテクチャを設計する新たな機会を開く。

関連論文リスト

• Investigating Sparsity in Recurrent Neural Networks [0.0]
  本論文は, プルーニングとスパースリカレントニューラルネットワークがRNNの性能に与える影響を考察することに焦点を当てる。 まず,RNNの刈り込み,RNNの性能への影響,および刈り込み後の精度回復に必要な訓練エポック数について述べる。 次に、スパースリカレントニューラルネットワークの作成と訓練を継続し、その基礎となる任意の構造の性能とグラフ特性の関係を同定する。
  論文  参考訳（メタデータ） (2024-07-30T07:24:58Z)
• Equivariant Matrix Function Neural Networks [1.8717045355288808]
  解析行列同変関数を通じて非局所的相互作用をパラメータ化する新しいアーキテクチャであるマトリックス関数ニューラルネットワーク(MFNs)を導入する。 MFNは量子系の複雑な非局所的な相互作用を捉えることができ、新しい最先端の力場への道を歩むことができる。
  論文  参考訳（メタデータ） (2023-10-16T14:17:00Z)
• Privacy-Preserving Representation Learning for Text-Attributed Networks with Simplicial Complexes [24.82096971322501]
  simplicial Complex (RT4SC) のためのテキスト属性を用いた学習ネットワーク表現について, simplicial Neural Network (SNN) を用いて検討する。 SNNの表現出力に対する2つの潜在的攻撃について検討する。 本稿では,SNNからセキュアな表現出力を学習するための乗算器のプライバシー保護決定性差分的個人交互方向法について検討する。
  論文  参考訳（メタデータ） (2023-02-09T00:32:06Z)
• Neural Attentive Circuits [93.95502541529115]
  我々は、NAC(Neural Attentive Circuits)と呼ばれる汎用的でモジュラーなニューラルアーキテクチャを導入する。 NACは、ドメイン知識を使わずに、ニューラルネットワークモジュールのパラメータ化と疎結合を学習する。 NACは推論時に8倍のスピードアップを達成するが、性能は3%以下である。
  論文  参考訳（メタデータ） (2022-10-14T18:00:07Z)
• Universal approximation property of invertible neural networks [76.95927093274392]
  Invertible Neural Network (INN) は、設計によって可逆性を持つニューラルネットワークアーキテクチャである。 その可逆性とヤコビアンのトラクタビリティのおかげで、IGNは確率的モデリング、生成的モデリング、表現的学習など、さまざまな機械学習応用がある。
  論文  参考訳（メタデータ） (2022-04-15T10:45:26Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Random Graph-Based Neuromorphic Learning with a Layer-Weaken Structure [4.477401614534202]
  我々は,ランダムグラフ理論を実践的な意味でNNモデルに変換し,各ニューロンの入出力関係を明らかにする。 この低演算コストアプローチでは、ニューロンはいくつかのグループに割り当てられ、接続関係はそれらに属するランダムグラフの一様表現とみなすことができる。 本稿では,複数のRGNN間の情報インタラクションを含む共同分類機構を開発し,教師付き学習における3つのベンチマークタスクの大幅な性能向上を実現する。
  論文  参考訳（メタデータ） (2021-11-17T03:37:06Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• Skip-Connected Self-Recurrent Spiking Neural Networks with Joint Intrinsic Parameter and Synaptic Weight Training [14.992756670960008]
  我々はSkip-Connected Self-Recurrent SNNs (ScSr-SNNs) と呼ばれる新しいタイプのRSNNを提案する。 ScSr-SNNは、最先端BP法で訓練された他のタイプのRSNNと比較して、パフォーマンスを最大2.55%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-23T22:27:13Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。