論文の概要: Modeling Structure with Undirected Neural Networks
- arxiv url: http://arxiv.org/abs/2202.03760v1
- Date: Tue, 8 Feb 2022 10:06:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-09 13:47:35.179577
- Title: Modeling Structure with Undirected Neural Networks
- Title（参考訳）: 非指向型ニューラルネットワークによる構造モデリング
- Authors: Tsvetomila Mihaylova, Vlad Niculae, Andr\'e F. T. Martins
- Abstract要約: 任意の順序で実行できる計算を指定するためのフレキシブルなフレームワークである、非指向型ニューラルネットワークを提案する。
さまざまなタスクにおいて、非構造的かつ構造化された非指向型ニューラルアーキテクチャの有効性を実証する。
- 参考スコア（独自算出の注目度）: 20.506232306308977
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks are powerful function estimators, leading to their status as
a paradigm of choice for modeling structured data. However, unlike other
structured representations that emphasize the modularity of the problem --
e.g., factor graphs -- neural networks are usually monolithic mappings from
inputs to outputs, with a fixed computation order. This limitation prevents
them from capturing different directions of computation and interaction between
the modeled variables.
In this paper, we combine the representational strengths of factor graphs and
of neural networks, proposing undirected neural networks (UNNs): a flexible
framework for specifying computations that can be performed in any order. For
particular choices, our proposed models subsume and extend many existing
architectures: feed-forward, recurrent, self-attention networks, auto-encoders,
and networks with implicit layers. We demonstrate the effectiveness of
undirected neural architectures, both unstructured and structured, on a range
of tasks: tree-constrained dependency parsing, convolutional image
classification, and sequence completion with attention. By varying the
computation order, we show how a single UNN can be used both as a classifier
and a prototype generator, and how it can fill in missing parts of an input
sequence, making them a promising field for further research.
- Abstract（参考訳）: ニューラルネットワークは強力な関数推定器であり、構造化データモデリングのパラダイムとしての地位に繋がる。
しかし、問題(例えば因子グラフ)のモジュラリティを強調する他の構造化表現とは異なり、ニューラルネットワークは通常、入力から出力へのモノリシックなマッピングであり、計算順序は一定である。
この制限は、モデル化された変数間の計算と相互作用の異なる方向を捉えることを妨げる。
本稿では,因子グラフとニューラルネットワークの表現強度を組み合わせて,任意の順序で実行できる計算を記述可能な柔軟なフレームワークであるundirected Neural Network(UNN)を提案する。
提案するモデルでは,フィードフォワード,リカレント,自己アテンションネットワーク,自動エンコーダ,暗黙のレイヤを持つネットワークなど,既存のアーキテクチャをサブセットして拡張する。
本研究では,木制約による依存性解析,畳み込み画像分類,注意を伴うシーケンス補完といったタスクにおいて,非構造的・構造的ニューラルアーキテクチャの有効性を示す。
計算順序を変化させることで、単一のUNNを分類器とプロトタイプ生成器の両方として使用し、入力シーケンスの欠落部分を補う方法を示し、さらなる研究の場として期待できる。
関連論文リスト
- Semantic Loss Functions for Neuro-Symbolic Structured Prediction [74.18322585177832]
このような構造に関する知識を象徴的に定義した意味的損失をトレーニングに注入する。
記号の配置に非依存であり、それによって表現される意味論にのみ依存する。
識別型ニューラルモデルと生成型ニューラルモデルの両方と組み合わせることができる。
論文 参考訳（メタデータ） (2024-05-12T22:18:25Z) - Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。
我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。
本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
論文 参考訳（メタデータ） (2024-03-18T18:01:01Z) - Structured Neural Networks for Density Estimation and Causal Inference [15.63518195860946]
ニューラルネットワークに構造を注入することで、入力のサブセットに関する不変性を満たす学習機能を実現することができる。
本稿では,ニューラルネットワークのマスキング経路を通じて構造を注入する構造ニューラルネットワーク(StrNN)を提案する。
論文 参考訳（メタデータ） (2023-11-03T20:15:05Z) - Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。
我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。
ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
論文 参考訳（メタデータ） (2023-05-26T04:34:28Z) - Permutation Equivariant Neural Functionals [92.0667671999604]
この研究は、他のニューラルネットワークの重みや勾配を処理できるニューラルネットワークの設計を研究する。
隠れた層状ニューロンには固有の順序がないため, 深いフィードフォワードネットワークの重みに生じる置換対称性に着目する。
実験の結果, 置換同変ニューラル関数は多種多様なタスクに対して有効であることがわかった。
論文 参考訳（メタデータ） (2023-02-27T18:52:38Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳（メタデータ） (2022-11-15T10:15:21Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Random Graph-Based Neuromorphic Learning with a Layer-Weaken Structure [4.477401614534202]
我々は,ランダムグラフ理論を実践的な意味でNNモデルに変換し,各ニューロンの入出力関係を明らかにする。
この低演算コストアプローチでは、ニューロンはいくつかのグループに割り当てられ、接続関係はそれらに属するランダムグラフの一様表現とみなすことができる。
本稿では,複数のRGNN間の情報インタラクションを含む共同分類機構を開発し,教師付き学習における3つのベンチマークタスクの大幅な性能向上を実現する。
論文 参考訳（メタデータ） (2021-11-17T03:37:06Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。