論文の概要: On Neural Architecture Inductive Biases for Relational Tasks

• arxiv url: http://arxiv.org/abs/2206.05056v1
• Date: Thu, 9 Jun 2022 16:24:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-13 15:22:32.505854
• Title: On Neural Architecture Inductive Biases for Relational Tasks
• Title（参考訳）: リレーショナルタスクに対するニューラルアーキテクチャ誘導バイアスについて
• Authors: Giancarlo Kerg, Sarthak Mittal, David Rolnick, Yoshua Bengio, Blake Richards, Guillaume Lajoie
• Abstract要約: 合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
• 参考スコア（独自算出の注目度）: 76.18938462270503
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current deep learning approaches have shown good in-distribution generalization performance, but struggle with out-of-distribution generalization. This is especially true in the case of tasks involving abstract relations like recognizing rules in sequences, as we find in many intelligence tests. Recent work has explored how forcing relational representations to remain distinct from sensory representations, as it seems to be the case in the brain, can help artificial systems. Building on this work, we further explore and formalize the advantages afforded by 'partitioned' representations of relations and sensory details, and how this inductive bias can help recompose learned relational structure in newly encountered settings. We introduce a simple architecture based on similarity scores which we name Compositional Relational Network (CoRelNet). Using this model, we investigate a series of inductive biases that ensure abstract relations are learned and represented distinctly from sensory data, and explore their effects on out-of-distribution generalization for a series of relational psychophysics tasks. We find that simple architectural choices can outperform existing models in out-of-distribution generalization. Together, these results show that partitioning relational representations from other information streams may be a simple way to augment existing network architectures' robustness when performing out-of-distribution relational computations.
• Abstract（参考訳）: 現在のディープラーニングアプローチは、分散の一般化性能は良好だが、分散の一般化には苦労している。 これは、多くのインテリジェンステストで見られるように、シーケンス内の規則を認識するといった抽象的な関係を含むタスクにおいて特に当てはまる。 近年の研究では、関係表現を感覚表現と区別し続けさせる方法が、脳の場合のように、人工的なシステムにおいてどのように役立つかが研究されている。 本研究を基礎として,関係と感覚の詳細の「分割」表現によって得られる利点と,この帰納的バイアスが新たに遭遇した場面で学習した関係構造を再構築する上でどのように役立つかを探求し,定式化する。 コンポジション関係ネットワーク(CoRelNet)と呼ばれる類似度スコアに基づくシンプルなアーキテクチャを導入する。 このモデルを用いて,感覚データから抽象関係を学習し,明確に表現する一連の帰納的バイアスを調査し,それらの影響を関連づけた心理物理学タスクの分布汎化について検討する。 単純なアーキテクチャ選択は、分布外一般化において既存のモデルより優れていることが分かる。 これらの結果から,リレーショナル表現を他の情報ストリームから分割することは,分散的リレーショナル計算を行う際の既存のネットワークアーキテクチャの堅牢性を高めるための簡単な方法である可能性が示唆された。

関連論文リスト

• Relational Composition in Neural Networks: A Survey and Call to Action [54.47858085003077]
  多くのニューラルネットは、データを「機能ベクトル」の線形結合として表現しているように見える。 我々は、この成功は関係性の構成を理解せずに不完全であると主張する。
  論文  参考訳（メタデータ） (2024-07-19T20:50:57Z)
• When Representations Align: Universality in Representation Learning Dynamics [8.188549368578704]
  我々は、入力から隠れ表現への符号化マップと、表現から出力への復号マップが任意の滑らかな関数であるという仮定の下で、表現学習の効果的な理論を導出する。 実験により,活性化関数とアーキテクチャの異なる深層ネットワークにおける表現学習力学の側面を効果的に記述することを示した。
  論文  参考訳（メタデータ） (2024-02-14T12:48:17Z)
• Learning Hierarchical Relational Representations through Relational Convolutions [2.5322020135765464]
  本稿では、より複雑な関係性の特徴を捉える計算機構を備えたニューラルネットワークである「リレーショナル畳み込みネットワーク」を紹介する。 このフレームワークの重要なコンポーネントは、グラフレットフィルタを畳み込み、オブジェクトのグループ内の関係パターンをキャプチャする新しい操作である。 アーキテクチャのモチベーションと詳細、およびリレーショナル畳み込みネットワークが階層構造を持つリレーショナルタスクをモデル化するための効果的なフレームワークを提供するための一連の実験を示す。
  論文  参考訳（メタデータ） (2023-10-05T01:22:50Z)
• Learning Complete Topology-Aware Correlations Between Relations for Inductive Link Prediction [121.65152276851619]
  関係性間の意味的相関は本質的にエッジレベルとエンティティ非依存であることを示す。 本研究では,関係関係のトポロジ・アウェア・コレレーションをモデル化するための新しいサブグラフベース手法,TACOを提案する。 RCNのポテンシャルをさらに活用するために, 完全コモンニアインダストリアルサブグラフを提案する。
  論文  参考訳（メタデータ） (2023-09-20T08:11:58Z)
• The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
  本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。 正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。 我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-07-21T12:01:03Z)
• Sparse Relational Reasoning with Object-Centric Representations [78.83747601814669]
  対象中心表現の操作において,リレーショナルニューラルアーキテクチャによって学習されたソフトルールの構成可能性について検討する。 特に特徴量の増加は,いくつかのモデルの性能を向上し,より単純な関係をもたらすことが判明した。
  論文  参考訳（メタデータ） (2022-07-15T14:57:33Z)
• Learning Dynamics and Structure of Complex Systems Using Graph Neural Networks [13.509027957413409]
  我々は、非線形力学系の例から時系列に適合するようにグラフニューラルネットワークを訓練した。 学習した表現とモデルコンポーネントの簡単な解釈を見出した。 我々は,信念伝達における統計的相互作用と,それに対応する学習ネットワークのパラメータ間のグラフトランスレータの同定に成功した。
  論文  参考訳（メタデータ） (2022-02-22T15:58:16Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Extrapolatable Relational Reasoning With Comparators in Low-Dimensional Manifolds [7.769102711230249]
  本稿では,現在のニューラルネットワークアーキテクチャと容易に融合可能な,神経科学にインスパイアされた誘導バイアスモジュールを提案する。 この誘導バイアスを持つニューラルネットは、様々な関係推論タスクにおいて、O.o.d一般化性能を著しく向上させることを示す。
  論文  参考訳（メタデータ） (2020-06-15T19:09:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。