論文の概要: A Relational Inductive Bias for Dimensional Abstraction in Neural
Networks
- arxiv url: http://arxiv.org/abs/2402.18426v1
- Date: Wed, 28 Feb 2024 15:51:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 14:26:03.944853
- Title: A Relational Inductive Bias for Dimensional Abstraction in Neural
Networks
- Title(参考訳): ニューラルネットワークにおける次元抽象化のためのリレーショナルインダクティブバイアス
- Authors: Declan Campbell, Jonathan D. Cohen
- Abstract要約: 本稿では,関係ボトルネックが合成符号化による因子化表現の学習に与える影響について検討する。
このようなボトルネックは、一般化と学習効率の向上だけでなく、ネットワーク性能と人間の行動バイアスの整合性も示している。
- 参考スコア(独自算出の注目度): 3.5063551678446494
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The human cognitive system exhibits remarkable flexibility and generalization
capabilities, partly due to its ability to form low-dimensional, compositional
representations of the environment. In contrast, standard neural network
architectures often struggle with abstract reasoning tasks, overfitting, and
requiring extensive data for training. This paper investigates the impact of
the relational bottleneck -- a mechanism that focuses processing on relations
among inputs -- on the learning of factorized representations conducive to
compositional coding and the attendant flexibility of processing. We
demonstrate that such a bottleneck not only improves generalization and
learning efficiency, but also aligns network performance with human-like
behavioral biases. Networks trained with the relational bottleneck developed
orthogonal representations of feature dimensions latent in the dataset,
reflecting the factorized structure thought to underlie human cognitive
flexibility. Moreover, the relational network mimics human biases towards
regularity without pre-specified symbolic primitives, suggesting that the
bottleneck fosters the emergence of abstract representations that confer
flexibility akin to symbols.
- Abstract(参考訳): ヒトの認知システムは、環境の低次元な構成表現を形成する能力があるため、顕著な柔軟性と一般化能力を示す。
対照的に、標準的なニューラルネットワークアーキテクチャは、しばしば抽象的な推論タスク、過剰フィッティング、トレーニングのために広範なデータを必要とする。
本稿では,入力間の関係に処理を集中するメカニズムであるリレーショナル・ボトルネックが,合成符号化に寄与する因子化表現の学習と処理の柔軟性に与える影響について検討する。
このようなボトルネックは、一般化と学習効率の向上だけでなく、ネットワーク性能と人間の行動バイアスの整合性も示している。
リレーショナルボトルネックでトレーニングされたネットワークは、データセットに潜む特徴次元の直交表現を開発し、人間の認知的柔軟性を損なうと考えられる因子構造を反映した。
さらに、関係ネットワークは、予め特定された記号プリミティブを使わずに、人間の正規性に対するバイアスを模倣し、ボトルネックがシンボルに似た柔軟性を提供する抽象表現の出現を促進することを示唆している。
関連論文リスト
- Sparse Relational Reasoning with Object-Centric Representations [78.83747601814669]
対象中心表現の操作において,リレーショナルニューラルアーキテクチャによって学習されたソフトルールの構成可能性について検討する。
特に特徴量の増加は,いくつかのモデルの性能を向上し,より単純な関係をもたらすことが判明した。
論文 参考訳(メタデータ) (2022-07-15T14:57:33Z) - On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。
単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
論文 参考訳(メタデータ) (2022-06-09T16:24:01Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - An Ensemble with Shared Representations Based on Convolutional Networks
for Continually Learning Facial Expressions [19.72032908764253]
アンサンブル予測による半教師付き学習は、人間とロボットの相互作用中に不規則な表情の高い露出を利用するための効率的な戦略です。
伝統的なアンサンブルベースのシステムは、高い冗長性につながる複数の独立した分類器で構成されています。
提案手法は, 異なるデータ分布から抽出したアンサンブルサンプルを用いて, 表情を連続的に学習できることを示す。
論文 参考訳(メタデータ) (2021-03-05T20:40:52Z) - On the Binding Problem in Artificial Neural Networks [12.04468744445707]
この欠点の根底にある原因は、動的かつ柔軟に情報を結合できないことである。
非構造化感覚入力から有意義な実体を形成するための統一フレームワークを提案する。
我々は,人間レベルの一般化を実現する上で,AIに対する構成的アプローチが基本的重要性であると考えている。
論文 参考訳(メタデータ) (2020-12-09T18:02:49Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳(メタデータ) (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。