論文の概要: On the Binding Problem in Artificial Neural Networks

• arxiv url: http://arxiv.org/abs/2012.05208v1
• Date: Wed, 9 Dec 2020 18:02:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 06:00:28.486490
• Title: On the Binding Problem in Artificial Neural Networks
• Title（参考訳）: ニューラルネットワークにおける結合問題について
• Authors: Klaus Greff, Sjoerd van Steenkiste, J\"urgen Schmidhuber
• Abstract要約: この欠点の根底にある原因は、動的かつ柔軟に情報を結合できないことである。 非構造化感覚入力から有意義な実体を形成するための統一フレームワークを提案する。 我々は,人間レベルの一般化を実現する上で,AIに対する構成的アプローチが基本的重要性であると考えている。
• 参考スコア（独自算出の注目度）: 12.04468744445707
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Contemporary neural networks still fall short of human-level generalization, which extends far beyond our direct experiences. In this paper, we argue that the underlying cause for this shortcoming is their inability to dynamically and flexibly bind information that is distributed throughout the network. This binding problem affects their capacity to acquire a compositional understanding of the world in terms of symbol-like entities (like objects), which is crucial for generalizing in predictable and systematic ways. To address this issue, we propose a unifying framework that revolves around forming meaningful entities from unstructured sensory inputs (segregation), maintaining this separation of information at a representational level (representation), and using these entities to construct new inferences, predictions, and behaviors (composition). Our analysis draws inspiration from a wealth of research in neuroscience and cognitive psychology, and surveys relevant mechanisms from the machine learning literature, to help identify a combination of inductive biases that allow symbolic information processing to emerge naturally in neural networks. We believe that a compositional approach to AI, in terms of grounded symbol-like representations, is of fundamental importance for realizing human-level generalization, and we hope that this paper may contribute towards that goal as a reference and inspiration.
• Abstract（参考訳）: 現代のニューラルネットワークは、人間のレベルの一般化にはまだ不足しています。 本稿では,この欠点の根底にある原因として,ネットワーク全体に分散する情報を動的かつ柔軟に結合できないことを挙げる。 この結合問題は、シンボルのような実体(オブジェクトなど)の観点から世界の構成的理解を得る能力に影響を与え、予測可能で体系的な方法の一般化に不可欠である。 この問題に対処するため,非構造化感覚入力から有意義な実体を形成(分離)し,情報分離を表現レベル(表現)で維持し,それらの実体を用いて新たな推論,予測,行動(構成)を構築するための統合フレームワークを提案する。 我々の分析は神経科学と認知心理学の豊富な研究からインスピレーションを得ており、機械学習の文献から関連するメカニズムを調査し、ニューラルネットワークに象徴的な情報処理が自然に現れるように誘導バイアスの組み合わせを特定するのに役立つ。 我々は,人間レベルの一般化を実現する上で,AIに対する構成的アプローチが基本的重要性であると考えており,本論文が参照とインスピレーションとしてその目標に寄与することを願っている。

関連論文リスト

• A Relational Inductive Bias for Dimensional Abstraction in Neural Networks [3.5063551678446494]
  本稿では,関係ボトルネックが合成符号化による因子化表現の学習に与える影響について検討する。 このようなボトルネックは、一般化と学習効率の向上だけでなく、ネットワーク性能と人間の行動バイアスの整合性も示している。
  論文  参考訳（メタデータ） (2024-02-28T15:51:05Z)
• Binding Dynamics in Rotating Features [72.80071820194273]
  本稿では,特徴間のアライメントを明示的に計算し,それに応じて重みを調整する「コサイン結合」機構を提案する。 これにより、自己注意と生物学的神経プロセスに直接接続し、回転する特徴に現れるオブジェクト中心の表現の基本的なダイナミクスに光を当てることができます。
  論文  参考訳（メタデータ） (2024-02-08T12:31:08Z)
• A Survey on Transferability of Adversarial Examples across Deep Neural Networks [53.04734042366312]
  逆の例では、機械学習モデルを操作して誤った予測を行うことができます。 敵の例の転送可能性により、ターゲットモデルの詳細な知識を回避できるブラックボックス攻撃が可能となる。 本研究は, 対角移動可能性の展望を考察した。
  論文  参考訳（メタデータ） (2023-10-26T17:45:26Z)
• Rotating Features for Object Discovery [74.1465486264609]
  本稿では,複雑な特徴を高次元に一般化した回転特徴と,分散表現からオブジェクトを抽出する新たな評価手法を提案する。 これらの進歩により、分散オブジェクト中心の表現を単純な玩具から現実世界のデータに拡張することが可能になります。
  論文  参考訳（メタデータ） (2023-06-01T12:16:26Z)
• Mapping Knowledge Representations to Concepts: A Review and New Perspectives [0.6875312133832078]
  本論は、内部表現と人間の理解可能な概念を関連付けることを目的とした研究に焦点をあてる。 この分類学と因果関係の理論は、ニューラルネットワークの説明から期待できるもの、期待できないものを理解するのに有用である。 この分析は、モデル説明可能性の目標に関するレビューされた文献の曖昧さも明らかにしている。
  論文  参考訳（メタデータ） (2022-12-31T12:56:12Z)
• Interpreting Neural Policies with Disentangled Tree Representations [58.769048492254555]
  本稿では,コンパクトなニューラルポリシーの解釈可能性について,不整合表現レンズを用いて検討する。 決定木を利用して,ロボット学習における絡み合いの要因を抽出する。 学習したニューラルダイナミクスの絡み合いを計測する解釈可能性指標を導入する。
  論文  参考訳（メタデータ） (2022-10-13T01:10:41Z)
• Synergistic information supports modality integration and flexible learning in neural networks solving multiple tasks [107.8565143456161]
  本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。 結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。 トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
  論文  参考訳（メタデータ） (2022-10-06T15:36:27Z)
• The Neural Race Reduction: Dynamics of Abstraction in Gated Networks [12.130628846129973]
  本稿では,情報フローの経路が学習力学に与える影響をスキーマ化するGated Deep Linear Networkフレームワークを紹介する。 正確な還元と、特定の場合において、学習のダイナミクスに対する正確な解が導出されます。 我々の研究は、ニューラルネットワークと学習に関する一般的な仮説を生み出し、より複雑なアーキテクチャの設計を理解するための数学的アプローチを提供する。
  論文  参考訳（メタデータ） (2022-07-21T12:01:03Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Learning Intermediate Features of Object Affordances with a Convolutional Neural Network [1.52292571922932]
  我々は深層畳み込みニューラルネットワーク(CNN)を訓練し、画像から手当を認識し、その基盤となる特徴や手当の寸法を知る。 我々は、この表現分析を、人間がどのように環境を知覚し、どのように相互作用するかを、よりフォーマルに説明するための第一歩であると考えている。
  論文  参考訳（メタデータ） (2020-02-20T19:04:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。