論文の概要: Binding Dynamics in Rotating Features

• arxiv url: http://arxiv.org/abs/2402.05627v1
• Date: Thu, 8 Feb 2024 12:31:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 15:02:02.481566
• Title: Binding Dynamics in Rotating Features
• Title（参考訳）: 回転特性における結合ダイナミクス
• Authors: Sindy L\"owe, Francesco Locatello, Max Welling
• Abstract要約: 本稿では,特徴間のアライメントを明示的に計算し,それに応じて重みを調整する「コサイン結合」機構を提案する。 これにより、自己注意と生物学的神経プロセスに直接接続し、回転する特徴に現れるオブジェクト中心の表現の基本的なダイナミクスに光を当てることができます。
• 参考スコア（独自算出の注目度）: 72.80071820194273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In human cognition, the binding problem describes the open question of how the brain flexibly integrates diverse information into cohesive object representations. Analogously, in machine learning, there is a pursuit for models capable of strong generalization and reasoning by learning object-centric representations in an unsupervised manner. Drawing from neuroscientific theories, Rotating Features learn such representations by introducing vector-valued features that encapsulate object characteristics in their magnitudes and object affiliation in their orientations. The "$\chi$-binding" mechanism, embedded in every layer of the architecture, has been shown to be crucial, but remains poorly understood. In this paper, we propose an alternative "cosine binding" mechanism, which explicitly computes the alignment between features and adjusts weights accordingly, and we show that it achieves equivalent performance. This allows us to draw direct connections to self-attention and biological neural processes, and to shed light on the fundamental dynamics for object-centric representations to emerge in Rotating Features.
• Abstract（参考訳）: 人間の認知において、結合問題は、どのように脳が多様な情報を束縛対象表現に柔軟に統合するかというオープンな疑問を記述している。 同様に、機械学習では、教師なしの方法でオブジェクト中心表現を学習することで、強力な一般化と推論が可能なモデルの追求がある。 神経科学的理論から導かれる回転特徴は、その大きさで物体の特徴をカプセル化したベクトル値の特徴を導入し、その向きにオブジェクトの関連性を導入することで、そのような表現を学ぶ。 アーキテクチャのすべての層に埋め込まれた"$\chi$-binding"メカニズムは、重要ではあるが、まだ理解されていない。この記事では、機能間のアライメントを明示的に計算し、それに応じて重みを調整し、同等のパフォーマンスを達成するための代替的な"cosine binding"メカニズムを提案する。 これにより、自己注意と生物学的神経プロセスに直接接続し、回転する特徴に現れるオブジェクト中心の表現の基本的なダイナミクスに光を当てることができます。

関連論文リスト

• Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
  我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。 我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。 このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
  論文  参考訳（メタデータ） (2023-10-03T05:40:56Z)
• Rotating Features for Object Discovery [74.1465486264609]
  本稿では,複雑な特徴を高次元に一般化した回転特徴と,分散表現からオブジェクトを抽出する新たな評価手法を提案する。 これらの進歩により、分散オブジェクト中心の表現を単純な玩具から現実世界のデータに拡張することが可能になります。
  論文  参考訳（メタデータ） (2023-06-01T12:16:26Z)
• Robust and Controllable Object-Centric Learning through Energy-based Models [95.68748828339059]
  我々の研究は概念的にシンプルで一般的なアプローチであり、エネルギーベースモデルを通してオブジェクト中心の表現を学習する。 既存のアーキテクチャに容易に統合でき、高品質なオブジェクト中心表現を効果的に抽出できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:11:15Z)
• Sparse Relational Reasoning with Object-Centric Representations [78.83747601814669]
  対象中心表現の操作において,リレーショナルニューラルアーキテクチャによって学習されたソフトルールの構成可能性について検討する。 特に特徴量の増加は,いくつかのモデルの性能を向上し,より単純な関係をもたらすことが判明した。
  論文  参考訳（メタデータ） (2022-07-15T14:57:33Z)
• Properties from Mechanisms: An Equivariance Perspective on Identifiable Representation Learning [79.4957965474334]
  教師なし表現学習の主な目標は、データ生成プロセスが潜在プロパティを回復するために「反転」することである。 この論文は「進化を支配するメカニズムの知識を活用して潜伏特性を識別するのか?」と問う。 我々は、可能なメカニズムの集合に関する知識が異なるため、不特定性の原因の完全な特徴づけを提供する。
  論文  参考訳（メタデータ） (2021-10-29T14:04:08Z)
• Structure-Regularized Attention for Deformable Object Representation [17.120035855774344]
  文脈依存のキャプチャは、ディープニューラルネットワークの表現力を改善するのに有用であることが証明されている。 自己注意や非局所操作といったグローバルコンテキストのモデリングに焦点をあてた近年のアプローチは、要素間の制約のないペアワイズ相互作用を可能にすることで、この目標を達成する。 本稿では,データに固有の構造的依存関係をモデル化することにより,コンテキスト利用の恩恵を受けることができる変形可能なオブジェクトの学習表現について考察する。
  論文  参考訳（メタデータ） (2021-06-12T03:10:17Z)
• On the Binding Problem in Artificial Neural Networks [12.04468744445707]
  この欠点の根底にある原因は、動的かつ柔軟に情報を結合できないことである。 非構造化感覚入力から有意義な実体を形成するための統一フレームワークを提案する。 我々は,人間レベルの一般化を実現する上で,AIに対する構成的アプローチが基本的重要性であると考えている。
  論文  参考訳（メタデータ） (2020-12-09T18:02:49Z)
• Binding and Perspective Taking as Inference in a Generative Neural Network Model [1.0323063834827415]
  生成エンコーダ・デコーダアーキテクチャはその観点に適応し、振り返り推論によって特徴を結合する。 得られた勾配に基づく推論プロセスは、既知の生体運動パターンに対する視点の取扱いと結合の問題を解く。
  論文  参考訳（メタデータ） (2020-12-09T16:43:26Z)
• Learning Intermediate Features of Object Affordances with a Convolutional Neural Network [1.52292571922932]
  我々は深層畳み込みニューラルネットワーク(CNN)を訓練し、画像から手当を認識し、その基盤となる特徴や手当の寸法を知る。 我々は、この表現分析を、人間がどのように環境を知覚し、どのように相互作用するかを、よりフォーマルに説明するための第一歩であると考えている。
  論文  参考訳（メタデータ） (2020-02-20T19:04:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。