論文の概要: Discrete, compositional, and symbolic representations through attractor dynamics

• arxiv url: http://arxiv.org/abs/2310.01807v1
• Date: Tue, 3 Oct 2023 05:40:56 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 17:34:52.695595
• Title: Discrete, compositional, and symbolic representations through attractor dynamics
• Title（参考訳）: アトラクタダイナミクスによる離散的、構成的、象徴的表現
• Authors: Andrew Nam, Eric Elmoznino, Nikolay Malkin, Chen Sun, Yoshua Bengio, Guillaume Lajoie
• Abstract要約: 記号空間におけるインポーティング構造は、リッチな感覚入力のアトラクタ支持表現空間において構成性をもたらすことを示す。 我々のモデルは、意識経験において重要な役割を果たしていると考えられる情報のボトルネックの過程を示す。
• 参考スコア（独自算出の注目度）: 61.58042831010077
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Compositionality is an important feature of discrete symbolic systems, such as language and programs, as it enables them to have infinite capacity despite a finite symbol set. It serves as a useful abstraction for reasoning in both cognitive science and in AI, yet the interface between continuous and symbolic processing is often imposed by fiat at the algorithmic level, such as by means of quantization or a softmax sampling step. In this work, we explore how discretization could be implemented in a more neurally plausible manner through the modeling of attractor dynamics that partition the continuous representation space into basins that correspond to sequences of symbols. Building on established work in attractor networks and introducing novel training methods, we show that imposing structure in the symbolic space can produce compositionality in the attractor-supported representation space of rich sensory inputs. Lastly, we argue that our model exhibits the process of an information bottleneck that is thought to play a role in conscious experience, decomposing the rich information of a sensory input into stable components encoding symbolic information.
• Abstract（参考訳）: 構成性は言語やプログラムのような離散的な記号体系の重要な特徴であり、有限の記号集合にもかかわらず無限の容量を持つことができる。 認知科学とaiの両方において推論の有用な抽象化として機能するが、連続処理とシンボリック処理のインターフェイスは、量子化やソフトマックスサンプリングステップといったアルゴリズムレベルでフィアットによってしばしば課される。 本研究では,連続表現空間を記号列に対応する盆地に分割するアトラクタダイナミクスのモデル化を通じて,離散化をより神経的に妥当な方法で実装する方法について検討する。 本研究は,アトラクタネットワークにおける確立した作業と,新たなトレーニング手法の導入を基礎として,記号空間における構造構成が,リッチな感覚入力のアトラクタ支援表現空間において構成性を生み出すことができることを示す。 最後に,感覚入力のリッチな情報をシンボル情報を符号化する安定なコンポーネントに分解することで,意識的な経験において重要な役割を果たしていると考えられる情報ボトルネックの過程を考察する。

関連論文リスト

• LARS-VSA: A Vector Symbolic Architecture For Learning with Abstract Rules [1.3049516752695616]
  我々は、オブジェクトレベルの特徴を抽象ルールから分離し、限られた量のデータから学習できる「関係ボトルネック」を提案する。 我々は「関係ボトルネック」戦略を高次元空間に適応させ、シンボルと関係表現の間の明示的なベクトル結合操作を取り入れた。 我々のシステムは超次元空間における演算のオーバーヘッドが低いことの恩恵を受けており、様々なテストデータセットで評価すると、技術の状態よりもはるかに効率的である。
  論文  参考訳（メタデータ） (2024-05-23T11:05:42Z)
• stl2vec: Semantic and Interpretable Vector Representation of Temporal Logic [0.5956301166481089]
  論理式を意味的に基底としたベクトル表現(機能埋め込み)を提案する。 我々はいくつかの望ましい性質を持つ公式の連続的な埋め込みを計算する。 本稿では,学習モデル検査とニューロシンボリック・フレームワークの2つの課題において,アプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2024-05-23T10:04:56Z)
• The Role of Foundation Models in Neuro-Symbolic Learning and Reasoning [54.56905063752427]
  Neuro-Symbolic AI(NeSy)は、AIシステムの安全なデプロイを保証することを約束している。 ニューラルネットワークとシンボリックコンポーネントを順次トレーニングする既存のパイプラインは、広範なラベリングを必要とする。 新しいアーキテクチャであるNeSyGPTは、生データから象徴的特徴を抽出する視覚言語基盤モデルを微調整する。
  論文  参考訳（メタデータ） (2024-02-02T20:33:14Z)
• LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and Reasoning [73.98142349171552]
  LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。 ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。 これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
  論文  参考訳（メタデータ） (2023-09-24T05:43:19Z)
• On the Transition from Neural Representation to Symbolic Knowledge [2.2528422603742304]
  本稿では,EMアルゴリズムを用いてデータのトランザクショナル表現を学習するニューラルネットワークトランザクショナル辞書学習(TDL)フレームワークを提案する。 我々は,協調ゲームとしての入力の分解に関して,拡散モデルを用いてフレームワークを実装した。 さらに、マルコフモデルによって実現されたRLを用いて、学習したプロトタイプをさらに調整する。
  論文  参考訳（メタデータ） (2023-08-03T19:29:35Z)
• Symbolic Visual Reinforcement Learning: A Scalable Framework with Object-Level Abstraction and Differentiable Expression Search [63.3745291252038]
  DiffSESは、離散的なシンボルポリシーを発見する新しいシンボリック学習手法である。 生のピクセルレベルの入力の代わりにオブジェクトレベルの抽象化を使用することで、DiffSESはシンボリック表現の単純さとスケーラビリティの利点を活用することができる。 我々の実験は、DiffSESが最先端のシンボルRL法よりもシンプルでスケーラブルなシンボリックポリシーを生成することができることを示した。
  論文  参考訳（メタデータ） (2022-12-30T17:50:54Z)
• Deep Symbolic Learning: Discovering Symbols and Rules from Perceptions [69.40242990198]
  Neuro-Symbolic(NeSy)統合は、認識と推論を必要とするタスクに対して、シンボリック推論とニューラルネットワーク(NN)を組み合わせる。 ほとんどのNeSyシステムは論理的知識の継続的な緩和に依存しており、モデルパイプライン内では決定的な決定は行われない。 本研究では,NeSy関数を学習するNeSyシステムを提案する。すなわち,連続データを離散シンボルにマップする(集合)知覚関数の構成と,シンボルの集合上のシンボル関数である。
  論文  参考訳（メタデータ） (2022-08-24T14:06:55Z)
• On Binding Objects to Symbols: Learning Physical Concepts to Understand Real from Fake [155.6741526791004]
  我々は、ディープニューラルネットワークが合成データを生成する驚くべき能力に照らして、古典的な信号と記号の障壁を再考する。 物理オブジェクトを抽象概念として特徴付け,それ以前の解析を用いて,物理オブジェクトが有限なアーキテクチャで符号化可能であることを示す。 我々は、有限時間でデジタルIDに物理的実体を結合することは、有限資源で可能であると結論付けた。
  論文  参考訳（メタデータ） (2022-07-25T17:21:59Z)
• Discrete and continuous representations and processing in deep learning: Looking forward [18.28761409764605]
  離散的かつ連続的な表現とそれらの処理を組み合わせることは、汎用的なインテリジェンスを示すシステムを構築する上で不可欠である、と我々は主張する。 両タイプの表現の利点を組み合わせるために、離散要素を含めることで、現在のニューラルネットワークを改善するいくつかの方法を提案し、議論する。
  論文  参考訳（メタデータ） (2022-01-04T16:30:18Z)
• Symbolic Learning and Reasoning with Noisy Data for Probabilistic Anchoring [19.771392829416992]
  ボトムアップオブジェクトアンカーに基づくセマンティックワールドモデリング手法を提案する。 我々は、マルチモーダル確率分布を扱うためにアンカーの定義を拡張した。 我々は統計的リレーショナル・ラーニングを用いて、アンカーリング・フレームワークが記号的知識を学習できるようにする。
  論文  参考訳（メタデータ） (2020-02-24T16:58:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。