論文の概要: On the Transition from Neural Representation to Symbolic Knowledge
- arxiv url: http://arxiv.org/abs/2308.02000v1
- Date: Thu, 3 Aug 2023 19:29:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-07 14:41:15.829672
- Title: On the Transition from Neural Representation to Symbolic Knowledge
- Title(参考訳): 神経表現から記号的知識への遷移について
- Authors: Junyan Cheng and Peter Chin
- Abstract要約: 本稿では,EMアルゴリズムを用いてデータのトランザクショナル表現を学習するニューラルネットワークトランザクショナル辞書学習(TDL)フレームワークを提案する。
我々は,協調ゲームとしての入力の分解に関して,拡散モデルを用いてフレームワークを実装した。
さらに、マルコフモデルによって実現されたRLを用いて、学習したプロトタイプをさらに調整する。
- 参考スコア(独自算出の注目度): 2.2528422603742304
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bridging the huge disparity between neural and symbolic representation can
potentially enable the incorporation of symbolic thinking into neural networks
from essence. Motivated by how human gradually builds complex symbolic
representation from the prototype symbols that are learned through perception
and environmental interactions. We propose a Neural-Symbolic Transitional
Dictionary Learning (TDL) framework that employs an EM algorithm to learn a
transitional representation of data that compresses high-dimension information
of visual parts of an input into a set of tensors as neural variables and
discover the implicit predicate structure in a self-supervised way. We
implement the framework with a diffusion model by regarding the decomposition
of input as a cooperative game, then learn predicates by prototype clustering.
We additionally use RL enabled by the Markovian of diffusion models to further
tune the learned prototypes by incorporating subjective factors. Extensive
experiments on 3 abstract compositional visual objects datasets that require
the model to segment parts without any visual features like texture, color, or
shadows apart from shape and 3 neural/symbolic downstream tasks demonstrate the
learned representation enables interpretable decomposition of visual input and
smooth adaption to downstream tasks which are not available by existing
methods.
- Abstract(参考訳): ニューラル表現とシンボリック表現の大きな違いを橋渡しすることは、本質的にシンボリック思考をニューラルネットワークに組み込む可能性を秘めている。
知覚と環境相互作用を通じて学習されるプロトタイプのシンボルから、人間が徐々に複雑な象徴的表現を構築する方法に動機づけられた。
本稿では、EMアルゴリズムを用いて、入力の視覚部分の高次元情報をニューラルネットワークとしてテンソルの集合に圧縮し、暗黙の述語構造を自己教師された方法で発見する過渡表現を学習するニューラルネットワークトランザクショナル辞書学習(TDL)フレームワークを提案する。
協調ゲームとして入力の分解を考慮し,拡散モデルを用いてフレームワークを実装し,プロトタイプクラスタリングにより述語を学習する。
さらに,拡散モデルのマルコフモデルによって実現されるrlを用いて,主観的因子を組み込むことにより,学習したプロトタイプをさらにチューニングする。
テクスチャ、色、シャドウなどの視覚的な特徴を形から切り離すことなく、モデルを分割する必要のある3つの抽象的な構成的ビジュアルオブジェクトデータセットと、3つのニューラルネットワーク/シンボル的なダウンストリームタスクに関する広範な実験 学習された表現は、既存のメソッドでは利用できない視覚入力の解釈可能な分解と下流タスクへのスムーズな適応を可能にする。
関連論文リスト
- Structured World Modeling via Semantic Vector Quantization [21.275678909505647]
意味的ニューラルな離散表現学習への第1のアプローチを提案する。
提案モデルはセマンティックベクトル量子変分オートコーダ(SVQ)と呼ばれ、教師なしオブジェクト指向学習の最近の進歩を活用している。
VQ-VAEやそれ以前のオブジェクト中心生成モデルのような非意味ベクトル量子化法と比較して,本モデルの方が優れた生成性能が得られることがわかった。
論文 参考訳(メタデータ) (2024-02-02T08:13:18Z) - Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。
最初はFlyTracingという名前のデータセットを構築しました。
本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
論文 参考訳(メタデータ) (2024-01-05T19:45:12Z) - Discrete, compositional, and symbolic representations through attractor
dynamics [61.58042831010077]
記号空間におけるインポーティング構造は、リッチな感覚入力のアトラクタ支持表現空間において構成性をもたらすことを示す。
我々のモデルは、意識経験において重要な役割を果たしていると考えられる情報のボトルネックの過程を示す。
論文 参考訳(メタデータ) (2023-10-03T05:40:56Z) - LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and
Reasoning [73.98142349171552]
LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。
ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。
これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
論文 参考訳(メタデータ) (2023-09-24T05:43:19Z) - A Recursive Bateson-Inspired Model for the Generation of Semantic Formal
Concepts from Spatial Sensory Data [77.34726150561087]
本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。
このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。
このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
論文 参考訳(メタデータ) (2023-07-16T15:59:13Z) - Recursive Neural Programs: Variational Learning of Image Grammars and
Part-Whole Hierarchies [1.5990720051907859]
本稿では,部分階層学習問題に対処するため,再帰的ニューラルプログラム(RNP)を導入する。
RNPは、部分階層学習問題に対処する最初の神経生成モデルである。
以上の結果から,RNPはオブジェクトやシーンを直感的で説明可能な構成方法であることがわかった。
論文 参考訳(メタデータ) (2022-06-16T22:02:06Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Neural-Symbolic Integration for Interactive Learning and Conceptual
Grounding [1.14219428942199]
本稿では,抽象概念の説明と対話型学習のためのニューラルシンボリック統合を提案する。
ユーザとのインタラクションは、ニューラルモデルのリビジョンを確認または拒否する。
このアプローチはLogic NetworkフレームワークとConcept Activation Vectorsを使って説明され、Conal Neural Networkに適用される。
論文 参考訳(メタデータ) (2021-12-22T11:24:48Z) - Drop, Swap, and Generate: A Self-Supervised Approach for Generating
Neural Activity [33.06823702945747]
我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。
このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。
我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
論文 参考訳(メタデータ) (2021-11-03T16:39:43Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。