論文の概要: ActPC-Geom: Towards Scalable Online Neural-Symbolic Learning via Accelerating Active Predictive Coding with Information Geometry & Diverse Cognitive Mechanisms

• arxiv url: http://arxiv.org/abs/2501.04832v1
• Date: Wed, 08 Jan 2025 20:38:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 13:59:29.769696
• Title: ActPC-Geom: Towards Scalable Online Neural-Symbolic Learning via Accelerating Active Predictive Coding with Information Geometry & Diverse Cognitive Mechanisms
• Title（参考訳）: ActPC-Geom:情報幾何学と多元認知機構による能動予測符号化の高速化によるスケーラブルなオンラインニューラルシンボリック学習を目指して
• Authors: Ben Goertzel,
• Abstract要約: ActPC-Geomは、ニューラルネットワークにおけるアクティブ予測符号化を高速化するアプローチである。 本稿では,ActPCの予測誤差評価におけるKL偏差をワッサーシュタイン計量に置き換えることを提案する。 ActPC-Geomは、数ショットの学習とオンラインの重み付けを組み合わせ、熟考的な思考を可能にしていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper introduces ActPC-Geom, an approach to accelerate Active Predictive Coding (ActPC) in neural networks by integrating information geometry, specifically using Wasserstein-metric-based methods for measure-dependent gradient flows. We propose replacing KL-divergence in ActPC's predictive error assessment with the Wasserstein metric, suggesting this may enhance network robustness. To make this computationally feasible, we present strategies including: (1) neural approximators for inverse measure-dependent Laplacians, (2) approximate kernel PCA embeddings for low-rank approximations feeding into these approximators, and (3) compositional hypervector embeddings derived from kPCA outputs, with algebra optimized for fuzzy FCA lattices learned through neural architectures analyzing network states. This results in an ActPC architecture capable of real-time online learning and integrating continuous (e.g., transformer-like or Hopfield-net-like) and discrete symbolic ActPC networks, including frameworks like OpenCog Hyperon or ActPC-Chem for algorithmic chemistry evolution. Shared probabilistic, concept-lattice, and hypervector models enable symbolic-subsymbolic integration. Key features include (1) compositional reasoning via hypervector embeddings in transformer-like architectures for tasks like commonsense reasoning, and (2) Hopfield-net dynamics enabling associative long-term memory and attractor-driven cognitive features. We outline how ActPC-Geom combines few-shot learning with online weight updates, enabling deliberative thinking and seamless symbolic-subsymbolic reasoning. Ideas from Galois connections are explored for efficient hybrid ActPC/ActPC-Chem processing. Finally, we propose a specialized HPC design optimized for real-time focused attention and deliberative reasoning tailored to ActPC-Geom's demands.
• Abstract（参考訳）: 本稿では,ニューラルネットワークにおけるアクティブ予測符号化(ActPC)の高速化手法であるActPC-Geomを紹介する。 本稿では, ActPC の予測誤差評価における KL 分割を Wasserstein 計量に置き換えることを提案する。 これを実現するために,(1)逆測度依存ラプラシアンのためのニューラル近似器,(2)低ランク近似のための近似カーネルPCA埋め込み,(3)kPCA出力から導かれる構成ハイパーベクター埋め込み,およびネットワーク状態を分析するニューラルネットワークアーキテクチャにより学習されたファジィFCA格子に最適化された代数を含む戦略を提案する。 これにより、オンライン学習をリアルタイムに行うことができ、連続的な(例えば、トランスフォーマーやホップフィールドのような)ActPCネットワークと、アルゴリズム化学の進化のためのOpenCog HyperonやActPC-Chemのようなフレームワークを含む離散的な象徴的なActPCネットワークを統合することができる。 共有確率モデル、概念ラッチモデル、ハイパーベクターモデルはシンボリック・サブシンボリック統合を可能にする。 主な特徴は、(1)コモンセンス推論のようなタスクのためのトランスフォーマーのようなアーキテクチャへのハイパーベクター埋め込みによる構成推論、(2)アソシアティブな長期記憶とアトラクタ駆動認知機能を実現するホップフィールドネットダイナミクスである。 ActPC-Geomは、数ショットの学習とオンラインの重み付けを組み合わせ、熟考的思考とシームレスな象徴的・象徴的推論を可能にしている。 ガロア接続からのアイデアは、効率的なハイブリッドActPC/ActPC-Chem処理のために探索される。 最後に,ActPC-Geomの要求に合わせた,リアルタイムの注目と熟考的推論に最適化された特殊HPC設計を提案する。

関連論文リスト

• A Survey on Kolmogorov-Arnold Network [0.0]
  Kolmogorov-Arnold Networks(KAN)の理論的基礎、進化、応用、そして将来の可能性 Kanは、固定活性化関数の代わりに学習可能なスプラインパラメータ化関数を使用することで、従来のニューラルネットワークと区別する。 本稿では,最近のニューラルアーキテクチャにおけるkanの役割を強調し,データ集約型アプリケーションにおける計算効率,解釈可能性,拡張性を改善するための今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-11-09T05:54:17Z)
• Hardware-Friendly Implementation of Physical Reservoir Computing with CMOS-based Time-domain Analog Spiking Neurons [0.26963330643873434]
  本稿では, 相補的金属酸化物半導体(CMOS)プラットフォーム上でのハードウェアフレンドリーな物理貯水池計算のためのスパイクニューラルネットワーク(SNN)を提案する。 短期記憶と排他的ORタスクによるRCと、97.7%の精度で音声桁認識タスクを実演する。
  論文  参考訳（メタデータ） (2024-09-18T00:23:00Z)
• Neuromorphic on-chip reservoir computing with spiking neural network architectures [0.562479170374811]
  貯留層コンピューティングは、リカレントニューラルネットワークの計算能力を活用するための有望なアプローチである。 本稿では,貯水池計算フレームワークにおける統合・火災ニューロンの2つのタスクへの適用について検討する。 本稿では,IntelのニューロモーフィックコンピューティングソフトウェアフレームワークであるLavaと,Loihiのオンチップ実装を用いて,独自の統合・ファイアコードを用いた貯水池計算性能について検討する。
  論文  参考訳（メタデータ） (2024-07-30T05:05:09Z)
• Pointer Networks with Q-Learning for Combinatorial Optimization [55.2480439325792]
  我々は、モデルフリーQ値ポリシー近似をPointer Networks(Ptr-Nets)と統合したハイブリッドニューラルネットワークであるPointer Q-Network(PQN)を紹介する。 実験により,本手法の有効性を実証し,不安定な環境でモデルをテストする。
  論文  参考訳（メタデータ） (2023-11-05T12:03:58Z)
• ETLP: Event-based Three-factor Local Plasticity for online learning with neuromorphic hardware [105.54048699217668]
  イベントベース3要素局所塑性(ETLP)の計算複雑性に明らかな優位性を有する精度の競争性能を示す。 また, 局所的可塑性を用いた場合, スパイキングニューロンの閾値適応, 繰り返しトポロジーは, 時間的構造が豊富な時間的パターンを学習するために必要であることを示した。
  論文  参考訳（メタデータ） (2023-01-19T19:45:42Z)
• Deep learning applied to computational mechanics: A comprehensive review, state of the art, and the classics [77.34726150561087]
  人工知能,特に深層学習(DL)の最近の進歩を概観する。 ハイブリッドおよび純粋機械学習(ML)の手法について論じる。 AIの歴史と限界は、特に古典の誤解や誤解を指摘し、議論され、議論される。
  論文  参考訳（メタデータ） (2022-12-18T02:03:00Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with Heterogeneous Learning Tasks [53.1636151439562]
  モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。 再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。 具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
  論文  参考訳（メタデータ） (2020-12-25T07:08:50Z)
• AI Centered on Scene Fitting and Dynamic Cognitive Network [4.228224431041357]
  より強力な人工知能を実現するためには、エンドツーエンドの関数計算を変更する必要がある。 また、動的認知ネットワークモデル(DCNet)と呼ばれる具体的なスキームについても論じている。
  論文  参考訳（メタデータ） (2020-10-02T06:13:41Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。