論文の概要: Forward-Cooperation-Backward (FCB) learning in a Multi-Encoding Uni-Decoding neural network architecture

• arxiv url: http://arxiv.org/abs/2502.20113v1
• Date: Thu, 27 Feb 2025 14:04:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-28 14:59:45.888990
• Title: Forward-Cooperation-Backward (FCB) learning in a Multi-Encoding Uni-Decoding neural network architecture
• Title（参考訳）: 多符号化ユニコードニューラルネットワークアーキテクチャにおける前向き協調学習(FCB)
• Authors: Prasun Dutta, Koustab Ghosh, Rajat K. De,
• Abstract要約: 本稿では、新しい概念を学習する人間の性質を模倣したディープニューラルネットワークフレームワークにおいて、前向きコバックワード(FCB)学習を紹介する。 モデルは4つの一般的なデータセットの次元削減性能の観点から正当化されている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The most popular technique to train a neural network is backpropagation. Recently, the Forward-Forward technique has also been introduced for certain learning tasks. However, in real life, human learning does not follow any of these techniques exclusively. The way a human learns is basically a combination of forward learning, backward propagation and cooperation. Humans start learning a new concept by themselves and try to refine their understanding hierarchically during which they might come across several doubts. The most common approach to doubt solving is a discussion with peers, which can be called cooperation. Cooperation/discussion/knowledge sharing among peers is one of the most important steps of learning that humans follow. However, there might still be a few doubts even after the discussion. Then the difference between the understanding of the concept and the original literature is identified and minimized over several revisions. Inspired by this, the paper introduces Forward-Cooperation-Backward (FCB) learning in a deep neural network framework mimicking the human nature of learning a new concept. A novel deep neural network architecture, called Multi Encoding Uni Decoding neural network model, has been designed which learns using the notion of FCB. A special lateral synaptic connection has also been introduced to realize cooperation. The models have been justified in terms of their performance in dimension reduction on four popular datasets. The ability to preserve the granular properties of data in low-rank embedding has been tested to justify the quality of dimension reduction. For downstream analyses, classification has also been performed. An experimental study on convergence analysis has been performed to establish the efficacy of the FCB learning strategy.
• Abstract（参考訳）: ニューラルネットワークをトレーニングする最も一般的なテクニックは、バックプロパゲーションである。 近年,特定の学習課題に対してフォワード・フォワード手法が導入された。 しかし、実生活では、人間の学習はこれらの技術にのみ従わない。 人間が学習する方法は、基本的には前方学習、後方伝播、協調の組み合わせである。 人間は自分自身で新しい概念を学び始め、階層的に理解を深めようとする。 解決を疑う最も一般的なアプローチは、同僚との議論であり、これは協力と呼ばれる。 同僚同士の協力/議論/知識の共有は、人間が従う学習の最も重要なステップの1つです。 しかし、議論の後にもいくつかの疑問が残るかもしれない。 そして、その概念と原文学の理解の相違を識別し、いくつかの改訂点において最小化する。 これに触発された本研究では、新しい概念を学習する人間の性質を模倣したディープニューラルネットワークフレームワークにおいて、前向き協調学習(FCB)を導入する。 新しいディープニューラルネットワークアーキテクチャであるMulti Encoding Uni Decoding Neural Network Modelが設計され、FCBの概念を用いて学習されている。 協調を実現するために、特別な側方シナプス接続も導入されている。 モデルは4つの一般的なデータセットの次元削減性能の観点から正当化されている。 低ランク埋め込みにおけるデータの粒度特性の保存能力は,次元低減の質を正当化するために試験されてきた。 下流分析では、分類も行われている。 FCB学習戦略の有効性を確立するために,収束解析の実験的検討を行った。

関連論文リスト

• Integrating Causality with Neurochaos Learning: Proposed Approach and Research Agenda [1.534667887016089]
  我々は、より優れた結果を得るために、因果学習とニューロカオス学習のアプローチを統合する方法について検討する。 本稿では,この統合による分類・予測・強化学習の促進に向けたアプローチを提案する。
  論文  参考訳（メタデータ） (2025-01-23T15:45:29Z)
• Aligning Knowledge Graphs Provided by Humans and Generated from Neural Networks in Specific Tasks [5.791414814676125]
  本稿では,ニューラルネットワークによる知識グラフの生成と活用を可能にする革新的な手法を提案する。 われわれのアプローチは、従来の単語の埋め込みモデルへの依存を排除し、ニューラルネットワークから概念をマイニングし、それらを人間の知識と直接整合させる。 実験により,本手法は人間の知識と密接に一致したネットワーク生成概念を連続的に捕捉し,これまでヒトが認識していなかった新しい有用な概念を発見できることがわかった。
  論文  参考訳（メタデータ） (2024-04-23T20:33:17Z)
• Simple and Effective Transfer Learning for Neuro-Symbolic Integration [50.592338727912946]
  この問題の潜在的な解決策はNeuro-Symbolic Integration (NeSy)であり、ニューラルアプローチとシンボリック推論を組み合わせる。 これらの手法のほとんどは、認識をシンボルにマッピングするニューラルネットワークと、下流タスクの出力を予測する論理的論理的推論を利用する。 それらは、緩やかな収束、複雑な知覚タスクの学習困難、局所的なミニマへの収束など、いくつかの問題に悩まされている。 本稿では,これらの問題を改善するための簡易かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2024-02-21T15:51:01Z)
• Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
  我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。 我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。 我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
  論文  参考訳（メタデータ） (2024-02-19T09:29:37Z)
• Language Knowledge-Assisted Representation Learning for Skeleton-Based Action Recognition [71.35205097460124]
  人間が他人の行動を理解して認識する方法は、複雑な神経科学の問題である。 LA-GCNは、大規模言語モデル(LLM)知識アシストを用いたグラフ畳み込みネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-21T08:29:16Z)
• The Predictive Forward-Forward Algorithm [79.07468367923619]
  本稿では,ニューラルネットワークにおける信頼割当を行うための予測フォワード(PFF)アルゴリズムを提案する。 我々は,有向生成回路と表現回路を同時に同時に学習する,新しい動的リカレントニューラルネットワークを設計する。 PFFは効率よく学習し、学習信号を伝達し、フォワードパスのみでシナプスを更新する。
  論文  参考訳（メタデータ） (2023-01-04T05:34:48Z)
• Continual Learning with Deep Learning Methods in an Application-Oriented Context [0.0]
  人工知能(AI)の重要な研究領域は、データから知識を自動的に導出することである。 ディープニューラルネットワーク(Deep Neural Networks, DNN)と呼ばれる、"ディープラーニング"モデルに分類される機械学習アルゴリズムの一種。 DNNは、新しい知識が既存のベースに追加されるのを防ぐ問題の影響を受けます。
  論文  参考訳（メタデータ） (2022-07-12T10:13:33Z)
• Predictive Coding: Towards a Future of Deep Learning beyond Backpropagation? [41.58529335439799]
  ディープニューラルネットワークのトレーニングに使用されるエラーアルゴリズムのバックプロパゲーションは、ディープラーニングの成功に不可欠である。 最近の研究は、このアイデアを、局所的な計算だけでニューラルネットワークを訓練できる汎用アルゴリズムへと発展させた。 等価ディープニューラルネットワークに対する予測符号化ネットワークの柔軟性が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T22:57:03Z)
• Information Flow in Deep Neural Networks [0.6922389632860545]
  ディープニューラルネットワークの動作や構造に関する包括的な理論的理解は存在しない。 深層ネットワークはしばしば、不明確な解釈と信頼性を持つブラックボックスと見なされる。 この研究は、情報理論の原理と技法をディープラーニングモデルに適用し、理論的理解を高め、より良いアルゴリズムを設計することを目的としている。
  論文  参考訳（メタデータ） (2022-02-10T23:32:26Z)
• Credit Assignment in Neural Networks through Deep Feedback Control [59.14935871979047]
  ディープフィードバックコントロール(Deep Feedback Control, DFC)は、フィードバックコントローラを使用して、望ましい出力ターゲットにマッチするディープニューラルネットワークを駆動し、クレジット割り当てに制御信号を使用する新しい学習方法である。 学習規則は空間と時間において完全に局所的であり、幅広い接続パターンに対するガウス・ニュートンの最適化を近似する。 さらに,DFCと皮質錐体ニューロンのマルチコンパートメントモデルと,局所的な電圧依存性のシナプス可塑性規則を関連づける。
  論文  参考訳（メタデータ） (2021-06-15T05:30:17Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。