論文の概要: Duality Principle and Biologically Plausible Learning: Connecting the
Representer Theorem and Hebbian Learning
- arxiv url: http://arxiv.org/abs/2309.16687v1
- Date: Wed, 2 Aug 2023 20:21:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-23 05:59:51.290364
- Title: Duality Principle and Biologically Plausible Learning: Connecting the
Representer Theorem and Hebbian Learning
- Title（参考訳）: 双対原理と生物学的に有理な学習--代表定理とヘビー学習をつなぐ
- Authors: Yanis Bahroun, Dmitri B. Chklovskii, Anirvan M. Sengupta
- Abstract要約: 我々はRepresenter定理が生物学的に妥当な学習アルゴリズムを研究するのに最適なレンズであると主張している。
私たちの研究は、ニューラルネットワークの理解を深める上で、Representer定理の重要な役割に光を当てています。
- 参考スコア（独自算出の注目度）: 15.094554860151103
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A normative approach called Similarity Matching was recently introduced for
deriving and understanding the algorithmic basis of neural computation focused
on unsupervised problems. It involves deriving algorithms from computational
objectives and evaluating their compatibility with anatomical and physiological
observations. In particular, it introduces neural architectures by considering
dual alternatives instead of primal formulations of popular models such as PCA.
However, its connection to the Representer theorem remains unexplored. In this
work, we propose to use teachings from this approach to explore supervised
learning algorithms and clarify the notion of Hebbian learning. We examine
regularized supervised learning and elucidate the emergence of neural
architecture and additive versus multiplicative update rules. In this work, we
focus not on developing new algorithms but on showing that the Representer
theorem offers the perfect lens to study biologically plausible learning
algorithms. We argue that many past and current advancements in the field rely
on some form of dual formulation to introduce biological plausibility. In
short, as long as a dual formulation exists, it is possible to derive
biologically plausible algorithms. Our work sheds light on the pivotal role of
the Representer theorem in advancing our comprehension of neural computation.
- Abstract（参考訳）: 近年,教師なし問題に着目した神経計算のアルゴリズムベースを導出し,理解するために,類似性マッチングと呼ばれる規範的アプローチが導入された。
計算対象からアルゴリズムを導出し、解剖学的および生理学的観察との適合性を評価する。
特に、PCAのような一般的なモデルの原始的な定式化ではなく、双対的な代替を考えることによって、ニューラルアーキテクチャを導入する。
しかし、その代表定理との関係は未定である。
本研究では,本手法の教えを用いて,教師付き学習アルゴリズムを探索し,ヘビアン学習の概念を明らかにすることを提案する。
規則化された教師付き学習を検証し、ニューラルネットワークの出現と、加法と乗法による更新規則の出現を解明する。
本研究では,新しいアルゴリズムの開発ではなく,Representer定理が生物学的に有効な学習アルゴリズムの研究に最適なレンズを提供することを示す。
この分野における多くの過去と現在の進歩は、生物学的な可算性を導入するためにある種の双対定式化に依存していると論じる。
つまり、二重定式化が存在する限り、生物学的に可算なアルゴリズムを導出することができる。
私たちの研究は、神経計算の理解を進める上で、representer定理が果たす重要な役割に光を当てている。
関連論文リスト
- A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク
i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文 参考訳（メタデータ） (2024-09-18T14:57:13Z) - Towards Biologically Plausible Computing: A Comprehensive Comparison [24.299920289520013]
バックプロパゲーションは、教師あり学習のためのニューラルネットワークのトレーニングの基盤となるアルゴリズムである。
バックプロパゲーションの生物学的妥当性は、重量対称性、大域的誤差計算、二重位相学習の要求により疑問視される。
本研究では,望ましい学習アルゴリズムが満たすべき生物学的妥当性の基準を確立する。
論文 参考訳（メタデータ） (2024-06-23T09:51:20Z) - Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。
この論文は、この領域の研究に理論的および実践的な貢献を提供する。
論文 参考訳（メタデータ） (2024-02-21T12:16:51Z) - Brain-Inspired Machine Intelligence: A Survey of
Neurobiologically-Plausible Credit Assignment [65.268245109828]
本稿では,神経生物学にインスパイアされた,あるいは動機付けられた人工ニューラルネットワークにおける信用割当を行うアルゴリズムについて検討する。
我々は、脳にインスパイアされた学習スキームを6つの一般的なファミリーにまとめ、これらを誤りのバックプロパゲーションの文脈で検討する。
本研究の成果は,神経ミメティックシステムとその構成的学習プロセスの今後の発展を促進することを目的としている。
論文 参考訳（メタデータ） (2023-12-01T05:20:57Z) - Language Knowledge-Assisted Representation Learning for Skeleton-Based
Action Recognition [71.35205097460124]
人間が他人の行動を理解して認識する方法は、複雑な神経科学の問題である。
LA-GCNは、大規模言語モデル(LLM)知識アシストを用いたグラフ畳み込みネットワークを提案する。
論文 参考訳（メタデータ） (2023-05-21T08:29:16Z) - Neurocompositional computing: From the Central Paradox of Cognition to a
new generation of AI systems [120.297940190903]
AIの最近の進歩は、限られた形態のニューロコンフォメーションコンピューティングの使用によってもたらされている。
ニューロコンポジションコンピューティングの新しい形式は、より堅牢で正確で理解しやすいAIシステムを生み出します。
論文 参考訳（メタデータ） (2022-05-02T18:00:10Z) - Applications of the Free Energy Principle to Machine Learning and
Neuroscience [0.0]
我々は、自由エネルギー原理にインスパイアされた手法を機械学習と神経科学の2つの重要な分野に適用する。
我々は、自由エネルギー原理から派生した神経生物学的に妥当なプロセス理論である予測符号化に焦点を当てる。
第2に、変動メッセージパッシングによる行動の神経生物学的根拠である能動推論について検討する。
最後に, 生物学的に有効な脳内クレジット代入法について検討した。
論文 参考訳（メタデータ） (2021-06-30T22:53:03Z) - A Study of the Mathematics of Deep Learning [1.14219428942199]
深層学習」/「深層ニューラルネットワーク」は、人工知能の最先端のタスクにますます展開されている技術的驚異です。
この論文は、これらの新しいディープラーニングのパラダイムの強力な理論基盤を構築するためのいくつかのステップを踏む。
論文 参考訳（メタデータ） (2021-04-28T22:05:54Z) - Formalising Concepts as Grounded Abstractions [68.24080871981869]
このレポートは、表現学習が生データから概念を誘導する方法を示しています。
このレポートの主な技術的目標は、表現学習のテクニックが概念空間の格子理論的定式化とどのように結婚できるかを示すことである。
論文 参考訳（メタデータ） (2021-01-13T15:22:01Z) - Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。
アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。
本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
論文 参考訳（メタデータ） (2020-10-02T15:21:37Z) - Equilibrium Propagation for Complete Directed Neural Networks [0.0]
最も成功したニューラルネットワークの学習アルゴリズム、バックプロパゲーションは生物学的に不可能であると考えられている。
我々は,平衡伝播学習の枠組みを構築し拡張することによって,生物学的に妥当な神経学習の話題に貢献する。
論文 参考訳（メタデータ） (2020-06-15T22:12:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。