論文の概要: Architecture of Information

• arxiv url: http://arxiv.org/abs/2503.21794v1
• Date: Fri, 21 Mar 2025 14:48:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-06 07:01:56.218957
• Title: Architecture of Information
• Title（参考訳）: 情報アーキテクチャ
• Authors: Yurii Parzhyn,
• Abstract要約: フォーマルニューロンと多層人工ニューラルネットワーク(ANN)のエネルギー景観構築へのアプローチを探る。 フォーマルニューロンとANNモデルにおける情報的および熱力学的エントロピーの研究は、情報的エントロピーのエネルギー的性質に関する結論をもたらす。 本研究は, システムの内部エネルギーと外部エネルギーの相互作用プロセスの観点から, 情報の形式的定義を定式化できるようにする。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: The paper explores an approach to constructing energy landscapes of a formal neuron and multilayer artificial neural networks (ANNs). Their analysis makes it possible to determine the conceptual limitations of both classification ANNs (e.g., MLP or CNN) and generative ANN models. The study of informational and thermodynamic entropy in formal neuron and ANN models leads to the conclusion about the energetic nature of informational entropy. The application of the Gibbs free energy concept allows representing the output information of ANNs as the structured part of enthalpy. Modeling ANNs as energy systems makes it possible to interpret the structure of their internal energy as an internal model of the external world, which self-organizes based on the interaction of the system's internal energy components. The control of the self-organization and evolution process of this model is carried out through an energy function (analogous to the Lyapunov function) based on reduction operators. This makes it possible to introduce a new approach to constructing self-organizing and evolutionary ANNs with direct learning, which does not require additional external algorithms. The presented research makes it possible to formulate a formal definition of information in terms of the interaction processes between the internal and external energy of the system.
• Abstract（参考訳）: 本稿では,形式ニューロンと多層人工ニューラルネットワーク(ANN)のエネルギー景観構築へのアプローチについて検討する。 これらの分析により、分類ANN(例えば、MLPまたはCNN)と生成ANNモデルの両方の概念的限界を決定することができる。 フォーマルニューロンとANNモデルにおける情報的および熱力学的エントロピーの研究は、情報的エントロピーのエネルギー的性質に関する結論をもたらす。 ギブス自由エネルギーの概念の適用により、ANNの出力情報をエンタルピーの構造部分として表現することができる。 ANNをエネルギーシステムとしてモデル化することで、内部エネルギーの構造を、システムの内部エネルギーコンポーネントの相互作用に基づいて自己組織化する外部世界の内部モデルとして解釈することができる。 このモデルの自己組織化と進化過程の制御は、還元作用素に基づくエネルギー関数(リャプノフ関数に類似)によって行われる。 これにより、外部アルゴリズムの追加を必要としない直接学習による自己組織化および進化的なANNの構築に、新たなアプローチを導入することが可能になる。 本研究は, システムの内部エネルギーと外部エネルギーの相互作用プロセスの観点から, 情報の形式的定義を定式化できるようにする。

関連論文リスト

• Neural Message Passing Induced by Energy-Constrained Diffusion [79.9193447649011]
  本稿では,MPNNのメカニズムを理解するための原理的解釈可能なフレームワークとして,エネルギー制約付き拡散モデルを提案する。 データ構造が(グラフとして)観察されたり、部分的に観察されたり、完全に観察されなかったりした場合に、新しいモデルが有望な性能が得られることを示す。
  論文  参考訳（メタデータ） (2024-09-13T17:54:41Z)
• Enhancing learning in spiking neural networks through neuronal heterogeneity and neuromodulatory signaling [52.06722364186432]
  人工ニューラルネットワーク(ANN)の強化のための生物学的インフォームドフレームワークを提案する。 提案したデュアルフレームアプローチは、多様なスパイキング動作をエミュレートするためのスパイキングニューラルネットワーク(SNN)の可能性を強調している。 提案手法は脳にインスパイアされたコンパートメントモデルとタスク駆動型SNN, バイオインスピレーション, 複雑性を統合している。
  論文  参考訳（メタデータ） (2024-07-05T14:11:28Z)
• A thermodynamically consistent physics-informed deep learning material model for short fiber/polymer nanocomposites [0.0]
  本研究では, 種々の環境条件下での短繊維強化ナノ粒子充填エポキシスの粘弾性・粘弾性挙動を解析するための物理インフォームド・ディープ・ラーニング(PIDL)モデルを提案する。 PIDLモデルは, 種々の熱水条件下での繊維およびナノ粒子の体積分画に対するエポキシ系ナノコンポジットの力学的挙動を正確に予測することができる。
  論文  参考訳（メタデータ） (2024-03-27T07:22:32Z)
• Theory and implementation of inelastic Constitutive Artificial Neural Networks [0.0]
  構成型ニューラルネットワーク(CANN)を非弾性材料(iCANN)に拡張する 我々は、iCANNが人工的に生成されたデータのモデルを自動的に発見できることを実証した。 我々のビジョンは、iCANNがデータの中に隠された様々な非弾性現象を発見し、それらの相互作用を理解する新しい方法を明らかにすることである。
  論文  参考訳（メタデータ） (2023-11-10T20:13:29Z)
• Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
  本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。 これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。 自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
  論文  参考訳（メタデータ） (2023-10-25T04:22:40Z)
• Inferring Relational Potentials in Interacting Systems [56.498417950856904]
  このような相互作用を発見する代替手法として、ニューラル・インタラクション・推論(NIIP)を提案する。 NIIPは観測された関係制約を尊重する軌道のサブセットに低エネルギーを割り当てる。 別々に訓練されたモデル間での相互作用の型を交換するなどの軌道操作や、軌道予測を可能にする。
  論文  参考訳（メタデータ） (2023-10-23T00:44:17Z)
• A Neuro-mimetic Realization of the Common Model of Cognition via Hebbian Learning and Free Energy Minimization [55.11642177631929]
  大規模なニューラル生成モデルは、意味的に豊富なテキストのパスを合成したり、複雑な画像を生成することができる。 我々はコモン・モデル・オブ・コグニティブ・ニューラル・ジェネレーティブ・システムについて論じる。
  論文  参考訳（メタデータ） (2023-10-14T23:28:48Z)
• Energy Transformer [64.22957136952725]
  我々の研究は、機械学習における有望な3つのパラダイム、すなわち注意機構、エネルギーベースモデル、連想記憶の側面を組み合わせる。 本稿では,エネルギー変換器(ET,Energy Transformer)と呼ばれる新しいアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-02-14T18:51:22Z)
• Learning Energy-Based Approximate Inference Networks for Structured Applications in NLP [8.426855646402238]
  論文はエネルギーモデルへの一般的な導入から始まる。 構造エネルギー関数の下でargmax推論を行うようにニューラルネットワークを訓練する手法を提案する。 そこで我々は,対立学習フレームワークを用いて,エネルギー関数と推論ネットワークを協調的に学習する方法を開発した。
  論文  参考訳（メタデータ） (2021-08-27T22:48:20Z)
• Continuous Learning and Adaptation with Membrane Potential and Activation Threshold Homeostasis [91.3755431537592]
  本稿では,MPATH(Membrane Potential and Activation Threshold Homeostasis)ニューロンモデルを提案する。 このモデルにより、ニューロンは入力が提示されたときに自動的に活性を調節することで動的平衡の形式を維持することができる。 実験は、モデルがその入力から適応し、継続的に学習する能力を示す。
  論文  参考訳（メタデータ） (2021-04-22T04:01:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。