論文の概要: The unbearable lightness of Restricted Boltzmann Machines: Theoretical Insights and Biological Applications

• arxiv url: http://arxiv.org/abs/2501.04387v1
• Date: Wed, 08 Jan 2025 09:57:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:54:44.794513
• Title: The unbearable lightness of Restricted Boltzmann Machines: Theoretical Insights and Biological Applications
• Title（参考訳）: 制限ボルツマンマシンの可逆光度:理論的考察と生物学的応用
• Authors: Giovanni di Sarra, Barbara Bravi, Yasser Roudi,
• Abstract要約: RBMにおける単一ニューロンの入力出力関係を記述したアクティベーション関数がそれらの機能に果たす役割の見直しに焦点をあてる。 異なる活性化関数の利点と限界に関する最近の理論的結果について議論する。 我々はまた、生体データ分析、すなわち、RAMユニットがシグモイド活性化機能とバイナリーユニットを持つのがほとんどである神経データ分析、非バイナリーユニットと非シグモイド活性化関数が最近示されているタンパク質データ分析と免疫学への応用についてレビューした。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Restricted Boltzmann Machines are simple yet powerful neural networks. They can be used for learning structure in data, and are used as a building block of more complex neural architectures. At the same time, their simplicity makes them easy to use, amenable to theoretical analysis, yielding interpretable models in applications. Here, we focus on reviewing the role that the activation functions, describing the input-output relationship of single neurons in RBM, play in the functionality of these models. We discuss recent theoretical results on the benefits and limitations of different activation functions. We also review applications to biological data analysis, namely neural data analysis, where RBM units are mostly taken to have sigmoid activation functions and binary units, to protein data analysis and immunology where non-binary units and non-sigmoid activation functions have recently been shown to yield important insights into the data. Finally, we discuss open problems addressing which can shed light on broader issues in neural network research.
• Abstract（参考訳）: 制限されたボルツマンマシンは単純だが強力なニューラルネットワークである。 データ構造を学習するために使用することができ、より複雑なニューラルネットワークアーキテクチャのビルディングブロックとして使用される。 同時に、それらの単純さはそれらを簡単に使いやすくし、理論解析に順応し、アプリケーションで解釈可能なモデルを生み出す。 本稿では,RBMにおける単一ニューロンの入力-出力関係を記述した活性化関数が,これらのモデルの機能に果たす役割を概観する。 異なる活性化関数の利点と限界に関する最近の理論的結果について議論する。 我々はまた、生体データ分析、すなわち、RAMユニットがシグモイド活性化機能とバイナリーユニットを持つのがほとんどである神経データ分析、非バイナリーユニットと非シグモイド活性化関数が最近示されているタンパク質データ分析と免疫学への応用についてレビューした。 最後に、ニューラルネットワーク研究の幅広い問題に光を当てることができるオープンな問題に対処する方法について論じる。

関連論文リスト

• Statistical tuning of artificial neural network [0.0]
  本研究では、ニューラルネットワークの理解を強化する方法を紹介し、特に1つの隠蔽層を持つモデルに焦点を当てる。 本稿では,入力ニューロンの意義を統計的に評価し,次元減少のためのアルゴリズムを提案する。 この研究は、ニューラルネットワークを解釈するための堅牢な統計フレームワークを提示することにより、説明可能な人工知能の分野を前進させる。
  論文  参考訳（メタデータ） (2024-09-24T19:47:03Z)
• FISBe: A real-world benchmark dataset for instance segmentation of long-range thin filamentous structures [4.9246627979592725]
  神経系の体積光顕微鏡画像におけるニューロンのセグメンテーションは、神経科学における画期的な研究を可能にする。 しかし、マルチニューロン光顕微鏡のデータは、インスタンスセグメンテーションのタスクにとって非常に難しい特性を示している。 私たちはFlyLight Instance Benchmark(FISBe)データセットをリリースしました。
  論文  参考訳（メタデータ） (2024-03-29T19:51:34Z)
• Single Neuromorphic Memristor closely Emulates Multiple Synaptic Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
  我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。 これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
  論文  参考訳（メタデータ） (2024-02-26T15:01:54Z)
• WaLiN-GUI: a graphical and auditory tool for neuron-based encoding [73.88751967207419]
  ニューロモルフィックコンピューティングはスパイクベースのエネルギー効率の高い通信に依存している。 本研究では, スパイクトレインへのサンプルベースデータの符号化に適した構成を同定するツールを開発した。 WaLiN-GUIはオープンソースとドキュメントが提供されている。
  論文  参考訳（メタデータ） (2023-10-25T20:34:08Z)
• Unraveling Feature Extraction Mechanisms in Neural Networks [10.13842157577026]
  本稿では, ニューラルネットワークカーネル(NTK)に基づく理論的手法を提案し, そのメカニズムを解明する。 これらのモデルが勾配降下時の統計的特徴をどのように活用し、最終決定にどのように統合されるかを明らかにする。 自己注意モデルとCNNモデルはn-gramの学習の限界を示すが、乗算モデルはこの領域で優れていると考えられる。
  論文  参考訳（メタデータ） (2023-10-25T04:22:40Z)
• Automated Natural Language Explanation of Deep Visual Neurons with Large Models [43.178568768100305]
  本稿では,大きな基礎モデルを持つニューロンの意味的説明を生成するための,新しいポストホックフレームワークを提案する。 我々のフレームワークは、様々なモデルアーキテクチャやデータセット、自動化されたスケーラブルなニューロン解釈と互換性があるように設計されています。
  論文  参考訳（メタデータ） (2023-10-16T17:04:51Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Spatiotemporal Patterns in Neurobiology: An Overview for Future Artificial Intelligence [0.0]
  我々は,ネットワーク相互作用から生じる機能を明らかにする上で,計算モデルが重要なツールであると主張している。 ここでは、スパイキングニューロン、統合ニューロン、発火ニューロンを含むいくつかのモデルのクラスについてレビューする。 これらの研究は、人工知能アルゴリズムの今後の発展と、脳のプロセスの理解の検証に役立つことを願っている。
  論文  参考訳（メタデータ） (2022-03-29T10:28:01Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。