論文の概要: Fisher information flow in artificial neural networks

• arxiv url: http://arxiv.org/abs/2509.02407v1
• Date: Tue, 02 Sep 2025 15:17:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:04.076459
• Title: Fisher information flow in artificial neural networks
• Title（参考訳）: ニューラルネットワークにおける漁業情報の流れ
• Authors: Maximilian Weimar, Lukas M. Rachbauer, Ilya Starshynov, Daniele Faccio, Linara Adilova, Dorian Bouchet, Stefan Rotter,
• Abstract要約: 本稿では,パラメータ推定タスクを実行するANNを通して,フィッシャー情報の流れをモニタリングする手法を提案する。 最適な推定性能はフィッシャー情報の最大伝送量に対応することを示す。 これにより、独立したバリデーションデータセットの必要性を解消するネットワークトレーニングのためのモデルフリーの停止基準が提供される。
• 参考スコア（独自算出の注目度）: 3.0053910105391264
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The estimation of continuous parameters from measured data plays a central role in many fields of physics. A key tool in understanding and improving such estimation processes is the concept of Fisher information, which quantifies how information about unknown parameters propagates through a physical system and determines the ultimate limits of precision. With Artificial Neural Networks (ANNs) gradually becoming an integral part of many measurement systems, it is essential to understand how they process and transmit parameter-relevant information internally. Here, we present a method to monitor the flow of Fisher information through an ANN performing a parameter estimation task, tracking it from the input to the output layer. We show that optimal estimation performance corresponds to the maximal transmission of Fisher information, and that training beyond this point results in information loss due to overfitting. This provides a model-free stopping criterion for network training-eliminating the need for a separate validation dataset. To demonstrate the practical relevance of our approach, we apply it to a network trained on data from an imaging experiment, highlighting its effectiveness in a realistic physical setting.
• Abstract（参考訳）: 測定データから連続パラメータを推定することは、物理学の多くの分野において中心的な役割を果たす。 このような推定プロセスを理解し改善するための重要なツールは、未知のパラメータに関する情報が物理的システムを介してどのように伝播するかを定量化し、最終的な精度の限界を決定する、Fisher情報の概念である。 ANN(Artificial Neural Networks)は、多くの計測システムにおいて、徐々に不可欠な部分となっているため、パラメータ関連情報を内部でどのように処理し、伝達するかを理解することが不可欠である。 本稿では,パラメータ推定タスクを実行するANNを用いて,入力から出力層へのフィッシャー情報の流れをモニタリングする手法を提案する。 最適推定性能はフィッシャー情報の最大伝送量と一致し、この点を超える訓練は過度な適合による情報損失をもたらすことを示す。 これにより、独立したバリデーションデータセットの必要性を解消するネットワークトレーニングのためのモデルフリーの停止基準が提供される。 提案手法の実践的妥当性を示すために,画像実験から得られたデータに基づいて訓練されたネットワークに適用し,現実的な物理環境下での有効性を強調した。

関連論文リスト

• Preserving Information: How does Topological Data Analysis improve Neural Network performance? [0.0]
  本稿では,画像認識におけるトポロジカルデータ解析(TDA)と畳み込みニューラルネットワーク(CNN)の統合手法を提案する。 我々のアプローチは、ベクトルスチッチ(Vector Stitching)と呼ばれ、生画像データと追加のトポロジ情報を組み合わせたものである。 実験の結果は,追加データ解析の結果をネットワークの推論プロセスに組み込むことの可能性を強調した。
  論文  参考訳（メタデータ） (2024-11-27T14:56:05Z)
• Enhancing Neural Network Interpretability Through Conductance-Based Information Plane Analysis [0.0]
  インフォメーションプレーン(Information Plane)は、ニューラルネットワーク内の情報の流れを分析するための概念的フレームワークである。 本稿では,入力特徴に対する感度尺度であるレイヤコンダクタンスを用いて情報平面解析を強化する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-26T23:10:42Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
  本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。 機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。 本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
  論文  参考訳（メタデータ） (2022-10-24T15:14:26Z)
• Information-Theoretic Odometry Learning [83.36195426897768]
  生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。 提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
  論文  参考訳（メタデータ） (2022-03-11T02:37:35Z)
• Neural Capacity Estimators: How Reliable Are They? [14.904387585122851]
  我々は、相互情報神経推定器(MINE)、スムーズな相互情報下界推定器(SMILE)、情報指向神経推定器(DINE)の性能について検討した。 我々は,AWGNチャネル,光強度チャネル,ピーク電力制約AWGNチャネルに接近する入力分布を学習する能力の観点から,これらのアルゴリズムを評価する。
  論文  参考訳（メタデータ） (2021-11-14T18:14:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。