論文の概要: Susceptibilities and Patterning: A Primer on Linear Response in Bayesian Learning
- arxiv url: http://arxiv.org/abs/2605.07980v1
- Date: Fri, 08 May 2026 16:43:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:39.208655
- Title: Susceptibilities and Patterning: A Primer on Linear Response in Bayesian Learning
- Title（参考訳）: 感受性とパターン化:ベイズ学習における線形応答の素数
- Authors: Chris Elliott, Daniel Murfet,
- Abstract要約: ニューラルネットワークの解釈のために[arXiv:2504.18274, arXiv:2601.12703]で開発された感受性の理論を紹介する。
我々は、その統計力学の基礎から理論を動機付け、知覚可能性の詳細な説明、その経験的推定器、損失景観の幾何学との関係を与える。
- 参考スコア（独自算出の注目度）: 1.5500856913141685
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: These notes introduce the theory of susceptibilities as developed in [arXiv:2504.18274, arXiv:2601.12703] for interpreting neural networks. The susceptibility of an observable $φ$ to a data perturbation is defined as a derivative of a posterior expectation, which by the fluctuation--dissipation theorem equals a posterior covariance. Different choices of $φ$ yield different objects: per-sample losses give the influence matrix (the Bayesian influence function of [arXiv:2509.26544]), while component-localized observables give the structural susceptibility matrix that pairs model components with data patterns. The susceptibility matrix is (up to a factor of $nβ$) the Jacobian of the map from data distributions to structural coordinates; its pseudo-inverse provides a linearized solution to the patterning problem of [arXiv:2601.13548]: finding data perturbations that produce a desired structural change. We motivate the theory from its statistical-mechanical foundations, then give a detailed exposition of susceptibilities, their empirical estimators, and their connection to the geometry of the loss landscape.
- Abstract（参考訳）: これらのノートは、ニューラルネットワークの解釈のために[arXiv:2504.18274, arXiv:2601.12703]で開発された感受性の理論を紹介している。
データ摂動に対する観測可能な$φ$の感受性は、変動散逸定理によって後続共分散と等しい後続予想の微分として定義される。
サンプルごとの損失は影響行列( [arXiv:2509.26544] のベイズの影響関数)を与えるが、コンポーネント局所化された可観測物は、コンポーネントをデータパターンと組み合わせる構造的感受性行列を与える。
感受性行列は($nβ$の係数まで)データ分布から構造座標への写像のヤコビアンであり、その擬逆は [arXiv:2601.13548] のパターン化問題に対する線形化解を与える。
我々は、その統計力学の基礎から理論を動機付け、知覚可能性の詳細な説明、その経験的推定器、損失景観の幾何学との関係を与える。
関連論文リスト
- A Random Matrix Theory Perspective on the Consistency of Diffusion Models [31.63433424187031]
データセットの異なるサブセットでトレーニングされた拡散モデルは、しばしば同じノイズシードを与えられたときに、著しく類似した出力を生成する。
我々は,学習したデノイザとサンプリングマップの期待値と分散値の有限形状を定量化するランダム行列理論(RMT)フレームワークを開発した。
我々は,UNet および DiT アーキテクチャの非記憶系における予測を検証した。
論文 参考訳（メタデータ） (2026-02-02T23:30:28Z) - Theory and computation for structured variational inference [13.739142487196034]
我々は,変分近似の存在,特異性,自己整合性に関する最初の結果を証明する。
そこで我々は,変分近似の計算の保証を保証した勾配に基づくアルゴリズムを開発した。
論文 参考訳（メタデータ） (2025-11-13T02:57:54Z) - Loss-Complexity Landscape and Model Structure Functions [53.92822954974537]
我々はコルモゴロフ構造関数 $h_x(alpha)$ を双対化するためのフレームワークを開発する。
情報理論構造と統計力学の数学的類似性を確立する。
構造関数と自由エネルギーの間のルジャンドル・フェンシェル双対性を明確に証明する。
論文 参考訳（メタデータ） (2025-07-17T21:31:45Z) - Landscape Complexity for the Empirical Risk of Generalized Linear Models: Discrimination between Structured Data [2.486161976966064]
我々は、Kac-Rice公式とランダム行列理論の結果を用いて、高次元の経験的損失関数の族の平均臨界点数を求める。
相関は、現在の機械学習システムでよく見られるように、データ中の構造の存在をモデル化するために導入された。
完全性のために、相関入力データの存在下での一般線形モデルの訓練に使用される損失関数についても検討する。
論文 参考訳（メタデータ） (2025-03-18T16:44:33Z) - Induced Covariance for Causal Discovery in Linear Sparse Structures [55.2480439325792]
因果モデルでは、観測データから変数間の因果関係を解き明かそうとしている。
本稿では,変数が線形に疎結合な関係を示す設定のための新しい因果探索アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-02T04:01:38Z) - Towards a mathematical understanding of learning from few examples with
nonlinear feature maps [68.8204255655161]
トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。
我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
論文 参考訳（メタデータ） (2022-11-07T14:52:58Z) - An Indirect Rate-Distortion Characterization for Semantic Sources:
General Model and the Case of Gaussian Observation [83.93224401261068]
ソースモデルは、情報の意味的側面に対する最近の関心の高まりによって動機付けられている。
intrinsic状態は、一般に観測不可能なソースの意味的特徴に対応する。
レート歪み関数は、ソースのセマンティックレート歪み関数である。
論文 参考訳（メタデータ） (2022-01-29T02:14:24Z) - Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。
堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。
異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文 参考訳（メタデータ） (2020-07-21T08:18:06Z) - Sparse Cholesky covariance parametrization for recovering latent
structure in ordered data [1.5349431582672617]
共分散行列のコレスキー因子における任意の零パターンに着目する。
そこで本研究では,行列損失のペナル化に基づく新しい推定手法を提案する。
実験結果に基づいて、各設定にどの方法がより適切か分析する。
論文 参考訳（メタデータ） (2020-06-02T08:35:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。