論文の概要: Bayes optimal learning in high-dimensional linear regression with network side information
- arxiv url: http://arxiv.org/abs/2306.05679v4
- Date: Wed, 23 Oct 2024 02:54:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-24 13:52:27.379727
- Title: Bayes optimal learning in high-dimensional linear regression with network side information
- Title（参考訳）: ネットワーク側情報を用いた高次元線形回帰におけるベイズ最適学習
- Authors: Sagnik Nandy, Subhabrata Sen,
- Abstract要約: ネットワークの形でサイド情報を持つ教師付き学習問題は、ゲノム学、神経科学の分野で頻繁に発生する。
本稿では,ネットワーク側情報を用いた高次元線形回帰におけるベイズ最適学習の研究を開始する。
- 参考スコア（独自算出の注目度）: 4.489713477369384
- License:
- Abstract: Supervised learning problems with side information in the form of a network arise frequently in applications in genomics, proteomics and neuroscience. For example, in genetic applications, the network side information can accurately capture background biological information on the intricate relations among the relevant genes. In this paper, we initiate a study of Bayes optimal learning in high-dimensional linear regression with network side information. To this end, we first introduce a simple generative model (called the Reg-Graph model) which posits a joint distribution for the supervised data and the observed network through a common set of latent parameters. Next, we introduce an iterative algorithm based on Approximate Message Passing (AMP) which is provably Bayes optimal under very general conditions. In addition, we characterize the limiting mutual information between the latent signal and the data observed, and thus precisely quantify the statistical impact of the network side information. Finally, supporting numerical experiments suggest that the introduced algorithm has excellent performance in finite samples.
- Abstract（参考訳）: ネットワークの形でサイド情報を持つ教師付き学習問題は、ゲノム学、プロテオミクス、神経科学の分野で頻繁に発生する。
例えば、遺伝的応用において、ネットワーク側情報は、関連する遺伝子間の複雑な関係に関する背景生物学的情報を正確にキャプチャすることができる。
本稿では,ネットワーク側情報を用いた高次元線形回帰におけるベイズ最適学習の研究を開始する。
この目的のために、まず、教師付きデータと観測されたネットワークの共分散を共通の潜在パラメータ集合を通して仮定する単純な生成モデル(Reg-Graphモデル)を導入する。
次に、非常に一般的な条件下でベイズ最適であることが証明可能な、近似メッセージパッシング(AMP)に基づく反復アルゴリズムを提案する。
さらに、潜時信号と観測したデータとの相互情報の制限を特徴付け、ネットワーク側情報の統計的影響を正確に定量化する。
最後に, 数値実験により, 導入したアルゴリズムは有限標本において優れた性能を示した。
関連論文リスト
- Correlative Information Maximization: A Biologically Plausible Approach
to Supervised Deep Neural Networks without Weight Symmetry [43.584567991256925]
本稿では,生体神経ネットワークにおける信号伝達を前方方向と後方方向の両方で記述するための新しい規範的アプローチを提案する。
このフレームワークは、従来のニューラルネットワークとバックプロパゲーションアルゴリズムの生物学的評価可能性に関する多くの懸念に対処する。
提案手法は,前方信号伝搬路と後方信号伝搬路の重み対称性問題に対する自然な解法を提供する。
論文 参考訳（メタデータ） (2023-06-07T22:14:33Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - Statistical Physics of Deep Neural Networks: Initialization toward
Optimal Channels [6.144858413112823]
ディープラーニングでは、ニューラルネットワークは入力データとその表現の間のノイズの多いチャネルとして機能する。
ニューラルネットワークが最適なチャネルに内在する可能性について,よく見過ごされる可能性について検討する。
論文 参考訳（メタデータ） (2022-12-04T05:13:01Z) - Dense Hebbian neural networks: a replica symmetric picture of supervised
learning [4.133728123207142]
我々は教師が指導する高密度で連想的なニューラルネットについて検討する。
スピングラスの統計力学およびモンテカルロシミュレーションによる数値計算能力の解析を行った。
論文 参考訳（メタデータ） (2022-11-25T13:37:47Z) - Information bottleneck theory of high-dimensional regression: relevancy,
efficiency and optimality [6.700873164609009]
オーバーフィッティングは機械学習における中心的な課題であるが、多くの大きなニューラルネットワークは容易にトレーニング損失をゼロにする。
トレーニングデータのノイズを符号化する適合モデルのビットとして定義される残差情報による過度適合の定量化を行う。
論文 参考訳（メタデータ） (2022-08-08T00:09:12Z) - Optimal Propagation for Graph Neural Networks [51.08426265813481]
最適グラフ構造を学習するための二段階最適化手法を提案する。
また、時間的複雑さをさらに軽減するために、低ランク近似モデルについても検討する。
論文 参考訳（メタデータ） (2022-05-06T03:37:00Z) - Mutual information estimation for graph convolutional neural networks [0.0]
本稿では,学習中にネットワークの内部表現を追跡するアーキテクチャに依存しない手法を提案する。
グラフベースアーキテクチャで導入された帰納バイアスが、完全に接続されたニューラルネットワークに対して相互情報平面をどのように変化させるかを比較する。
論文 参考訳（メタデータ） (2022-03-31T08:30:04Z) - Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。
ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文 参考訳（メタデータ） (2022-02-10T09:30:31Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。