論文の概要: Mutual Information Scaling for Tensor Network Machine Learning

• arxiv url: http://arxiv.org/abs/2103.00105v2
• Date: Mon, 28 Feb 2022 22:24:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-09 18:30:58.085457
• Title: Mutual Information Scaling for Tensor Network Machine Learning
• Title（参考訳）: テンソルネットワーク機械学習のための相互情報スケーリング
• Authors: Ian Convy, William Huggins, Haoran Liao, K. Birgitta Whaley
• Abstract要約: 本稿では,テンソルネットワーク機械学習における相関解析の適用方法を示す。 古典的データが量子状態に類似した相関スケーリングパターンを持つかどうかを考察する。 我々は,MNISTデータセットとTiny Imagesデータセットのスケーリングパターンを特徴付け,後者における境界法スケーリングの明確な証拠を見出す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor networks have emerged as promising tools for machine learning, inspired by their widespread use as variational ansatze in quantum many-body physics. It is well known that the success of a given tensor network ansatz depends in part on how well it can reproduce the underlying entanglement structure of the target state, with different network designs favoring different scaling patterns. We demonstrate here how a related correlation analysis can be applied to tensor network machine learning, and explore whether classical data possess correlation scaling patterns similar to those found in quantum states which might indicate the best network to use for a given dataset. We utilize mutual information as measure of correlations in classical data, and show that it can serve as a lower-bound on the entanglement needed for a probabilistic tensor network classifier. We then develop a logistic regression algorithm to estimate the mutual information between bipartitions of data features, and verify its accuracy on a set of Gaussian distributions designed to mimic different correlation patterns. Using this algorithm, we characterize the scaling patterns in the MNIST and Tiny Images datasets, and find clear evidence of boundary-law scaling in the latter. This quantum-inspired classical analysis offers insight into the design of tensor networks which are best suited for specific learning tasks.
• Abstract（参考訳）: テンソルネットワークは、量子多体物理学における変分アンサットとして広く使われていることから、機械学習の有望なツールとして登場してきた。 与えられたテンソルネットワーク ansatz の成功は,対象状態の絡み合い構造を再現する上で,異なるスケーリングパターンを好むネットワーク設計がどの程度優れているかに一部依存していることはよく知られている。 ここでは、関連する相関解析をテンソルネットワーク機械学習に適用する方法を実証し、古典的データが、与えられたデータセットに最適なネットワークを示す量子状態と類似した相関スケーリングパターンを持つかどうかを考察する。 古典データにおける相関の尺度として相互情報を用いて,確率的テンソルネットワーク分類器に必要なエンタングルメントの下界として機能することを示す。 次に、ロジスティック回帰アルゴリズムを開発し、データ特徴の分割間の相互情報を推定し、その精度を異なる相関パターンを模倣したガウス分布の集合上で検証する。 このアルゴリズムを用いて、MNISTおよびTiny Imagesデータセットのスケーリングパターンを特徴付け、後者における境界法スケーリングの明確な証拠を見出す。 この量子インスピレーションを受けた古典的分析は、特定の学習タスクに最適なテンソルネットワークの設計に関する洞察を提供する。

関連論文リスト

• GNN-LoFI: a Novel Graph Neural Network through Localized Feature-based Histogram Intersection [51.608147732998994]
  グラフニューラルネットワークは、グラフベースの機械学習の選択フレームワークになりつつある。 本稿では,古典的メッセージパッシングに代えて,ノード特徴の局所分布を解析するグラフニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-01-17T13:04:23Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Mutual information estimation for graph convolutional neural networks [0.0]
  本稿では,学習中にネットワークの内部表現を追跡するアーキテクチャに依存しない手法を提案する。 グラフベースアーキテクチャで導入された帰納バイアスが、完全に接続されたニューラルネットワークに対して相互情報平面をどのように変化させるかを比較する。
  論文  参考訳（メタデータ） (2022-03-31T08:30:04Z)
• Decomposing neural networks as mappings of correlation functions [57.52754806616669]
  本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。 ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
  論文  参考訳（メタデータ） (2022-02-10T09:30:31Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Inference Graphs for CNN Interpretation [12.765543440576144]
  畳み込みニューラルネットワーク(CNN)は多くの視覚関連タスクにおいて優れた精度を実現している。 本稿では,確率モデルを用いたネットワーク隠蔽層の活動のモデル化を提案する。 このようなグラフは、クラス全体の推論プロセスの理解や、ネットワークが特定の画像に対して行う決定を説明するのに有用であることを示す。
  論文  参考訳（メタデータ） (2021-10-20T13:56:09Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)
• Neural networks adapting to datasets: learning network size and topology [77.34726150561087]
  ニューラルネットワークは、勾配に基づくトレーニングの過程で、そのサイズとトポロジの両方を学習できるフレキシブルなセットアップを導入します。 結果として得られるネットワークは、特定の学習タスクとデータセットに合わせたグラフの構造を持つ。
  論文  参考訳（メタデータ） (2020-06-22T12:46:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。