論文の概要: Tensor networks and efficient descriptions of classical data

• arxiv url: http://arxiv.org/abs/2103.06872v1
• Date: Thu, 11 Mar 2021 18:57:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-13 06:40:08.017032
• Title: Tensor networks and efficient descriptions of classical data
• Title（参考訳）: 古典データのテンソルネットワークと効率的な記述
• Authors: Sirui Lu, M\'arton Kan\'asz-Nagy, Ivan Kukuljan, J. Ignacio Cirac
• Abstract要約: サブリージョンとその補集合間の相互情報はサブシステムサイズ$L$とどのようにスケールするかを検討する。 テキストの場合、相互情報は電力法$Lnu$としてスケールし、ボリューム法指数に近いことが分かります。 画像の場合、スケーリングは領域法則に近く、PEPSのような2次元テンソルネットワークが適切な表現性を持つ可能性があることを示唆している。
• 参考スコア（独自算出の注目度）: 0.9176056742068814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the potential of tensor network based machine learning methods to scale to large image and text data sets. For that, we study how the mutual information between a subregion and its complement scales with the subsystem size $L$, similarly to how it is done in quantum many-body physics. We find that for text, the mutual information scales as a power law $L^\nu$ with a close to volume law exponent, indicating that text cannot be efficiently described by 1D tensor networks. For images, the scaling is close to an area law, hinting at 2D tensor networks such as PEPS could have an adequate expressibility. For the numerical analysis, we introduce a mutual information estimator based on autoregressive networks, and we also use convolutional neural networks in a neural estimator method.
• Abstract（参考訳）: テンソルネットワークに基づく機械学習手法が大規模画像やテキストデータセットにスケールする可能性について検討する。 そのため、サブリージョンと補領域間の相互情報は、量子多体物理学で行うのと同様に、サブシステムサイズ$L$とどのようにスケールするかを検討する。 テキストの場合、相互情報はボリューム法指数に近い電力法$L^\nu$としてスケールし、1Dテンソルネットワークではテキストを効率的に記述できないことを示す。 画像の場合、スケーリングは領域法則に近く、PEPSのような2次元テンソルネットワークが適切な表現性を持つ可能性があることを示唆している。 本研究では,自己回帰型ネットワークに基づく相互情報推定器を導入するとともに,畳み込みニューラルネットワークを用いてニューラルネットワークを推定する。

関連論文リスト

• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Diffused Redundancy in Pre-trained Representations [98.55546694886819]
  事前訓練された表現で機能がどのようにコード化されているか、より詳しく見ていきます。 与えられた層における学習された表現は拡散冗長性を示す。 我々の発見は、事前訓練されたディープニューラルネットワークによって学習された表現の性質に光を当てた。
  論文  参考訳（メタデータ） (2023-05-31T21:00:50Z)
• Dive into Layers: Neural Network Capacity Bounding using Algebraic Geometry [55.57953219617467]
  ニューラルネットワークの学習性はそのサイズと直接関連していることを示す。 入力データとニューラルネットワークのトポロジ的幾何学的複雑さを測定するためにベッチ数を用いる。 実世界のデータセットMNISTで実験を行い、分析結果と結論を検証した。
  論文  参考訳（メタデータ） (2021-09-03T11:45:51Z)
• Leveraging Sparse Linear Layers for Debuggable Deep Networks [86.94586860037049]
  学習した深い特徴表現に疎い線形モデルを適用することで、よりデバッグ可能なニューラルネットワークを実現する方法を示す。 その結果、スパースな説明は、スプリアス相関を特定し、誤分類を説明し、視覚および言語タスクにおけるモデルバイアスを診断するのに役立ちます。
  論文  参考訳（メタデータ） (2021-05-11T08:15:25Z)
• Computing the Information Content of Trained Neural Networks [46.34988166338264]
  トレーニングデータよりも重みを持つニューラルネットワークは、まだ一般化しているのだろうか? 本論文では,無限に広がったニューラルネットワークの情報内容に対する整合性推定器と閉形式上界の両方を導出する。
  論文  参考訳（メタデータ） (2021-03-01T14:38:25Z)
• Mutual Information Scaling for Tensor Network Machine Learning [0.0]
  本稿では,テンソルネットワーク機械学習における相関解析の適用方法を示す。 古典的データが量子状態に類似した相関スケーリングパターンを持つかどうかを考察する。 我々は,MNISTデータセットとTiny Imagesデータセットのスケーリングパターンを特徴付け,後者における境界法スケーリングの明確な証拠を見出す。
  論文  参考訳（メタデータ） (2021-02-27T02:17:51Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)
• A Greedy Algorithm for Quantizing Neural Networks [4.683806391173103]
  本稿では,事前学習したニューラルネットワークの重みを定量化するための計算効率のよい新しい手法を提案する。 本手法は,複雑な再学習を必要とせず,反復的に層を定量化する手法である。
  論文  参考訳（メタデータ） (2020-10-29T22:53:10Z)
• Tensor Networks for Medical Image Classification [0.456877715768796]
  我々は、量子多体システムを分析するために、過去20年間、物理学者のための仕事場であったネットワークのクラスに焦点を当てている。 医療画像解析に有用なマトリックス製品状態テンソルネットワークを拡張した。 テンソルネットワークは最先端のディープラーニング手法に匹敵する性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-04-21T15:02:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。