論文の概要: The Presence and Absence of Barren Plateaus in Tensor-network Based Machine Learning

• arxiv url: http://arxiv.org/abs/2108.08312v1
• Date: Wed, 18 Aug 2021 18:00:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-18 03:19:18.227041
• Title: The Presence and Absence of Barren Plateaus in Tensor-network Based Machine Learning
• Title（参考訳）: テンソルネットワークに基づく機械学習におけるバレンプラトーの存在と存在
• Authors: Zidu Liu, Li-Wei Yu, L.-M. Duan, and Dong-Ling Deng
• Abstract要約: テンソルネットワークに基づく機械学習モデルのトレーニング可能性について、異なる損失関数のランドスケープを探索することによって検討する。 我々は,大域的損失関数を持つ機械学習アルゴリズムのトレーニングプロセスにおいて,バレンプラトーが有効であることを厳密に証明する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tensor networks are efficient representations of high-dimensional tensors with widespread applications in quantum many-body physics. Recently, they have been adapted to the field of machine learning, giving rise to an emergent research frontier that has attracted considerable attention. Here, we study the trainability of tensor-network based machine learning models by exploring the landscapes of different loss functions, with a focus on the matrix product states (also called tensor trains) architecture. In particular, we rigorously prove that barren plateaus (i.e., exponentially vanishing gradients) prevail in the training process of the machine learning algorithms with global loss functions. Whereas, for local loss functions the gradients with respect to variational parameters near the local observables do not vanish as the system size increases. Therefore, the barren plateaus are absent in this case and the corresponding models could be efficiently trainable. Our results reveal a crucial aspect of tensor-network based machine learning in a rigorous fashion, which provide a valuable guide for both practical applications and theoretical studies in the future.
• Abstract（参考訳）: テンソルネットワークは、量子多体物理学において広く応用される高次元テンソルの効率的な表現である。 近年,機械学習の分野に適応し,新たな研究フロンティアが出現し,注目を集めている。 本稿では,異なる損失関数のランドスケープを探索し,行列積状態(テンソルトレインとも呼ばれる)アーキテクチャに着目して,テンソルネットワークに基づく機械学習モデルのトレーサビリティについて検討する。 特に,大域的損失関数を持つ機械学習アルゴリズムの学習過程において,バレン高原(指数関数的に消失する勾配)が有効であることを示す。 しかし、局所損失関数の場合、系のサイズが大きくなるにつれて、局所観測可能近傍の変分パラメータに関する勾配は消滅しない。 そのため、この場合は不毛の台地がなく、対応するモデルを効率的に訓練することができる。 本稿は, テンソルネットワークに基づく機械学習を厳格に活用する上で重要な側面を明らかにし, 将来的な応用と理論的研究の両面において貴重なガイドを提供するものである。

関連論文リスト

• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Spatial-wise Dynamic Distillation for MLP-like Efficient Visual Fault Detection of Freight Trains [11.13191969085042]
  貨物列車の故障検出のための多層パーセプトロン(MLP)に基づく動的蒸留フレームワークを提案する。 学生モデルとのセマンティックな相違を効果的に解消する動的教師を提案する。 提案手法は現在の最先端検出器より優れており,より少ない計算コストでリアルタイム検出を行うことができる。
  論文  参考訳（メタデータ） (2023-12-10T09:18:24Z)
• Theory on variational high-dimensional tensor networks [2.0307382542339485]
  ランダムな高次元ネットワーク状態の創発的統計特性とテンソルネットワークのトレーニング可能性について検討する。 変動高次元ネットワークが大域的損失関数のバレンプラトーに悩まされていることを証明した。 この結果は、将来の理論的研究と実践的応用の道を開くものである。
  論文  参考訳（メタデータ） (2023-03-30T15:26:30Z)
• Low-Rank Tensor Function Representation for Multi-Dimensional Data Recovery [52.21846313876592]
  低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。 テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。 提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
  論文  参考訳（メタデータ） (2022-12-01T04:00:38Z)
• Inducing Gaussian Process Networks [80.40892394020797]
  本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。 特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。 実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
  論文  参考訳（メタデータ） (2022-04-21T05:27:09Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Tensor Methods in Computer Vision and Deep Learning [120.3881619902096]
  テンソル(tensor)は、複数の次元の視覚データを自然に表現できるデータ構造である。 コンピュータビジョンにおけるディープラーニングパラダイムシフトの出現により、テンソルはさらに基本的なものになっている。 本稿では,表現学習と深層学習の文脈において,テンソルとテンソル法を深く,実践的に検討する。
  論文  参考訳（メタデータ） (2021-07-07T18:42:45Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)
• Anomaly Detection with Tensor Networks [2.3895981099137535]
  テンソルネットワークのメモリと計算効率を利用して、原特徴数の次元指数で空間上の線形変換を学習する。 画像の局所性を利用していないにもかかわらず、画像データセット上で競合する結果を生成する。
  論文  参考訳（メタデータ） (2020-06-03T20:41:30Z)
• Supervised Learning in the Presence of Concept Drift: A modelling framework [5.22609266390809]
  非定常環境における教師あり学習の研究のためのモデリングフレームワークを提案する。 学習システムの例として、分類のためのプロトタイプベースの学習ベクトル量子化(LVQ)と回帰タスクのための浅層ニューラルネットワークをモデル化する。
  論文  参考訳（メタデータ） (2020-05-21T09:13:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。