論文の概要: No-Free-Lunch Theories for Tensor-Network Machine Learning Models

• arxiv url: http://arxiv.org/abs/2412.05674v1
• Date: Sat, 07 Dec 2024 14:41:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:59:19.705282
• Title: No-Free-Lunch Theories for Tensor-Network Machine Learning Models
• Title（参考訳）: テンソルネットワーク機械学習モデルのためのノーランチ理論
• Authors: Jing-Chuan Wu, Qi Ye, Dong-Ling Deng, Li-Wei Yu,
• Abstract要約: 特定のテンソルネットワーク機械学習モデルの形式化が不可欠で悪名高い、No-free-Lunch定理の厳密な定式化に注力する。 まず、行列積状態、すなわち1次元テンソルネットワーク状態に基づく機械学習モデルに対するノーランチ定理を証明した。 2次元イジングモデルにおける分割関数の計算の難題を回避し、2次元の絡み合ったペア状態の場合のノーランチ定理を証明した。
• 参考スコア（独自算出の注目度）: 4.410253346975833
• License:
• Abstract: Tensor network machine learning models have shown remarkable versatility in tackling complex data-driven tasks, ranging from quantum many-body problems to classical pattern recognitions. Despite their promising performance, a comprehensive understanding of the underlying assumptions and limitations of these models is still lacking. In this work, we focus on the rigorous formulation of their no-free-lunch theorem -- essential yet notoriously challenging to formalize for specific tensor network machine learning models. In particular, we rigorously analyze the generalization risks of learning target output functions from input data encoded in tensor network states. We first prove a no-free-lunch theorem for machine learning models based on matrix product states, i.e., the one-dimensional tensor network states. Furthermore, we circumvent the challenging issue of calculating the partition function for two-dimensional Ising model, and prove the no-free-lunch theorem for the case of two-dimensional projected entangled-pair state, by introducing the combinatorial method associated to the "puzzle of polyominoes". Our findings reveal the intrinsic limitations of tensor network-based learning models in a rigorous fashion, and open up an avenue for future analytical exploration of both the strengths and limitations of quantum-inspired machine learning frameworks.
• Abstract（参考訳）: テンソルネットワーク機械学習モデルは、量子多体問題から古典的なパターン認識まで、複雑なデータ駆動タスクに取り組む際に顕著な汎用性を示している。 期待できる性能にもかかわらず、これらのモデルの基盤となる前提と限界に関する包括的な理解はいまだに不足している。 本研究は, テンソルネットワーク機械学習モデルの形式化が不可欠だが悪名高い, ノーランチ定理の厳密な定式化に焦点をあてる。 特に、テンソルネットワーク状態に符号化された入力データから学習対象出力関数の一般化リスクを厳格に分析する。 まず、行列積状態、すなわち1次元テンソルネットワーク状態に基づく機械学習モデルに対するノーランチ定理を証明した。 さらに,2次元イジングモデルにおける分割関数の計算の難しさを回避し,ポリオミノのノズル」に付随する組合せ法を導入することにより,二次元射影対角状態の場合のノーランチ定理を証明した。 本研究は、テンソルネットワークに基づく学習モデルの本質的な限界を厳密な方法で明らかにし、量子に着想を得た機械学習フレームワークの長所と短所の両方を将来の分析的に探究するための道を開くものである。

関連論文リスト

• Towards Scalable and Versatile Weight Space Learning [51.78426981947659]
  本稿では,重み空間学習におけるSANEアプローチを紹介する。 ニューラルネットワーク重みのサブセットの逐次処理に向けて,超表現の概念を拡張した。
  論文  参考訳（メタデータ） (2024-06-14T13:12:07Z)
• Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
  我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。 新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。 我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
  論文  参考訳（メタデータ） (2024-02-20T15:23:24Z)
• Generative Learning of Continuous Data by Tensor Networks [45.49160369119449]
  本稿では,連続データのためのテンソルネットワーク生成モデルについて紹介する。 我々は、このモデルの性能を、いくつかの合成および実世界のデータセットでベンチマークする。 本手法は, 急速に成長する生成学習分野において, 量子インスピレーション法の有効性を示す重要な理論的, 実証的な証拠を与える。
  論文  参考訳（メタデータ） (2023-10-31T14:37:37Z)
• Quantized Fourier and Polynomial Features for more Expressive Tensor Network Models [9.18287948559108]
  モデル重みを過度にパラメータ化されたテンソルネットワークに制約することで,特徴量に存在するテンソル構造を利用する。 同じ数のモデルパラメータに対して、結果の量子化モデルは、その非量子化モデルとは対照的に、VC次元に高いバウンドを持つことを示す。
  論文  参考訳（メタデータ） (2023-09-11T13:18:19Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• The No Free Lunch Theorem, Kolmogorov Complexity, and the Role of Inductive Biases in Machine Learning [80.1018596899899]
  ニューラルネットワークモデルは、Kolmogorov複雑性を使って形式化された、同じ好みを共有している、と我々は主張する。 実験の結果、事前訓練された言語モデルでも、低複雑さのシーケンスを生成するのが好まれることがわかった。 これらの観察は、ますます小さな機械学習モデルで異なるように見える問題を統一する深層学習の傾向を正当化する。
  論文  参考訳（メタデータ） (2023-04-11T17:22:22Z)
• EINNs: Epidemiologically-Informed Neural Networks [75.34199997857341]
  本稿では,疫病予測のための新しい物理インフォームドニューラルネットワークEINNを紹介する。 メカニスティックモデルによって提供される理論的柔軟性と、AIモデルによって提供されるデータ駆動表現性の両方を活用する方法について検討する。
  論文  参考訳（メタデータ） (2022-02-21T18:59:03Z)
• Tensor networks for unsupervised machine learning [9.897828174118974]
  本稿では,量子多体物理学の行列状態と機械学習の自己回帰モデルを組み合わせたテンソルネットワークモデルであるAutoregressive Matrix Product States(AMPS)を提案する。 提案手法は,既存のテンソルネットワークモデルや制限されたボルツマンマシンよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-24T12:51:00Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)
• Anomaly Detection with Tensor Networks [2.3895981099137535]
  テンソルネットワークのメモリと計算効率を利用して、原特徴数の次元指数で空間上の線形変換を学習する。 画像の局所性を利用していないにもかかわらず、画像データセット上で競合する結果を生成する。
  論文  参考訳（メタデータ） (2020-06-03T20:41:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。