論文の概要: Interaction Decompositions for Tensor Network Regression

• arxiv url: http://arxiv.org/abs/2208.06029v1
• Date: Thu, 11 Aug 2022 20:17:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-15 13:29:09.818498
• Title: Interaction Decompositions for Tensor Network Regression
• Title（参考訳）: テンソルネットワーク回帰のための相互作用分解
• Authors: Ian Convy and K. Birgitta Whaley
• Abstract要約: 異なる回帰器の相対的重要性を次数関数として評価する方法を示す。 相互作用次数の小さな部分集合にのみ明示的にトレーニングされた新しいタイプのテンソルネットワークモデルを導入する。 このことは、標準テンソルネットワークモデルが、低次項を非常に利用しない非効率な方法でそれらの回帰器を利用することを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It is well known that tensor network regression models operate on an exponentially large feature space, but questions remain as to how effectively they are able to utilize this space. Using the polynomial featurization from Novikov et al., we propose the interaction decomposition as a tool that can assess the relative importance of different regressors as a function of their polynomial degree. We apply this decomposition to tensor ring and tree tensor network models trained on the MNIST and Fashion MNIST datasets, and find that up to 75% of interaction degrees are contributing meaningfully to these models. We also introduce a new type of tensor network model that is explicitly trained on only a small subset of interaction degrees, and find that these models are able to match or even outperform the full models using only a fraction of the exponential feature space. This suggests that standard tensor network models utilize their polynomial regressors in an inefficient manner, with the lower degree terms being vastly under-utilized.
• Abstract（参考訳）: テンソルネットワーク回帰モデルが指数関数的に大きな特徴空間で動作することはよく知られているが、この空間がいかに効果的に利用できるかについては疑問が残る。 ノヴィコフらによる多項式分解を用いて, 相互作用分解を多項式次数の関数として, 異なる回帰器の相対的重要性を評価するツールとして提案する。 この分解をMNISTおよびFashion MNISTデータセットでトレーニングされたテンソルリングとツリーテンソルネットワークモデルに適用し、最大75%の相互作用度がこれらのモデルに有意な寄与があることを見出した。 また,少数の相互作用次数のみを明示的にトレーニングした新しいテンソルネットワークモデルを導入し,指数関数的特徴空間のごく一部だけを用いて,これらのモデルが完全モデルに適合し,さらに優れることを示した。 このことは、標準テンソルネットワークモデルが多項式回帰器を非効率に利用し、低次項が大いに利用されていないことを示唆している。

関連論文リスト

• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Quantized Fourier and Polynomial Features for more Expressive Tensor Network Models [9.18287948559108]
  モデル重みを過度にパラメータ化されたテンソルネットワークに制約することで,特徴量に存在するテンソル構造を利用する。 同じ数のモデルパラメータに対して、結果の量子化モデルは、その非量子化モデルとは対照的に、VC次元に高いバウンドを持つことを示す。
  論文  参考訳（メタデータ） (2023-09-11T13:18:19Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Low-Rank Tensor Function Representation for Multi-Dimensional Data Recovery [52.21846313876592]
  低ランクテンソル関数表現(LRTFR)は、無限解像度でメッシュグリッドを超えてデータを連続的に表現することができる。 テンソル関数に対する2つの基本的な概念、すなわちテンソル関数ランクとローランクテンソル関数分解を開発する。 提案手法は,最先端手法と比較して,提案手法の優越性と汎用性を裏付けるものである。
  論文  参考訳（メタデータ） (2022-12-01T04:00:38Z)
• Lower and Upper Bounds on the VC-Dimension of Tensor Network Models [8.997952791113232]
  ネットワーク法は凝縮物質物理学の進歩の重要な要素である。 これらは指数関数的に大きな特徴空間で線形モデルを効率的に学習するのに使うことができる。 本研究では,大きなテンソルネットワークモデルのVC次元と擬次元の上下境界を導出する。
  論文  参考訳（メタデータ） (2021-06-22T14:39:25Z)
• Tensor-Train Networks for Learning Predictive Modeling of Multidimensional Data [0.0]
  有望な戦略は、物理的および化学的用途で非常に成功したテンソルネットワークに基づいています。 本研究では, 多次元回帰モデルの重みをテンソルネットワークを用いて学習し, 強力なコンパクト表現を実現することを示した。 TT形式の重みを計算力の低減で近似するための最小二乗を交互に行うアルゴリズムが提案されている。
  論文  参考訳（メタデータ） (2021-01-22T16:14:38Z)
• Low-Rank and Sparse Enhanced Tucker Decomposition for Tensor Completion [3.498620439731324]
  テンソル完備化のために,低ランクかつスパースに拡張されたタッカー分解モデルを導入する。 我々のモデルはスパースコアテンソルを促進するためにスパース正規化項を持ち、テンソルデータ圧縮に有用である。 テンソルに出現する潜在的な周期性と固有相関特性を利用するので,本モデルでは様々な種類の実世界のデータセットを扱うことが可能である。
  論文  参考訳（メタデータ） (2020-10-01T12:45:39Z)
• Anomaly Detection with Tensor Networks [2.3895981099137535]
  テンソルネットワークのメモリと計算効率を利用して、原特徴数の次元指数で空間上の線形変換を学習する。 画像の局所性を利用していないにもかかわらず、画像データセット上で競合する結果を生成する。
  論文  参考訳（メタデータ） (2020-06-03T20:41:30Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。