論文の概要: Projected Tensor-Tensor Products for Efficient Computation of Optimal Multiway Data Representations
- arxiv url: http://arxiv.org/abs/2409.19402v1
- Date: Sat, 28 Sep 2024 16:29:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-05 23:38:55.220034
- Title: Projected Tensor-Tensor Products for Efficient Computation of Optimal Multiway Data Representations
- Title（参考訳）: 最適マルチウェイデータ表現の効率的な計算のためのテンソル・テンソル生成物
- Authors: Katherine Keegan, Elizabeth Newman,
- Abstract要約: 本稿では,計算オーバーヘッドを低減するために可逆性制限を緩和する新しいテンソルテンソル製品を提案する。
予測された製品フレームワーク内での圧縮表現の行列緩和性と最適性を証明する理論を提供する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Tensor decompositions have become essential tools for feature extraction and compression of multiway data. Recent advances in tensor operators have enabled desirable properties of standard matrix algebra to be retained for multilinear factorizations. Behind this matrix-mimetic tensor operation is an invertible matrix whose size depends quadratically on certain dimensions of the data. As a result, for large-scale multiway data, the invertible matrix can be computationally demanding to apply and invert and can lead to inefficient tensor representations in terms of construction and storage costs. In this work, we propose a new projected tensor-tensor product that relaxes the invertibility restriction to reduce computational overhead and still preserves fundamental linear algebraic properties. The transformation behind the projected product is a tall-and-skinny matrix with unitary columns, which depends only linearly on certain dimensions of the data, thereby reducing computational complexity by an order of magnitude. We provide extensive theory to prove the matrix mimeticity and the optimality of compressed representations within the projected product framework. We further prove that projected-product-based approximations outperform a comparable, non-matrix-mimetic tensor factorization. We support the theoretical findings and demonstrate the practical benefits of projected products through numerical experiments on video and hyperspectral imaging data.
- Abstract（参考訳）: テンソル分解は、マルチウェイデータの特徴抽出と圧縮に欠かせないツールとなっている。
テンソル作用素の最近の進歩は、標準行列代数の望ましい性質を多線型分解のために維持することを可能にしている。
この行列-ミメティックテンソル演算の背後には、サイズがデータの特定の次元に2次に依存する可逆行列がある。
その結果、大規模マルチウェイデータの場合、非可逆行列は適用と反転を計算的に要求することができ、建設と貯蔵コストの観点から非効率なテンソル表現を導出することができる。
本研究では,計算オーバーヘッドを低減するために可逆性制限を緩和し,基本線形代数的性質を保った新しいテンソルテンソル積を提案する。
投影された積の背後にある変換は、単体列を持つ高次およびスキニー行列であり、データの特定の次元にのみ線形に依存するため、計算複雑性は桁違いに減少する。
予測された製品フレームワーク内での圧縮表現の行列緩和性と最適性を証明するための広範な理論を提供する。
さらに、プロジェクテッド積に基づく近似が、同等の非行列的テンソル因子化より優れていることを証明した。
本研究は,映像・ハイパースペクトル画像データを用いた数値実験により,予測製品の実用的メリットを実証し,理論的知見を裏付けるものである。
関連論文リスト
- Learning Linear Attention in Polynomial Time [115.68795790532289]
線形注意を持つ単層変圧器の学習性に関する最初の結果を提供する。
線形アテンションは RKHS で適切に定義された線形予測器とみなすことができる。
我々は,すべての経験的リスクが線形変換器と同等のトレーニングデータセットを効率的に識別する方法を示す。
論文 参考訳（メタデータ） (2024-10-14T02:41:01Z) - Understanding Matrix Function Normalizations in Covariance Pooling through the Lens of Riemannian Geometry [63.694184882697435]
グローバル共分散プーリング(GCP)は、高レベルの表現の2階統計を利用して、ディープニューラルネットワーク(DNN)の性能を向上させることが実証されている。
論文 参考訳（メタデータ） (2024-07-15T07:11:44Z) - Optimal Matrix-Mimetic Tensor Algebras via Variable Projection [0.0]
行列緩和性(Matrix mimeticity)は、テンソルを、行列に類似した乗算、分解、解析が可能な作用素として解釈することから生じる。
我々は、データの事前の知識に頼ることなく、最適線形写像と対応するテンソル表現を学習する。
可変射影型アルゴリズムの変換と収束解析の独創性理論を提供する。
論文 参考訳（メタデータ） (2024-06-11T04:52:23Z) - Large-scale gradient-based training of Mixtures of Factor Analyzers [67.21722742907981]
本稿では,勾配降下による高次元学習を効果的に行うための理論解析と新しい手法の両立に寄与する。
MFAトレーニングと推論/サンプリングは,学習終了後の行列逆変換を必要としない精度行列に基づいて行うことができることを示す。
理論解析と行列の他に,SVHNやMNISTなどの画像データセットにMFAを適用し,サンプル生成と外乱検出を行う能力を示す。
論文 参考訳（メタデータ） (2023-08-26T06:12:33Z) - Bounding Real Tensor Optimizations via the Numerical Range [0.0]
行列の数値範囲は、実テンソル積ベクトル上での最適化問題の最適値の有界化にどのように利用できるかを示す。
我々の境界は固有値に基づく自明な境界よりも強く、半定プログラミング緩和によって得られる境界よりもはるかに高速に計算できる。
論文 参考訳（メタデータ） (2022-12-24T20:03:06Z) - Accelerated structured matrix factorization [0.0]
行列分解は、複雑な高次元データにおいて、実際の信号は一般に低次元構造にあるという考え方を利用する。
ベイジアン縮退を先取りして,高次元行列分解のための計算に便利な手法を考案する。
行と列のエンティティ間の依存性は、要素内でフレキシブルなスパースパターンを誘導することによってモデル化される。
論文 参考訳（メタデータ） (2022-12-13T11:35:01Z) - Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。
この問題は楕円分布のペナルティ化された最大推定値として表される。
楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
論文 参考訳（メタデータ） (2022-10-21T13:19:45Z) - Adversarially-Trained Nonnegative Matrix Factorization [77.34726150561087]
非負行列ファクタリゼーションの逆学習版を検討する。
我々の定式化では、攻撃者は与えられたデータ行列に有界ノルムの任意の行列を追加する。
辞書と係数行列を最適化するために, 逆学習に触発された効率的なアルゴリズムを設計する。
論文 参考訳（メタデータ） (2021-04-10T13:13:17Z) - Non-negative matrix and tensor factorisations with a smoothed
Wasserstein loss [0.0]
最適輸送損失に対する行列とテンソルの非負係数を計算するための一般的な数学的枠組みを紹介します。
本手法の適用性をいくつかの数値例で示す。
論文 参考訳（メタデータ） (2021-04-04T22:42:21Z) - Generative Flows with Matrix Exponential [25.888286821451562]
生成フローモデルは、抽出可能な正確な確率と効率的なサンプリングの特性を享受する。
行列指数を生成フローに組み込む。
本モデルは, 生成フローモデル間の密度推定において高い性能を達成する。
論文 参考訳（メタデータ） (2020-07-19T11:18:47Z) - Supervised Quantile Normalization for Low-rank Matrix Approximation [50.445371939523305]
我々は、$X$ の値と $UV$ の値を行ワイズで操作できる量子正規化演算子のパラメータを学習し、$X$ の低ランク表現の質を改善する。
本稿では,これらの手法が合成およびゲノムデータセットに適用可能であることを実証する。
論文 参考訳（メタデータ） (2020-02-08T21:06:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。