論文の概要: Structure-Preserving Margin Distribution Learning for High-Order Tensor Data with Low-Rank Decomposition

• arxiv url: http://arxiv.org/abs/2509.14577v1
• Date: Thu, 18 Sep 2025 03:26:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-19 17:26:53.046579
• Title: Structure-Preserving Margin Distribution Learning for High-Order Tensor Data with Low-Rank Decomposition
• Title（参考訳）: 低ランク分解による高次テンソルデータのための構造保存マルジン分布学習
• Authors: Yang Xu, Junpeng Li, Changchun Hua, Yana Yang,
• Abstract要約: 低ランク分解(SPMD-LRT)を用いた高次データのための構造保存マルジン分布学習を提案する。 SPMD-LRTは、一階および二階テンソル統計を取り入れた多次元空間構造を保存する。 従来のSVM、ベクトルベースのLMDM、およびそれ以前のテンソルベースのSVM拡張よりも優れた分類精度を実現する。
• 参考スコア（独自算出の注目度）: 26.053531060301058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Large Margin Distribution Machine (LMDM) is a recent advancement in classifier design that optimizes not just the minimum margin (as in SVM) but the entire margin distribution, thereby improving generalization. However, existing LMDM formulations are limited to vectorized inputs and struggle with high-dimensional tensor data due to the need for flattening, which destroys the data's inherent multi-mode structure and increases computational burden. In this paper, we propose a Structure-Preserving Margin Distribution Learning for High-Order Tensor Data with Low-Rank Decomposition (SPMD-LRT) that operates directly on tensor representations without vectorization. The SPMD-LRT preserves multi-dimensional spatial structure by incorporating first-order and second-order tensor statistics (margin mean and variance) into the objective, and it leverages low-rank tensor decomposition techniques including rank-1(CP), higher-rank CP, and Tucker decomposition to parameterize the weight tensor. An alternating optimization (double-gradient descent) algorithm is developed to efficiently solve the SPMD-LRT, iteratively updating factor matrices and core tensor. This approach enables SPMD-LRT to maintain the structural information of high-order data while optimizing margin distribution for improved classification. Extensive experiments on diverse datasets (including MNIST, images and fMRI neuroimaging) demonstrate that SPMD-LRT achieves superior classification accuracy compared to conventional SVM, vector-based LMDM, and prior tensor-based SVM extensions (Support Tensor Machines and Support Tucker Machines). Notably, SPMD-LRT with Tucker decomposition attains the highest accuracy, highlighting the benefit of structure preservation. These results confirm the effectiveness and robustness of SPMD-LRT in handling high-dimensional tensor data for classification.
• Abstract（参考訳）: LMDM(Large Margin Distribution Machine)は、SVMのような最小マージンだけでなく、全マージン分布を最適化し、一般化を向上する分類器設計の最近の進歩である。 しかし、既存のLMDMの定式化はベクトル化入力に限られており、フラット化の必要性により高次元テンソルデータと競合し、データ固有のマルチモード構造を破壊し、計算負担を増大させる。 本稿では,ベクトル化のないテンソル表現を直接操作する低ランク分解(SPMD-LRT)を用いた高次テンソルデータのための構造保存マルジン分布学習を提案する。 SPMD-LRTは1階と2階のテンソル統計(平均と分散)を目的に組み込むことで多次元空間構造を保存し、ランク1(CP)、上位CP、タッカー分解などの低ランクテンソル分解技術を利用して重みテンソルをパラメータ化する。 SPMD-LRT, 繰り返し更新係数行列, コアテンソルを効率よく解くために, 交互最適化(二重勾配降下)アルゴリズムを開発した。 このアプローチにより、SPMD-LRTは高次データの構造情報を維持しつつ、良質な分類のためのマージン分布を最適化できる。 多様なデータセット(MNIST、画像、fMRIのニューロイメージングを含む)の広範な実験により、SPMD-LRTは従来のSVM、ベクトルベースのLMDM、および以前のテンソルベースのSVM拡張(Support Tensor MachinesとSupport Tucker Machines)よりも優れた分類精度が得られることが示された。 特に、タッカー分解によるSPMD-LRTが最も精度が高く、構造保存の利点を強調している。 これらの結果から,SPMD-LRTの高次元テンソルデータの分類における有効性とロバスト性が確認された。

関連論文リスト

• TensorGRaD: Tensor Gradient Robust Decomposition for Memory-Efficient Neural Operator Training [91.8932638236073]
  textbfTensorGRaDは,重み付けに伴うメモリ問題に直接対処する新しい手法である。 SparseGRaD は総メモリ使用量を 50% 以上削減し,同時に精度も向上することを示した。
  論文  参考訳（メタデータ） (2025-01-04T20:51:51Z)
• tCURLoRA: Tensor CUR Decomposition Based Low-Rank Parameter Adaptation and Its Application in Medical Image Segmentation [1.3281936946796913]
  伝達学習は、事前訓練されたモデルからの知識を活用することで、目標タスクの性能を大幅に向上させた。 ディープニューラルネットワークのスケールアップに伴って、フル微調整によって、計算とストレージの大幅な課題がもたらされる。 テンソルCUR分解に基づく新しい微調整法であるtCURLoRAを提案する。
  論文  参考訳（メタデータ） (2025-01-04T08:25:32Z)
• Orientation-Aware Sparse Tensor PCA for Efficient Unsupervised Feature Selection [7.887782360541216]
  非教師付き特徴選択(UFS)に分解(TD)技術を導入する。 この問題を解決するために、スパース特異値分解の向きに依存したテンソルテンソル積を用いる。 提案したテンソルPCAモデルは,所定のモードで間隔を制限し,スパーステンソル主成分を得る。
  論文  参考訳（メタデータ） (2024-07-24T04:04:56Z)
• Augmented Tensor Decomposition with Stochastic Optimization [46.16865811396394]
  実世界のテンソルデータは、通常高次で、数百万から数十億のエントリを持つ大きな次元を持つ。 テンソル全体を従来のアルゴリズムで分解するのは高価である。 本稿では、データ拡張を効果的に取り入れて下流の分類を向上する拡張テンソル分解を提案する。
  論文  参考訳（メタデータ） (2021-06-15T06:29:05Z)
• Why Approximate Matrix Square Root Outperforms Accurate SVD in Global Covariance Pooling? [59.820507600960745]
  本稿では,前方通過のSVDと後方伝播のPad'e近似を用いて勾配を計算する新しいGCPメタ層を提案する。 提案するメタレイヤは,さまざまなCNNモデルに統合され,大規模および微細なデータセット上で最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-05-06T08:03:45Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Spectral Tensor Train Parameterization of Deep Learning Layers [136.4761580842396]
  重み行列の低ランクパラメータ化をDeep Learningコンテキストに埋め込まれたスペクトル特性を用いて検討する。 分類設定におけるニューラルネットワーク圧縮の効果と,生成的対角トレーニング設定における圧縮および安定性トレーニングの改善について述べる。
  論文  参考訳（メタデータ） (2021-03-07T00:15:44Z)
• Kronecker Attention Networks [69.22257624495899]
  我々は,高次テンソルデータを直接操作するKronecker attention operator (KAOs) を開発した。 その結果,本手法は必要な計算資源の量を数百倍に削減できることがわかった。
  論文  参考訳（メタデータ） (2020-07-16T16:26:02Z)
• Learning Low-rank Deep Neural Networks via Singular Vector Orthogonality Regularization and Singular Value Sparsification [53.50708351813565]
  各ステップにSVDを適用することなく、トレーニング中に低ランクDNNを明示的に達成する最初の方法であるSVDトレーニングを提案する。 SVDトレーニングがDNN層のランクを著しく低減し,同じ精度で計算負荷の低減を実現することを実証的に示す。
  論文  参考訳（メタデータ） (2020-04-20T02:40:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。