論文の概要: Searching to Sparsify Tensor Decomposition for N-ary Relational Data

• arxiv url: http://arxiv.org/abs/2104.10625v1
• Date: Wed, 21 Apr 2021 16:37:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-22 15:39:23.566414
• Title: Searching to Sparsify Tensor Decomposition for N-ary Relational Data
• Title（参考訳）: n-アリ関係データのスパルシファイズテンソル分解の探索
• Authors: Shimin Di, Quanming Yao, Lei Chen
• Abstract要約: 我々は,N-aryリレーショナルデータから効率よく学習するための新しい手法,すなわちS2Sを提案する。 提案したS2Sは、表現性を保証するだけでなく、混合アリティから効率的に学習する。 実験の結果、S2Sは訓練に効率的であり、最先端の性能を達成することが示された。
• 参考スコア（独自算出の注目度）: 36.44083676003059
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tensor, an extension of the vector and matrix to the multi-dimensional case, is a natural way to describe the N-ary relational data. Recently, tensor decomposition methods have been introduced into N-ary relational data and become state-of-the-art on embedding learning. However, the performance of existing tensor decomposition methods is not as good as desired. First, they suffer from the data-sparsity issue since they can only learn from the N-ary relational data with a specific arity, i.e., parts of common N-ary relational data. Besides, they are neither effective nor efficient enough to be trained due to the over-parameterization problem. In this paper, we propose a novel method, i.e., S2S, for effectively and efficiently learning from the N-ary relational data. Specifically, we propose a new tensor decomposition framework, which allows embedding sharing to learn from facts with mixed arity. Since the core tensors may still suffer from the over-parameterization, we propose to reduce parameters by sparsifying the core tensors while retaining their expressive power using neural architecture search (NAS) techniques, which can search for data-dependent architectures. As a result, the proposed S2S not only guarantees to be expressive but also efficiently learns from mixed arity. Finally, empirical results have demonstrated that S2S is efficient to train and achieves state-of-the-art performance.
• Abstract（参考訳）: 多次元の場合へのベクトルと行列の拡張であるテンソルは、N-項関係データを記述する自然な方法である。 近年,N-aryリレーショナルデータにテンソル分解法を導入し,組込み学習の最先端技術となった。 しかし、既存のテンソル分解法の性能は所望のものほど良くない。 n-aryリレーショナルデータから、特定のarity、すなわち一般的なn-aryリレーショナルデータの一部でのみ学習できるため、彼らはデータ分離の問題に苦しむ。 さらに、過度なパラメータ化問題のためにトレーニングできるほど効果的でも効率的でもない。 本論文では,N-aryリレーショナルデータから効率的に学習するための新しい手法,すなわちS2Sを提案する。 具体的には,組込み共有が混在する事実から学習することを可能にする新しいテンソル分解フレームワークを提案する。 コアテンソルは依然として過パラメータ化に悩まされているため,データ依存アーキテクチャを探索するニューラルアーキテクチャサーチ(NAS)技術を用いて,表現力を保ちながらコアテンソルをスパース化することでパラメータを低減することを提案する。 その結果、提案したS2Sは表現性を保証するだけでなく、混合アリティから効率的に学習する。 最後に、S2Sは訓練に効率的であり、最先端の性能を達成することを実証した。

関連論文リスト

• Coseparable Nonnegative Tensor Factorization With T-CUR Decomposition [2.013220890731494]
  非負行列因子化(NMF)は、データから意味のある特徴を抽出する重要な教師なし学習手法である。 本研究では,コセプタブルコアを選択するための交互選択法を提案する。 その結果, 分離可能なNMFと比較して, 分離可能なNTFの有効性が示された。
  論文  参考訳（メタデータ） (2024-01-30T09:22:37Z)
• Improved Distribution Matching for Dataset Condensation [91.55972945798531]
  本稿では,分布マッチングに基づく新しいデータセット凝縮法を提案する。 提案手法は,計算資源の少ない従来の最適化指向手法よりも優れている。
  論文  参考訳（メタデータ） (2023-07-19T04:07:33Z)
• Latent Matrices for Tensor Network Decomposition and to Tensor Completion [8.301418317685906]
  テンソルを小さく分解し,アルゴリズムの計算を高速化する新しい高階テンソル分解モデルを提案する。 LMTN-PAM, LMTN-SVD, LMTN-ARの3つの最適化アルゴリズムを開発し, テンソル補完タスクに適用した。 実験の結果, LMTN-SVDアルゴリズムはFCTN-PAMアルゴリズムの3～6倍高速であり, 1.8ポイントの精度低下しか得られなかった。
  論文  参考訳（メタデータ） (2022-10-07T08:19:50Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• Fast and Provable Tensor Robust Principal Component Analysis via Scaled Gradient Descent [30.299284742925852]
  本稿では、テンソルロバスト主成分分析(RPCA)に取り組む。 希少な腐敗によって汚染された観測から低ランクのテンソルを回収することを目的としている。 提案アルゴリズムは, 最先端行列やテンソルRPCAアルゴリズムよりも, より優れた, よりスケーラブルな性能を実現する。
  論文  参考訳（メタデータ） (2022-06-18T04:01:32Z)
• Truncated tensor Schatten p-norm based approach for spatiotemporal traffic data imputation with complicated missing patterns [77.34726150561087]
  本研究は, モード駆動繊維による3症例の欠失を含む, 4症例の欠失パターンについて紹介する。 本モデルでは, 目的関数の非性にもかかわらず, 乗算器の交互データ演算法を統合することにより, 最適解を導出する。
  論文  参考訳（メタデータ） (2022-05-19T08:37:56Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Kernel Two-Dimensional Ridge Regression for Subspace Clustering [45.651770340521786]
  本稿では,2次元データに対する新しいサブスペースクラスタリング手法を提案する。 2Dデータを入力として直接使用するので、表現の学習はデータ固有の構造や関係から恩恵を受ける。
  論文  参考訳（メタデータ） (2020-11-03T04:52:46Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。