論文の概要: Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach

• arxiv url: http://arxiv.org/abs/2001.10109v3
• Date: Tue, 30 Mar 2021 09:29:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-06 07:51:04.360301
• Title: Supervised Learning for Non-Sequential Data: A Canonical Polyadic Decomposition Approach
• Title（参考訳）: 非逐次データに対する教師付き学習:正準多進分解アプローチ
• Authors: Alexandros Haliassos, Kriton Konstantinidis, Danilo P. Mandic
• Abstract要約: 特徴相互作用の効率的なモデリングは、非順序的タスクに対する教師あり学習の基盤となる。 この問題を緩和するため、モデルパラメータをテンソルとして暗黙的に表現することが提案されている。 表現性を向上するため,任意の高次元特徴ベクトルに特徴写像を適用できるようにフレームワークを一般化する。
• 参考スコア（独自算出の注目度）: 85.12934750565971
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient modelling of feature interactions underpins supervised learning for non-sequential tasks, characterized by a lack of inherent ordering of features (variables). The brute force approach of learning a parameter for each interaction of every order comes at an exponential computational and memory cost (Curse of Dimensionality). To alleviate this issue, it has been proposed to implicitly represent the model parameters as a tensor, the order of which is equal to the number of features; for efficiency, it can be further factorized into a compact Tensor Train (TT) format. However, both TT and other Tensor Networks (TNs), such as Tensor Ring and Hierarchical Tucker, are sensitive to the ordering of their indices (and hence to the features). To establish the desired invariance to feature ordering, we propose to represent the weight tensor through the Canonical Polyadic (CP) Decomposition (CPD), and introduce the associated inference and learning algorithms, including suitable regularization and initialization schemes. It is demonstrated that the proposed CP-based predictor significantly outperforms other TN-based predictors on sparse data while exhibiting comparable performance on dense non-sequential tasks. Furthermore, for enhanced expressiveness, we generalize the framework to allow feature mapping to arbitrarily high-dimensional feature vectors. In conjunction with feature vector normalization, this is shown to yield dramatic improvements in performance for dense non-sequential tasks, matching models such as fully-connected neural networks.
• Abstract（参考訳）: 特徴的相互作用の効率的なモデリングは、特徴(変数)固有の順序の欠如を特徴とする、非順序的タスクに対する教師あり学習の基盤となる。 それぞれの順序の相互作用のパラメータを学習する残酷な力のアプローチは、指数計算とメモリコスト(次元の計算)によって得られる。 この問題を緩和するために、モデルパラメータをテンソルとして暗黙的に表現することが提案されており、その順序は特徴数に等しい。 しかし、ttおよびテンソル環や階層的タッカーのような他のテンソルネットワーク(tns)は、それらのインデックスの順序(したがって特徴)に敏感である。 特徴順序に対する所望の不変性を確立するために,標準多進分解(cpd)による重みテンソルの表現と,適切な正規化と初期化スキームを含む関連する推論・学習アルゴリズムの導入を提案する。 提案するcpベースの予測器は,sparseデータを用いた他のtnベースの予測器を有意に上回り,密集した非系列タスクでは同等の性能を示した。 さらに,表現性を高めるために,任意の高次元特徴ベクトルへの特徴マッピングを可能にするフレームワークを一般化する。 これは特徴ベクトル正規化と相まって、完全連結ニューラルネットワークのようなモデルにマッチする密集した非シーケンスタスクのパフォーマンスを劇的に改善することが示されている。

関連論文リスト

• Tensor Polynomial Additive Model [40.30621617188693]
  TPAMは、加法モデルの固有の解釈可能性、透明な意思決定、意味のある特徴値の抽出を保存している。 精度を最大30%向上し、圧縮速度を最大5倍向上させ、良好な解釈性を維持することができる。
  論文  参考訳（メタデータ） (2024-06-05T06:23:11Z)
• Fine-grained Retrieval Prompt Tuning [149.9071858259279]
  微粒な検索プロンプトチューニングは, サンプルプロンプトと特徴適応の観点から, きめの細かい検索タスクを実行するために, 凍結した事前学習モデルを操る。 学習可能なパラメータが少ないFRPTは、広く使われている3つの細粒度データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-07-29T04:10:04Z)
• Orthogonal Stochastic Configuration Networks with Adaptive Construction Parameter for Data Analytics [6.940097162264939]
  ランダム性により、SCNは冗長で品質の低い近似線形相関ノードを生成する可能性が高まる。 機械学習の基本原理、すなわち、パラメータが少ないモデルでは、一般化が向上する。 本稿では,ネットワーク構造低減のために,低品質な隠れノードをフィルタする直交SCN(OSCN)を提案する。
  論文  参考訳（メタデータ） (2022-05-26T07:07:26Z)
• Contrastive Conditional Neural Processes [45.70735205041254]
  条件付きニューラル・プロセス(CNP)は、メタラーニング環境下でのプロセスの機能に近い確率的推論でニューラルネットワークをブリッジする。 2つの補助的コントラスト分岐が階層的に設定される。すなわち、インストラクテーション時間的コントラスト学習(tt TCL)とクロスストラクテーション関数コントラスト学習(tt FCL)である。 実験により、tt TCLは観測の高レベルの抽象化を捉えるのに対し、tt FCLは基底関数の同定に役立ち、より効率的な表現を提供することを示す。
  論文  参考訳（メタデータ） (2022-03-08T10:08:45Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Tensor Representations for Action Recognition [54.710267354274194]
  シーケンスにおける人間の行動は、空間的特徴とその時間的ダイナミクスの複雑な相互作用によって特徴づけられる。 アクション認識タスクの視覚的特徴間の高次関係を捉えるための新しいテンソル表現を提案する。 我々は,高次テンソルといわゆる固有値パワー正規化(NEP)を用いて,高次事象のスペクトル検出を行う。
  論文  参考訳（メタデータ） (2020-12-28T17:27:18Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Adaptive Learning of Tensor Network Structures [6.407946291544721]
  我々はTN形式を利用して汎用的で効率的な適応アルゴリズムを開発し、データからTNの構造とパラメータを学習する。 本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。
  論文  参考訳（メタデータ） (2020-08-12T16:41:56Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。