論文の概要: Deep Multi-Task Learning via Generalized Tensor Trace Norm

• arxiv url: http://arxiv.org/abs/2002.04799v1
• Date: Wed, 12 Feb 2020 05:06:35 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 19:10:36.910412
• Title: Deep Multi-Task Learning via Generalized Tensor Trace Norm
• Title（参考訳）: 一般化テンソルトレースノルムによる深部マルチタスク学習
• Authors: Yi Zhang, Yu Zhang, Wei Wang
• Abstract要約: トレースノルムは、モデルパラメータの観点からタスク間の低ランク構造を発見できるため、マルチタスク学習で広く使われている。 一般化トレースノルム(GTTN)を提案する。 実世界のデータセットに対する実験は、提案したGTTNの有効性を示す。
• 参考スコア（独自算出の注目度）: 13.085621598721549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The trace norm is widely used in multi-task learning as it can discover low-rank structures among tasks in terms of model parameters. Nowadays, with the emerging of big datasets and the popularity of deep learning techniques, tensor trace norms have been used for deep multi-task models. However, existing tensor trace norms cannot discover all the low-rank structures and they require users to manually determine the importance of their components. To solve those two issues together, in this paper, we propose a Generalized Tensor Trace Norm (GTTN). The GTTN is defined as a convex combination of matrix trace norms of all possible tensor flattenings and hence it can discover all the possible low-rank structures. In the induced objective function, we will learn combination coefficients in the GTTN to automatically determine the importance. Experiments on real-world datasets demonstrate the effectiveness of the proposed GTTN.
• Abstract（参考訳）: トレースノルムは、モデルパラメータの観点からタスク間の低ランク構造を発見できるため、マルチタスク学習で広く使われている。 近年,大規模データセットの出現とディープラーニング技術の普及により,深層マルチタスクモデルにテンソルトレースノルムが使用されている。 しかし、既存のテンソルトレースノルムは、すべての低ランク構造を発見できず、ユーザは手作業でコンポーネントの重要性を判断する必要がある。 本稿では,これら2つの問題を解決するために,一般化テンソルトレースノルム(GTTN)を提案する。 GTTNは、すべての可能なテンソル平坦化の行列トレースノルムの凸結合として定義されるため、可能な低ランク構造をすべて発見できる。 誘導目的関数では、gttnの組合せ係数を学習し、重要度を自動的に決定する。 実世界のデータセットに対する実験は、提案したGTTNの有効性を示す。

関連論文リスト

• Normality Learning-based Graph Anomaly Detection via Multi-Scale Contrastive Learning [61.57383634677747]
  グラフ異常検出(GAD)は、機械学習やデータマイニングにおいて注目を集めている。 本稿では,マルチスケールコントラスト学習ネットワーク(NLGAD,略語)による正規性学習に基づくGADフレームワークを提案する。 特に,提案アルゴリズムは,最先端手法と比較して検出性能(最大5.89%のAUCゲイン)を向上させる。
  論文  参考訳（メタデータ） (2023-09-12T08:06:04Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Bag of Tricks for Training Deeper Graph Neural Networks: A Comprehensive Benchmark Study [100.27567794045045]
  ディープグラフニューラルネットワーク(GNN)のトレーニングは、非常に難しい。 我々は、深層GNNの「トリック」を評価するための最初の公正かつ再現可能なベンチマークを示す。
  論文  参考訳（メタデータ） (2021-08-24T05:00:37Z)
• Task-agnostic Continual Learning with Hybrid Probabilistic Models [75.01205414507243]
  分類のための連続学習のためのハイブリッド生成識別手法であるHCLを提案する。 フローは、データの配布を学習し、分類を行い、タスクの変更を特定し、忘れることを避けるために使用される。 本研究では,スプリット-MNIST,スプリット-CIFAR,SVHN-MNISTなどの連続学習ベンチマークにおいて,HCLの強い性能を示す。
  論文  参考訳（メタデータ） (2021-06-24T05:19:26Z)
• Lower and Upper Bounds on the VC-Dimension of Tensor Network Models [8.997952791113232]
  ネットワーク法は凝縮物質物理学の進歩の重要な要素である。 これらは指数関数的に大きな特徴空間で線形モデルを効率的に学習するのに使うことができる。 本研究では,大きなテンソルネットワークモデルのVC次元と擬次元の上下境界を導出する。
  論文  参考訳（メタデータ） (2021-06-22T14:39:25Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Adaptive Learning of Tensor Network Structures [6.407946291544721]
  我々はTN形式を利用して汎用的で効率的な適応アルゴリズムを開発し、データからTNの構造とパラメータを学習する。 本アルゴリズムは,任意の微分対象関数を効果的に最適化する少数のパラメータでTN構造を適応的に同定することができる。
  論文  参考訳（メタデータ） (2020-08-12T16:41:56Z)
• Neural Complexity Measures [96.06344259626127]
  本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。 我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
  論文  参考訳（メタデータ） (2020-08-07T02:12:10Z)
• Anomaly Detection with Tensor Networks [2.3895981099137535]
  テンソルネットワークのメモリと計算効率を利用して、原特徴数の次元指数で空間上の線形変換を学習する。 画像の局所性を利用していないにもかかわらず、画像データセット上で競合する結果を生成する。
  論文  参考訳（メタデータ） (2020-06-03T20:41:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。