論文の概要: Deep Unfolded Tensor Robust PCA with Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2212.11346v1
• Date: Wed, 21 Dec 2022 20:34:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 14:00:15.447919
• Title: Deep Unfolded Tensor Robust PCA with Self-supervised Learning
• Title（参考訳）: 自己教師型学習による深部展開型テンソルロバストPCA
• Authors: Harry Dong, Megna Shah, Sean Donegan, Yuejie Chi
• Abstract要約: 深部展開を用いたテンソルRPCAの高速かつ簡易な自己教師モデルについて述べる。 我々のモデルは、競争力やパフォーマンスを保ちながら、根拠となる真理ラベルの必要性を排除します。 我々はこれらの主張を、合成データと実世界のタスクの混合上で実証する。
• 参考スコア（独自算出の注目度）: 21.710932587432396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tensor robust principal component analysis (RPCA), which seeks to separate a low-rank tensor from its sparse corruptions, has been crucial in data science and machine learning where tensor structures are becoming more prevalent. While powerful, existing tensor RPCA algorithms can be difficult to use in practice, as their performance can be sensitive to the choice of additional hyperparameters, which are not straightforward to tune. In this paper, we describe a fast and simple self-supervised model for tensor RPCA using deep unfolding by only learning four hyperparameters. Despite its simplicity, our model expunges the need for ground truth labels while maintaining competitive or even greater performance compared to supervised deep unfolding. Furthermore, our model is capable of operating in extreme data-starved scenarios. We demonstrate these claims on a mix of synthetic data and real-world tasks, comparing performance against previously studied supervised deep unfolding methods and Bayesian optimization baselines.
• Abstract（参考訳）: テンソルロバスト主成分分析(rpca)は、低位テンソルとそのばらばらな腐敗から分離することを目的としており、テンソル構造がより普及しているデータサイエンスと機械学習において極めて重要である。 既存のテンソルRPCAアルゴリズムは強力だが、そのパフォーマンスはチューニングが簡単ではない追加のハイパーパラメータの選択に敏感であるため、実際に使用するのは難しい。 本稿では,4つのハイパーパラメータのみを学習することで,深部展開を用いたテンソルRPCAの高速かつ簡易な自己教師モデルについて述べる。 その単純さにもかかわらず、我々のモデルは、監督された深い展開よりも競争力やパフォーマンスを保ちながら、基礎的な真理ラベルの必要性を排除している。 さらに,このモデルは極端なデータ不足のシナリオでも動作可能である。 我々はこれらの主張を合成データと実世界のタスクの混合で示し、教師ありの深い展開法とベイズ最適化のベースラインと比較した。

関連論文リスト

• PUMA: margin-based data pruning [51.12154122266251]
  モデル分類境界からの距離(すなわちマージン)に基づいて、いくつかのトレーニングサンプルを除去するデータプルーニングに焦点を当てる。 我々は,DeepFoolを用いてマージンを算出する新しいデータプルーニング戦略PUMAを提案する。 PUMAは,現状の最先端手法であるロバスト性の上に利用でき,既存のデータプルーニング戦略と異なり,モデル性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-05-10T08:02:20Z)
• Deep Knowledge Tracing is an implicit dynamic multidimensional item response theory model [25.894399244406287]
  ディープ・ナレッジ・トレーシング(Deep Knowledge Trace, DKT)は、リカレントニューラルネットワークに依存するナレッジ・トレースの競合モデルである。 本稿では,エンコーダデコーダアーキテクチャとして深い知識追跡を行う。 より単純なデコーダは、DKTが使用するデコーダよりもパラメータが少なく、学生のパフォーマンスをより良く予測できることを示す。
  論文  参考訳（メタデータ） (2023-08-18T09:32:49Z)
• Phantom Embeddings: Using Embedding Space for Model Regularization in Deep Neural Networks [12.293294756969477]
  機械学習モデルの強みは、データから複雑な関数近似を学ぶ能力に起因している。 複雑なモデルはトレーニングデータを記憶する傾向があり、結果としてテストデータの正規化性能が低下する。 情報豊富な潜伏埋め込みと高いクラス内相関を利用してモデルを正規化するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-04-14T17:15:54Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Fast and Provable Tensor Robust Principal Component Analysis via Scaled Gradient Descent [30.299284742925852]
  本稿では、テンソルロバスト主成分分析(RPCA)に取り組む。 希少な腐敗によって汚染された観測から低ランクのテンソルを回収することを目的としている。 提案アルゴリズムは, 最先端行列やテンソルRPCAアルゴリズムよりも, より優れた, よりスケーラブルな性能を実現する。
  論文  参考訳（メタデータ） (2022-06-18T04:01:32Z)
• Last Layer Re-Training is Sufficient for Robustness to Spurious Correlations [51.552870594221865]
  最後の層再トレーニングは,突発的な相関ベンチマークにおいて,最先端の手法と一致するか,あるいは性能的に優れていることを示す。 また,大規模な画像ネット学習モデルにおける最終層の再トレーニングにより,背景情報やテクスチャ情報への依存を著しく低減できることを示す。
  論文  参考訳（メタデータ） (2022-04-06T16:55:41Z)
• Efficient Tensor Robust PCA under Hybrid Model of Tucker and Tensor Train [33.33426557160802]
  本研究では,TuckerとTTのハイブリッドモデルに基づく効率的な主成分分析(TRPCA)を提案する。 具体的には、理論上は、元のビッグテンソルのTT核ノルム(TTNN)が、タッカー圧縮フォーマットによってはるかに小さなテンソルのノルムに等価に変換できることを明らかにする。 合成テンソルデータおよび実世界のテンソルデータの数値実験により,提案モデルの有効性が検証された。
  論文  参考訳（メタデータ） (2021-12-20T01:15:45Z)
• Learned Robust PCA: A Scalable Deep Unfolding Approach for High-Dimensional Outlier Detection [23.687598836093333]
  ロバストな主成分分析は機械学習において重要なツールであり、低ランク再構成タスクにおける外れ値を検出する。 本稿では,LRPCAと呼ばれる高次元RPCA問題に対するスケーラブルで学習可能なアプローチを提案する。 LRPCAは、ニューラルネットワークAltProjのような最先端のRPCAアルゴリズムよりも、両方のデータセットの実際のアプリケーションで優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-11T23:37:55Z)
• Rank-R FNN: A Tensor-Based Learning Model for High-Order Data Classification [69.26747803963907]
  Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。 まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。 Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
  論文  参考訳（メタデータ） (2021-04-11T16:37:32Z)
• Temporal Calibrated Regularization for Robust Noisy Label Learning [60.90967240168525]
  ディープニューラルネットワーク(DNN)は、大規模な注釈付きデータセットの助けを借りて、多くのタスクで大きな成功を収めている。 しかし、大規模なデータのラベル付けは非常にコストがかかりエラーが発生しやすいため、アノテーションの品質を保証することは困難である。 本稿では,従来のラベルと予測を併用したTCR(Temporal Calibrated Regularization)を提案する。
  論文  参考訳（メタデータ） (2020-07-01T04:48:49Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。