論文の概要: Unsupervised Learning of slow features for Data Efficient Regression

• arxiv url: http://arxiv.org/abs/2012.06279v1
• Date: Fri, 11 Dec 2020 12:19:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-11 02:56:14.986350
• Title: Unsupervised Learning of slow features for Data Efficient Regression
• Title（参考訳）: データ効率的な回帰のための遅い特徴の教師なし学習
• Authors: Oliver Struckmeier, Kshitij Tiwari, Ville Kyrki
• Abstract要約: 本稿では、遅延表現に時間的類似性制約を適用した$beta$-VAEの拡張である、遅い変分オートエンコーダ(S-VAE)を提案する。 合成2次元球追跡データセットと、最近の学習環境からのデータセットとDeepMind Lab環境から生成されたデータセットを用いて、下流タスクのデータ効率に対する3つの手法を評価する。
• 参考スコア（独自算出の注目度）: 15.73372211126635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Research in computational neuroscience suggests that the human brain's unparalleled data efficiency is a result of highly efficient mechanisms to extract and organize slowly changing high level features from continuous sensory inputs. In this paper, we apply this slowness principle to a state of the art representation learning method with the goal of performing data efficient learning of down-stream regression tasks. To this end, we propose the slow variational autoencoder (S-VAE), an extension to the $\beta$-VAE which applies a temporal similarity constraint to the latent representations. We empirically compare our method to the $\beta$-VAE and the Temporal Difference VAE (TD-VAE), a state-of-the-art method for next frame prediction in latent space with temporal abstraction. We evaluate the three methods against their data-efficiency on down-stream tasks using a synthetic 2D ball tracking dataset, a dataset from a reinforcent learning environment and a dataset generated using the DeepMind Lab environment. In all tasks, the proposed method outperformed the baselines both with dense and especially sparse labeled data. The S-VAE achieved similar or better performance compared to the baselines with $20\%$ to $93\%$ less data.
• Abstract（参考訳）: 計算神経科学の研究は、人間の脳の非並列データ効率は、連続的な感覚入力からゆっくりと変化する高次特徴を抽出し整理する非常に効率的なメカニズムの結果であることを示している。 本稿では,このスローネス原理を,ダウンストリーム回帰タスクのデータ効率的な学習を目標として,アート表現学習法の現状に適用する。 この目的のために、遅延表現に時間的類似性制約を適用した$\beta$-VAEの拡張である遅い変分オートエンコーダ(S-VAE)を提案する。 本手法を,時間的抽象化を伴う潜在空間における次のフレーム予測手法である$\beta$-vae とtemporal difference vae (td-vae) と比較した。 合成2次元球追跡データセットと、最近の学習環境からのデータセットとDeepMind Lab環境から生成されたデータセットを用いて、下流タスクのデータ効率に対する3つの手法を評価する。 すべてのタスクにおいて、提案手法は、密度の高いデータと、特にスパースなラベル付きデータの両方でベースラインを上回っていた。 s-vae は 20\%$ から 93\%$ のデータをベースラインと比較した場合、類似または良好な性能を達成した。

関連論文リスト

• fastHDMI: Fast Mutual Information Estimation for High-Dimensional Data [2.9901605297536027]
  我々は高次元データセットにおける効率的な変数スクリーニングのために設計されたPythonパッケージであるfastHDMIを紹介した。 この研究は3つの相互情報推定手法のニューロイメージング変数選択への応用を開拓した。
  論文  参考訳（メタデータ） (2024-10-14T01:49:53Z)
• Data Augmentation for Sparse Multidimensional Learning Performance Data Using Generative AI [17.242331892899543]
  学習パフォーマンスデータは、適応学習における正しい解答や問題解決の試みを記述している。 学習性能データは、適応的なアイテム選択のため、ほとんどの実世界のアプリケーションでは、非常にスパースな(80%(sim)90%の欠落)傾向にある。 本稿では,学習者のデータの分散性に対処するために,学習者のデータを拡張するための体系的フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-24T00:25:07Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• ContrasInver: Ultra-Sparse Label Semi-supervised Regression for Multi-dimensional Seismic Inversion [7.356328937024184]
  コントラインバー(ContrasInver)は、2、3個の井戸の丸太を用いて地震波の逆解析を行う手法である。 実験では、ContrasInverは合成データSEAM Iで最先端の性能を達成した。 オランダのF3とDelftでは,それぞれ3つと2つの井戸ログのみを使用して,信頼性の高い結果をもたらす,初めてのデータ駆動型アプローチである。
  論文  参考訳（メタデータ） (2023-02-13T15:19:51Z)
• Towards Robust Dataset Learning [90.2590325441068]
  本稿では,頑健なデータセット学習問題を定式化するための三段階最適化法を提案する。 ロバストな特徴と非ロバストな特徴を特徴付ける抽象モデルの下で,提案手法はロバストなデータセットを確実に学習する。
  論文  参考訳（メタデータ） (2022-11-19T17:06:10Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• DEALIO: Data-Efficient Adversarial Learning for Imitation from Observation [57.358212277226315]
  観察ifoからの模倣学習において、学習エージェントは、実演者の生成した制御信号にアクセスせずに、実演行動の観察のみを用いて実演エージェントを模倣しようとする。 近年、逆模倣学習に基づく手法は、ifO問題に対する最先端のパフォーマンスをもたらすが、データ非効率でモデルなしの強化学習アルゴリズムに依存するため、サンプルの複雑さに悩まされることが多い。 この問題は、サンプルの収集が時間、エネルギー、およびリスクの面で高いコストを被る可能性がある現実世界の設定に展開することは非現実的です。 よりデータ効率の高いifOアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-31T23:46:32Z)
• AutoSimulate: (Quickly) Learning Synthetic Data Generation [70.82315853981838]
  目的の新たな微分可能近似に基づく最適な合成データ生成法を提案する。 提案手法は,学習データ生成の高速化(最大50Times$)と,実世界のテストデータセットの精度向上(+8.7%$)を実現している。
  論文  参考訳（メタデータ） (2020-08-16T11:36:11Z)
• Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
  ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。 我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。 そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
  論文  参考訳（メタデータ） (2020-05-18T09:36:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。