論文の概要: Empirical Evaluation and Theoretical Analysis for Representation
Learning: A Survey
- arxiv url: http://arxiv.org/abs/2204.08226v1
- Date: Mon, 18 Apr 2022 09:18:47 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-19 14:02:18.695011
- Title: Empirical Evaluation and Theoretical Analysis for Representation
Learning: A Survey
- Title(参考訳): 表現学習における経験的評価と理論的分析:調査
- Authors: Kento Nozawa, Issei Sato
- Abstract要約: 表現学習により、データセットからジェネリックな特徴表現を自動的に抽出して、別の機械学習タスクを解決することができます。
近年,表現学習アルゴリズムと単純な予測器によって抽出された特徴表現は,複数の機械学習タスクにおいて最先端の性能を示す。
- 参考スコア(独自算出の注目度): 25.5633960013493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Representation learning enables us to automatically extract generic feature
representations from a dataset to solve another machine learning task.
Recently, extracted feature representations by a representation learning
algorithm and a simple predictor have exhibited state-of-the-art performance on
several machine learning tasks. Despite its remarkable progress, there exist
various ways to evaluate representation learning algorithms depending on the
application because of the flexibility of representation learning. To
understand the current representation learning, we review evaluation methods of
representation learning algorithms and theoretical analyses. On the basis of
our evaluation survey, we also discuss the future direction of representation
learning. Note that this survey is the extended version of Nozawa and Sato
(2022).
- Abstract(参考訳): 表現学習により、データセットから汎用的な特徴表現を自動的に抽出して、別の機械学習タスクを解決することができる。
近年,表現学習アルゴリズムと単純な予測器によって抽出された特徴表現は,複数の機械学習タスクにおいて最先端の性能を示す。
その顕著な進歩にもかかわらず、表現学習の柔軟性のため、アプリケーションに応じて表現学習アルゴリズムを評価する方法は様々である。
現在の表現学習を理解するために,表現学習アルゴリズムと理論解析の評価手法について検討する。
評価調査に基づき,表現学習の今後の方向性についても考察した。
なお、この調査は野沢と佐藤(2022年)の拡張版である。
関連論文リスト
- Position Paper: Toward New Frameworks for Studying Model Representations [0.0]
文献レビューを行い、特徴と行動の表現を形式化し、その重要性と評価を強調し、表現の機械的解釈可能性に関する基礎的な調査を行う。
我々は、表現を研究することは重要かつ未研究の分野であり、現在MIで確立されている方法では表現を理解するのに十分でないという立場を正当化する。
論文 参考訳(メタデータ) (2024-02-06T10:06:13Z) - Revisiting Self-supervised Learning of Speech Representation from a
Mutual Information Perspective [68.20531518525273]
我々は、情報理論の観点から、既存の自己教師型音声の手法を詳しく検討する。
我々は線形プローブを用いて、対象情報と学習された表現の間の相互情報を推定する。
我々は、ラベルを使わずに、データの異なる部分間の相互情報を見積もる自己教師型の表現を評価する可能性を探る。
論文 参考訳(メタデータ) (2024-01-16T21:13:22Z) - Bootstrapped Representations in Reinforcement Learning [44.49675960752777]
強化学習(RL)では、状態表現は大きな状態空間や連続状態空間を扱うための鍵となる。
時間差分学習により学習した状態表現の理論的特徴について述べる。
政策評価におけるこれらの表現の有効性について述べるとともに,理論解析を用いて新しい補助学習ルールを設計する。
論文 参考訳(メタデータ) (2023-06-16T20:14:07Z) - Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
強化学習のための自己予測学習の学習ダイナミクスについて検討する。
本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-06T20:43:37Z) - An Empirical Investigation of Representation Learning for Imitation [76.48784376425911]
視覚、強化学習、NLPにおける最近の研究は、補助的な表現学習の目的が、高価なタスク固有の大量のデータの必要性を減らすことを示している。
本稿では,表現学習アルゴリズムを構築するためのモジュラーフレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-16T11:23:42Z) - Desiderata for Representation Learning: A Causal Perspective [104.3711759578494]
我々は表現学習の因果的視点を採り、非純粋性と効率性(教師なし表現学習)と非教師なし表現学習(教師なし表現学習)を定式化する。
これは、関心のデシダータを満たす程度を計算可能なメトリクスで評価し、単一の観測データセットから不純物や不整合表現を学習する。
論文 参考訳(メタデータ) (2021-09-08T17:33:54Z) - Co$^2$L: Contrastive Continual Learning [69.46643497220586]
近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。
本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-28T06:14:38Z) - Multivariate Business Process Representation Learning utilizing Gramian
Angular Fields and Convolutional Neural Networks [0.0]
データの意味のある表現を学習することは、機械学習の重要な側面である。
予測的プロセス分析では、プロセスインスタンスのすべての説明的特性を利用できるようにすることが不可欠である。
本稿では,ビジネスプロセスインスタンスの表現学習のための新しいアプローチを提案する。
論文 参考訳(メタデータ) (2021-06-15T10:21:14Z) - Instance-Based Learning of Span Representations: A Case Study through
Named Entity Recognition [48.06319154279427]
本研究では,スパン間の類似性を学習するインスタンスベースの学習手法を提案する。
本手法では,性能を犠牲にすることなく高い解釈性を持つモデルを構築することができる。
論文 参考訳(メタデータ) (2020-04-29T23:32:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。