論文の概要: An analysis on the use of autoencoders for representation learning: fundamentals, learning task case studies, explainability and challenges

• arxiv url: http://arxiv.org/abs/2005.10516v1
• Date: Thu, 21 May 2020 08:41:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-30 22:44:11.837139
• Title: An analysis on the use of autoencoders for representation learning: fundamentals, learning task case studies, explainability and challenges
• Title（参考訳）: 表現学習におけるオートエンコーダの利用に関する分析 : 基礎, 学習課題事例研究, 説明可能性, 課題
• Authors: David Charte, Francisco Charte, Mar\'ia J. del Jesus, Francisco Herrera
• Abstract要約: 多くの機械学習タスクでは、データの優れた表現を学ぶことが、優れたパフォーマンスのソリューションを構築するための鍵となる。 可視化のためのデータ埋め込み,画像認識,セマンティックハッシュ,異常行動の検出,インスタンス生成など,一連の学習課題を提示する。 オートエンコーダを唯一の学習方法として用いた各タスクに対して,解を提案する。
• 参考スコア（独自算出の注目度）: 11.329636084818778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many machine learning tasks, learning a good representation of the data can be the key to building a well-performant solution. This is because most learning algorithms operate with the features in order to find models for the data. For instance, classification performance can improve if the data is mapped to a space where classes are easily separated, and regression can be facilitated by finding a manifold of data in the feature space. As a general rule, features are transformed by means of statistical methods such as principal component analysis, or manifold learning techniques such as Isomap or locally linear embedding. From a plethora of representation learning methods, one of the most versatile tools is the autoencoder. In this paper we aim to demonstrate how to influence its learned representations to achieve the desired learning behavior. To this end, we present a series of learning tasks: data embedding for visualization, image denoising, semantic hashing, detection of abnormal behaviors and instance generation. We model them from the representation learning perspective, following the state of the art methodologies in each field. A solution is proposed for each task employing autoencoders as the only learning method. The theoretical developments are put into practice using a selection of datasets for the different problems and implementing each solution, followed by a discussion of the results in each case study and a brief explanation of other six learning applications. We also explore the current challenges and approaches to explainability in the context of autoencoders. All of this helps conclude that, thanks to alterations in their structure as well as their objective function, autoencoders may be the core of a possible solution to many problems which can be modeled as a transformation of the feature space.
• Abstract（参考訳）: 多くの機械学習タスクでは、データの優れた表現を学ぶことが、高性能なソリューションを構築する鍵となる。 これは、ほとんどの学習アルゴリズムが、データのモデルを見つけるために機能と共に動作するためである。 例えば、クラスが分離しやすい空間にデータがマッピングされた場合、分類性能が向上し、特徴空間内のデータの多様体を見つけることで回帰が容易になる。 一般的な規則として、特徴は主成分分析のような統計的手法や、isomapや局所線形埋め込みのような多様体学習技術によって変換される。 多くの表現学習手法から、最も汎用性の高いツールの1つはオートエンコーダである。 本稿では,その学習表現にどのように影響し,望ましい学習行動を達成するかを示す。 そこで本研究では,可視化のためのデータ埋め込み,画像分割,意味ハッシュ,異常動作の検出,インスタンス生成といった一連の学習タスクを提案する。 表現学習の観点から,各分野における技術方法論の状況に従ってモデル化する。 オートエンコーダを学習方法として用いた各タスクに対する解を提案する。 理論的発展は、異なる問題に対するデータセットの選択と各ソリューションの実装を用いて実践され、その後、各ケーススタディにおける結果に関する議論と、他の6つの学習アプリケーションに関する簡単な説明が続く。 オートエンコーダのコンテキストにおける現在の課題と説明可能性へのアプローチについても検討する。 これらすべてが、構造の変更と目的関数のおかげで、オートエンコーダは、機能空間の変換としてモデル化できる多くの問題に対する、可能な解決策の核となるかもしれない、と結論付けるのに役立つ。

関連論文リスト

• Speech representation learning: Learning bidirectional encoders with single-view, multi-view, and multi-task methods [7.1345443932276424]
  この論文は、時間や空間によるシーケンスデータの表現学習に焦点を当てている。 学習した表現を用いて下流のシーケンス予測タスクを改善することを目的としている。
  論文  参考訳（メタデータ） (2023-07-25T20:38:55Z)
• A Survey of Learning on Small Data: Generalization, Optimization, and Challenge [101.27154181792567]
  ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。 この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。 効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
  論文  参考訳（メタデータ） (2022-07-29T02:34:19Z)
• X-Learner: Learning Cross Sources and Tasks for Universal Visual Representation [71.51719469058666]
  本稿では,X-Learnerという表現学習フレームワークを提案する。 X-Learnerは、様々なソースによって管理される複数の視覚タスクの普遍的な特徴を学習する。 X-Learnerは、追加のアノテーションやモダリティ、計算コストを使わずに、様々なタスクで強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-16T17:23:26Z)
• Object Pursuit: Building a Space of Objects via Discriminative Weight Generation [23.85039747700698]
  視覚学習と理解のためのオブジェクト中心表現を継続的に学習するフレームワークを提案する。 我々は、オブジェクト中心の表現を学習しながら、オブジェクトとそれに対応するトレーニング信号の多様なバリエーションをサンプリングするために、インタラクションを活用する。 提案するフレームワークの重要な特徴について広範な研究を行い,学習した表現の特徴を分析した。
  論文  参考訳（メタデータ） (2021-12-15T08:25:30Z)
• Few-shot Sequence Learning with Transformers [79.87875859408955]
  少数のトレーニング例で提供される新しいタスクの学習を目的とした少数のショットアルゴリズム。 本研究では,データポイントがトークンのシーケンスである設定において,少数ショット学習を行う。 トランスフォーマーに基づく効率的な学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-17T12:30:38Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• On the Robustness of Active Learning [0.7340017786387767]
  Active Learningは、機械学習アルゴリズムをトレーニングする上で最も有用なサンプルを特定する方法に関するものだ。 十分な注意とドメイン知識を持っていないことがよくあります。 そこで本研究では,Simpson の多様性指標に基づく新たな "Sum of Squared Logits" 手法を提案する。
  論文  参考訳（メタデータ） (2020-06-18T09:07:23Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)
• Inverse Feature Learning: Feature learning based on Representation Learning of Error [12.777440204911022]
  本稿では,新しい教師付き特徴学習手法としての逆特徴学習を提案し,誤り表現アプローチに基づく分類のための高レベル特徴セットを学習する。 提案手法は,いくつかの一般的なデータセットに対する最先端の分類手法と比較して,性能が著しく向上する。
  論文  参考訳（メタデータ） (2020-03-08T00:22:26Z)
• Provable Meta-Learning of Linear Representations [114.656572506859]
  我々は、複数の関連するタスクから共通の機能の集合を学習し、その知識を新しい未知のタスクに転送する、という2つの課題に対処する、高速でサンプル効率のアルゴリズムを提供する。 また、これらの線形特徴を学習する際のサンプルの複雑さに関する情報理論の下限も提供する。
  論文  参考訳（メタデータ） (2020-02-26T18:21:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。