論文の概要: Towards Unsupervised Representation Learning: Learning, Evaluating and Transferring Visual Representations

• arxiv url: http://arxiv.org/abs/2312.00101v1
• Date: Thu, 30 Nov 2023 15:57:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-04 17:03:03.002563
• Title: Towards Unsupervised Representation Learning: Learning, Evaluating and Transferring Visual Representations
• Title（参考訳）: 教師なし表現学習に向けて : 視覚表現の学習・評価・伝達
• Authors: Bonifaz Stuhr
• Abstract要約: 我々は3つの視点から教師なし(視覚的)表現学習の分野に貢献する。 我々は、教師なし、バックプロパゲーションのない畳み込み自己組織型ニューラルネットワーク(CSNN)を設計する。 我々は、プリテキストとターゲットオブジェクトに依存しないメトリクスを定義するために、広く使われている(非)線形評価プロトコルの上に構築する。 CARLANEは,2次元車線検出のための最初の3方向sim-to-realドメイン適応ベンチマークであり,自己教師付き学習に基づく手法である。
• 参考スコア（独自算出の注目度）: 1.8130068086063336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unsupervised representation learning aims at finding methods that learn representations from data without annotation-based signals. Abstaining from annotations not only leads to economic benefits but may - and to some extent already does - result in advantages regarding the representation's structure, robustness, and generalizability to different tasks. In the long run, unsupervised methods are expected to surpass their supervised counterparts due to the reduction of human intervention and the inherently more general setup that does not bias the optimization towards an objective originating from specific annotation-based signals. While major advantages of unsupervised representation learning have been recently observed in natural language processing, supervised methods still dominate in vision domains for most tasks. In this dissertation, we contribute to the field of unsupervised (visual) representation learning from three perspectives: (i) Learning representations: We design unsupervised, backpropagation-free Convolutional Self-Organizing Neural Networks (CSNNs) that utilize self-organization- and Hebbian-based learning rules to learn convolutional kernels and masks to achieve deeper backpropagation-free models. (ii) Evaluating representations: We build upon the widely used (non-)linear evaluation protocol to define pretext- and target-objective-independent metrics for measuring and investigating the objective function mismatch between various unsupervised pretext tasks and target tasks. (iii) Transferring representations: We contribute CARLANE, the first 3-way sim-to-real domain adaptation benchmark for 2D lane detection, and a method based on prototypical self-supervised learning. Finally, we contribute a content-consistent unpaired image-to-image translation method that utilizes masks, global and local discriminators, and similarity sampling to mitigate content inconsistencies.
• Abstract（参考訳）: 教師なし表現学習は、アノテーションに基づく信号なしでデータから表現を学ぶ方法を見つけることを目的としている。 アノテーションの省略は経済的利益につながるだけでなく、表現の構造、頑健性、異なるタスクへの一般化性に関して利益をもたらす可能性がある。 長期的には、人間の介入の減少と、特定のアノテーションに基づく信号から得られる目的に対して最適化を偏見しない本質的に一般的な設定のために、教師なしの手法が監督対象を上回ることが期待されている。 教師なし表現学習の主な利点は自然言語処理において近年観察されているが、教師なし表現学習はいまだ多くのタスクにおいて視覚領域で支配的である。 この論文では、教師なし(視覚的)表現学習の分野に3つの視点から貢献する。 (i)学習表現:我々は、自己組織化とヘビアンベースの学習規則を利用して、より深いバックプロパゲーションフリーモデルを達成するための、教師なし、バックプロパゲーションフリーの畳み込みニューラルネットワーク(csnn)を設計する。 (ii) 表現の評価: 様々な教師なしのプリテキストタスクとターゲットタスクの客観的機能ミスマッチを計測・調査するために、広く使用される(非)線形評価プロトコルに基づいて、pretext-およびtarget-objective-independent metricsを定義します。 (iii)表現の転送:carlaneは、2次元レーン検出のための最初の3方向sim-to-realドメイン適応ベンチマークであり、prototypepical self-supervised learningに基づく手法である。 最後に,マスク,グローバル・ローカル・ディスクリミネータ,類似性サンプリングを利用したコンテンツ一貫性のない画像画像間翻訳手法を提案する。

関連論文リスト

• A Probabilistic Model behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 識別性SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示す。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Structural Adversarial Objectives for Self-Supervised Representation Learning [19.471586646254373]
  本稿では,自己指導型表現学習の差別化を,構造モデリングの責務を付加することで行うことを提案する。 ネットワーク上の効率的なスムーズ性正規化器と組み合わせて、これらの目的は識別器を案内し、情報表現の抽出を学ぶ。 実験により,GANを自己指導対象に組み込むことで,表現学習の観点から評価された差別化要因が,対照的な学習アプローチによって訓練されたネットワークと競合することを示す。
  論文  参考訳（メタデータ） (2023-09-30T12:27:53Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
  自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。 本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-06-13T01:09:18Z)
• Explaining, Evaluating and Enhancing Neural Networks' Learned Representations [2.1485350418225244]
  より効率的で効率的な表現への障害ではなく、いかに説明可能性が助けになるかを示す。 我々は,2つの新しいスコアを定義して,潜伏埋め込みの難易度と難易度を評価する。 表現学習課題の訓練において,提案したスコアを制約として採用することで,モデルの下流性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-02-18T19:00:01Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• Can Semantic Labels Assist Self-Supervised Visual Representation Learning? [194.1681088693248]
  近隣環境におけるコントラスト調整(SCAN)という新しいアルゴリズムを提案する。 一連のダウンストリームタスクにおいて、SCANは従来の完全教師付きおよび自己教師付きメソッドよりも優れたパフォーマンスを達成する。 本研究は, セマンティックラベルが自己指導的手法の補助に有用であることを明らかにする。
  論文  参考訳（メタデータ） (2020-11-17T13:25:00Z)
• Self-Supervised Learning Across Domains [33.86614301708017]
  本稿では,ドメイン間のオブジェクト認識の問題に対して,同様のアプローチを適用することを提案する。 モデルでは,教師付き方式でセマンティックラベルを学習し,同じ画像上の自己教師型信号から学習することで,データに対する理解を深める。 この二次的なタスクは、ネットワークが対象の形状、空間配向や部分相関といった概念を学ぶのに役立ち、分類タスクの正規化として機能する。
  論文  参考訳（メタデータ） (2020-07-24T06:19:53Z)
• Self-supervised Learning from a Multi-view Perspective [121.63655399591681]
  自己教師型表現はタスク関連情報を抽出し,タスク関連情報を破棄することができることを示す。 我々の理論的枠組みは、自己教師型学習目標設計のより広い空間への道を開くものである。
  論文  参考訳（メタデータ） (2020-06-10T00:21:35Z)
• Adversarial-Prediction Guided Multi-task Adaptation for Semantic Segmentation of Electron Microscopy Images [5.027571997864707]
  本稿では,ラベルのない新規なターゲットドメイン上で使用するための,よく訓練されたモデルの適応を学習するために,逆予測誘導マルチタスクネットワークを導入する。 対象ドメインにラベルが存在しないため、ソースドメイン上の教師付きセグメンテーションだけでなく、対象データの教師なし再構築のための符号化表現も学習する。
  論文  参考訳（メタデータ） (2020-04-05T09:18:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。