論文の概要: Structural Adversarial Objectives for Self-Supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2310.00357v2
• Date: Wed, 4 Oct 2023 16:34:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-05 10:41:11.164836
• Title: Structural Adversarial Objectives for Self-Supervised Representation Learning
• Title（参考訳）: 自己教師付き表現学習のための構造的対立対象
• Authors: Xiao Zhang, Michael Maire
• Abstract要約: 本稿では,自己指導型表現学習の差別化を,構造モデリングの責務を付加することで行うことを提案する。 ネットワーク上の効率的なスムーズ性正規化器と組み合わせて、これらの目的は識別器を案内し、情報表現の抽出を学ぶ。 実験により,GANを自己指導対象に組み込むことで,表現学習の観点から評価された差別化要因が,対照的な学習アプローチによって訓練されたネットワークと競合することを示す。
• 参考スコア（独自算出の注目度）: 19.471586646254373
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Within the framework of generative adversarial networks (GANs), we propose objectives that task the discriminator for self-supervised representation learning via additional structural modeling responsibilities. In combination with an efficient smoothness regularizer imposed on the network, these objectives guide the discriminator to learn to extract informative representations, while maintaining a generator capable of sampling from the domain. Specifically, our objectives encourage the discriminator to structure features at two levels of granularity: aligning distribution characteristics, such as mean and variance, at coarse scales, and grouping features into local clusters at finer scales. Operating as a feature learner within the GAN framework frees our self-supervised system from the reliance on hand-crafted data augmentation schemes that are prevalent across contrastive representation learning methods. Across CIFAR-10/100 and an ImageNet subset, experiments demonstrate that equipping GANs with our self-supervised objectives suffices to produce discriminators which, evaluated in terms of representation learning, compete with networks trained by contrastive learning approaches.
• Abstract（参考訳）: 我々は,gans(generative adversarial networks)の枠組みの中で,自己教師あり表現学習のための識別子を付加的な構造的モデリング責任を通じてタスクする目的を提案する。 ネットワーク上の効率的なスムーズな正規化器と組み合わせて、これらの目的は、ドメインからサンプリング可能なジェネレータを維持しながら、識別器に情報表現を抽出することを学ぶ。 具体的には, 識別者に対して, 平均分布や分散分布などの分布特性を粗いスケールで調整し, 細かなスケールで局所クラスタに分類する, という2段階の粒度で特徴を構造化することを奨励する。 GANフレームワーク内の機能学習者としての運用は、コントラストのある表現学習方法にまたがる手作りのデータ拡張スキームへの依存から、自己管理システムを解放する。 CIFAR-10/100 と ImageNet のサブセットを通じて、GAN を自己指導対象に合わせることで、表現学習の観点から評価された差別化要因が、対照的な学習アプローチによって訓練されたネットワークと競合することを示す。

関連論文リスト

• A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
  自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。 自己教師型学習のための生成潜在変数モデルを提案する。 対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
  論文  参考訳（メタデータ） (2024-02-02T13:31:17Z)
• Towards Unsupervised Representation Learning: Learning, Evaluating and Transferring Visual Representations [1.8130068086063336]
  我々は3つの視点から教師なし(視覚的)表現学習の分野に貢献する。 我々は、教師なし、バックプロパゲーションのない畳み込み自己組織型ニューラルネットワーク(CSNN)を設計する。 我々は、プリテキストとターゲットオブジェクトに依存しないメトリクスを定義するために、広く使われている(非)線形評価プロトコルの上に構築する。 CARLANEは,2次元車線検出のための最初の3方向sim-to-realドメイン適応ベンチマークであり,自己教師付き学習に基づく手法である。
  論文  参考訳（メタデータ） (2023-11-30T15:57:55Z)
• Semi-supervised learning made simple with self-supervised clustering [65.98152950607707]
  自己教師付き学習モデルは、人間のアノテーションを必要とせずにリッチな視覚表現を学習することが示されている。 本稿では,クラスタリングに基づく自己教師付き手法を半教師付き学習者へと変換する,概念的に単純だが経験的に強力な手法を提案する。
  論文  参考訳（メタデータ） (2023-06-13T01:09:18Z)
• Learning Common Rationale to Improve Self-Supervised Representation for Fine-Grained Visual Recognition Problems [61.11799513362704]
  我々は、インスタンスやクラスでよく見られる差別的手がかりを識別するための、追加のスクリーニングメカニズムの学習を提案する。 SSL目標から誘導されるGradCAMを単純に利用することで、共通な有理性検出器が学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-03T02:07:40Z)
• SS-CPGAN: Self-Supervised Cut-and-Pasting Generative Adversarial Network for Object Segmentation [8.683844587821918]
  本稿では,前景オブジェクトセグメンテーションを行うための,自己教師型カット・アンド・ペーストGANを提案する。 我々は、U-Netベースの識別器と組み合わせて、シンプルながら効果的な自己教師型アプローチによって、この目標を達成する。 実験の結果,提案手法は標準ベンチマークデータセットの最先端手法よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2023-01-01T07:42:50Z)
• Using Representation Expressiveness and Learnability to Evaluate Self-Supervised Learning Methods [61.49061000562676]
  本稿では,学習可能性を評価するためにCluster Learnability (CL)を導入する。 CLは、K-meansで表現をクラスタリングすることによって得られたラベルを予測するために訓練されたKNNのパフォーマンスで測定される。 CLは、他の競合する評価手法よりも分布内モデルの性能と相関することがわかった。
  論文  参考訳（メタデータ） (2022-06-02T19:05:13Z)
• Competing Mutual Information Constraints with Stochastic Competition-based Activations for Learning Diversified Representations [5.981521556433909]
  本研究は,多角化表現の学習における長年の課題に対処することを目的としている。 情報理論の議論と競争に基づくアクティベーションを組み合わせる。 実験的に示すように、結果として得られるネットワークは、重要な離散表現学習能力をもたらす。
  論文  参考訳（メタデータ） (2022-01-10T20:12:13Z)
• Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
  半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
  論文  参考訳（メタデータ） (2021-12-12T06:11:16Z)
• Towards Uncovering the Intrinsic Data Structures for Unsupervised Domain Adaptation using Structurally Regularized Deep Clustering [119.88565565454378]
  Unsupervised Domain Adapt (UDA) は、ターゲットドメイン上のラベルなしデータの予測を行う分類モデルを学ぶことである。 本稿では,対象データの正規化判別クラスタリングと生成クラスタリングを統合する構造的正規化深層クラスタリングのハイブリッドモデルを提案する。 提案するH-SRDCは, インダクティブ設定とトランスダクティブ設定の両方において, 既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-12-08T08:52:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。