論文の概要: Constructive Assimilation: Boosting Contrastive Learning Performance through View Generation Strategies

• arxiv url: http://arxiv.org/abs/2304.00601v1
• Date: Sun, 2 Apr 2023 19:09:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-04 17:12:02.716319
• Title: Constructive Assimilation: Boosting Contrastive Learning Performance through View Generation Strategies
• Title（参考訳）: コンストラクティブ同化:ビュー生成戦略によるコントラスト学習性能の向上
• Authors: Ligong Han, Seungwook Han, Shivchander Sudalairaj, Charlotte Loh, Rumen Dangovski, Fei Deng, Pulkit Agrawal, Dimitris Metaxas, Leonid Karlinsky, Tsui-Wei Weng, Akash Srivastava
• Abstract要約: 私たちは、専門家の変換を生成されたビューに置き換える代わりに、生成されたビューと専門家の変換を構成的に同化できるだろうか? 本稿では、3つの異なるデータセットに対して最大3.6%向上するビュー生成法と、簡易で効果的な同化法を提案する。
• 参考スコア（独自算出の注目度）: 22.95194311919664
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Transformations based on domain expertise (expert transformations), such as random-resized-crop and color-jitter, have proven critical to the success of contrastive learning techniques such as SimCLR. Recently, several attempts have been made to replace such domain-specific, human-designed transformations with generated views that are learned. However for imagery data, so far none of these view-generation methods has been able to outperform expert transformations. In this work, we tackle a different question: instead of replacing expert transformations with generated views, can we constructively assimilate generated views with expert transformations? We answer this question in the affirmative and propose a view generation method and a simple, effective assimilation method that together improve the state-of-the-art by up to ~3.6% on three different datasets. Importantly, we conduct a detailed empirical study that systematically analyzes a range of view generation and assimilation methods and provides a holistic picture of the efficacy of learned views in contrastive representation learning.
• Abstract（参考訳）: ドメインの専門知識に基づく変換(ランダムサイズクロップやカラージッターなどの専門的変換)は、simclrのようなコントラスト学習手法の成功に決定的であることが証明されている。 近年、このようなドメイン固有の人間設計の変換を学習されたビューで置き換える試みがいくつか行われている。 しかし、画像データについては、これらのビュージェネレーション手法が専門家の変換より優れているものはない。 専門家の変換を生成されたビューに置き換える代わりに、私たちは、生成されたビューと専門家の変換を構成的に同化できるだろうか? 本稿では、この疑問を肯定的に解き、三つの異なるデータセットに対して最大3.6%改善するビュー生成法と簡易で効果的な同化法を提案する。 重要となるのは,様々な視点生成法と同化法を体系的に分析し,コントラスト表現学習における学習視点の有効性の全体像を提供する,詳細な実験研究である。

関連論文リスト

• Building Bridges, Not Walls -- Advancing Interpretability by Unifying Feature, Data, and Model Component Attribution [25.096987279649436]
  本稿では,特徴,データ,コンポーネント属性の手法が基本的類似性を共有し,それらをブリッジすることで解釈可能性の研究に役立つことを論じる。 これら3つの帰属的側面のメソッドの詳細な解析を行い、これらの明らかに異なる手法が類似したアプローチを用いており、主にコア技術よりもその観点で異なることを示す統一的な視点を示す。
  論文  参考訳（メタデータ） (2025-01-31T04:42:45Z)
• Self-supervised Transformation Learning for Equivariant Representations [26.207358743969277]
  教師なし表現学習は、様々な機械学習タスクを大幅に進歩させた。 本稿では,変換ラベルを画像ペアから派生した変換表現に置き換える自己教師あり変換学習(STL)を提案する。 さまざまな分類タスクと検出タスクにまたがって、アプローチの有効性を実証し、11のベンチマークのうち7つで既存の手法より優れています。
  論文  参考訳（メタデータ） (2025-01-15T10:54:21Z)
• Equivariant Representation Learning for Augmentation-based Self-Supervised Learning via Image Reconstruction [3.7003845808210594]
  本稿では,拡張型自己教師型学習アルゴリズムにおいて,画像再構成タスクを補助的コンポーネントとして統合することを提案する。 提案手法は,2つの拡張ビューから学習した特徴をブレンドし,そのうちの1つを再構築するクロスアテンション機構を実装した。 結果は、標準強化に基づく自己教師あり学習法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-12-04T13:47:37Z)
• Visual Imitation Learning with Calibrated Contrastive Representation [44.63125396964309]
  AIL(Adversarial Imitation Learning)は、エージェントが低次元の状態と行動で専門家の行動を再現することを可能にする。 本稿では、視覚的AILフレームワークにコントラスト型代表学習を組み込むことにより、シンプルで効果的な解を提案する。
  論文  参考訳（メタデータ） (2024-01-21T04:18:30Z)
• Effective Adapter for Face Recognition in the Wild [72.75516495170199]
  私たちは、画像が低品質で現実世界の歪みに悩まされる、野生の顔認識の課題に取り組みます。 従来のアプローチでは、劣化した画像や、顔の復元技術を使って強化された画像を直接訓練するが、効果がないことが証明された。 高品質な顔データセットで訓練された既存の顔認識モデルを強化するための効果的なアダプタを提案する。
  論文  参考訳（メタデータ） (2023-12-04T08:55:46Z)
• Evaluation of Self-taught Learning-based Representations for Facial Emotion Recognition [62.30451764345482]
  この研究は、顔の感情認識のための自己学習の概念を通じて得られた教師なし表現を生成するための様々な戦略を記述する。 このアイデアは、オートエンコーダの初期化、アーキテクチャ、トレーニングデータを変化させることで、多様性を促進する補完的な表現を作ることである。 Jaffe と Cohn-Kanade のデータセットに対する残余のサブジェクトアウトプロトコルによる実験結果から,提案した多種多様な表現に基づく FER 手法が最先端のアプローチと好適に比較できることが示唆された。
  論文  参考訳（メタデータ） (2022-04-26T22:48:15Z)
• Adaptive Image Transformations for Transfer-based Adversarial Attack [73.74904401540743]
  適応画像変換学習(AITL)と呼ばれる新しいアーキテクチャを提案する。 精巧に設計した学習者は、入力画像固有の画像変換の最も効果的な組み合わせを適応的に選択する。 本手法は、通常訓練されたモデルと防衛モデルの両方において、各種設定下での攻撃成功率を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-27T08:15:44Z)
• IMAGINE: Image Synthesis by Image-Guided Model Inversion [79.4691654458141]
  IMGE-Guided Model INvErsion (IMAGINE) と呼ばれるインバージョンベースの手法を導入し、高品質で多様な画像を生成します。 我々は,事前学習した分類器から画像意味論の知識を活用し,妥当な世代を実現する。 IMAGINEは,1)合成中の意味的特異性制約を同時に実施し,2)ジェネレータトレーニングなしでリアルな画像を生成し,3)生成過程を直感的に制御する。
  論文  参考訳（メタデータ） (2021-04-13T02:00:24Z)
• On Compositions of Transformations in Contrastive Self-Supervised Learning [66.15514035861048]
  本稿では,コントラスト学習をより広範な変換集合に一般化する。 特定の変換に不変であり、他の変換に特有であることは、効果的なビデオ表現の学習に不可欠である。
  論文  参考訳（メタデータ） (2020-03-09T17:56:49Z)
• Boosting Deep Face Recognition via Disentangling Appearance and Geometry [33.196270681809395]
  顔認識タスクにおける外観と幾何学的表現を両立させる枠組みを提案する。 空間変換を取り入れた幾何学的に同一の顔を生成する。 提案手法は深層顔認識モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2020-01-13T23:19:58Z)
• Fine-grained Image-to-Image Transformation towards Visual Recognition [102.51124181873101]
  我々は,入力画像の同一性を保った画像を生成するために,微細なカテゴリで画像を変換することを目的としている。 我々は、画像のアイデンティティと非関連要因をアンハングルするために、生成的敵ネットワークに基づくモデルを採用する。 CompCarsとMulti-PIEデータセットの実験では、我々のモデルが生成した画像のアイデンティティを、最先端の画像-画像変換モデルよりもはるかによく保存していることが示された。
  論文  参考訳（メタデータ） (2020-01-12T05:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。