論文の概要: Optimizing transformations for contrastive learning in a differentiable framework

• arxiv url: http://arxiv.org/abs/2207.13367v1
• Date: Wed, 27 Jul 2022 08:47:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-28 13:03:30.554737
• Title: Optimizing transformations for contrastive learning in a differentiable framework
• Title（参考訳）: 微分可能フレームワークにおけるコントラスト学習のための変換の最適化
• Authors: Camille Ruppli, Pietro Gori, Roberto Ardon, Isabelle Bloch
• Abstract要約: 本稿では,微分可能変換ネットワークを用いたコントラスト学習のための最適変換手法を提案する。 本手法は,教師の精度と収束速度の両方において,低アノテートデータ方式の性能を向上させる。 34000枚の脳磁気共鳴画像と11200枚の胸部X線画像を用いて実験を行った。
• 参考スコア（独自算出の注目度）: 4.828899860513713
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Current contrastive learning methods use random transformations sampled from a large list of transformations, with fixed hyperparameters, to learn invariance from an unannotated database. Following previous works that introduce a small amount of supervision, we propose a framework to find optimal transformations for contrastive learning using a differentiable transformation network. Our method increases performances at low annotated data regime both in supervision accuracy and in convergence speed. In contrast to previous work, no generative model is needed for transformation optimization. Transformed images keep relevant information to solve the supervised task, here classification. Experiments were performed on 34000 2D slices of brain Magnetic Resonance Images and 11200 chest X-ray images. On both datasets, with 10% of labeled data, our model achieves better performances than a fully supervised model with 100% labels.
• Abstract（参考訳）: 現在のコントラスト学習法は、固定ハイパーパラメータを持つ大きな変換リストからサンプリングされたランダム変換を使用して、注釈のないデータベースから不変性を学ぶ。 少量の監督を導入する先行研究に続いて, 微分可能変換ネットワークを用いたコントラスト学習の最適変換を求める枠組みを提案する。 本手法は,教師の精度と収束速度の両方において,低アノテートデータ方式の性能を向上させる。 以前の作業とは対照的に、変換最適化には生成モデルを必要としない。 変換された画像は、教師付きタスクを解決するための関連情報を保持する。 34000枚の脳磁気共鳴画像と11200枚の胸部X線画像を用いて実験を行った。 両方のデータセットでは、ラベル付きデータの10%で、100%ラベル付き完全教師付きモデルよりも優れたパフォーマンスを実現しています。

関連論文リスト

• Automatic Data Augmentation Learning using Bilevel Optimization for Histopathological Images [12.166446006133228]
  データ拡張(DA)は、トレーニング中に既存のデータに変換を適用することで、追加のサンプルを生成するために使用することができる。 DAはデータセット固有のだけでなく、ドメイン知識も必要です。 本稿では,モデル学習を改善するためのDA学習手法を提案する。
  論文  参考訳（メタデータ） (2023-07-21T17:22:22Z)
• Effective Data Augmentation With Diffusion Models [65.09758931804478]
  我々は、事前訓練されたテキスト・画像拡散モデルによりパラメータ化された画像・画像変換によるデータ拡張の多様性の欠如に対処する。 本手法は,市販の拡散モデルを用いて画像のセマンティクスを編集し,いくつかのラベル付き例から新しい視覚概念に一般化する。 本手法は,実世界の雑草認識タスクと数ショット画像分類タスクにおいて評価し,テスト領域における精度の向上を観察する。
  論文  参考訳（メタデータ） (2023-02-07T20:42:28Z)
• TransformNet: Self-supervised representation learning through predicting geometric transformations [0.8098097078441623]
  入力データに適用された幾何変換の認識のための教師なし意味特徴学習手法について述べる。 我々のアプローチの基本概念は、画像中の物体を知らない人が、それらに適用された幾何学的変換を定量的に予測できないことである。
  論文  参考訳（メタデータ） (2022-02-08T22:41:01Z)
• Adaptive Image Transformations for Transfer-based Adversarial Attack [73.74904401540743]
  適応画像変換学習(AITL)と呼ばれる新しいアーキテクチャを提案する。 精巧に設計した学習者は、入力画像固有の画像変換の最も効果的な組み合わせを適応的に選択する。 本手法は、通常訓練されたモデルと防衛モデルの両方において、各種設定下での攻撃成功率を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-11-27T08:15:44Z)
• Efficient Vision Transformers via Fine-Grained Manifold Distillation [96.50513363752836]
  視覚変換器のアーキテクチャは多くのコンピュータビジョンタスクで異常な性能を示した。 ネットワーク性能は向上するが、トランスフォーマーはより多くの計算資源を必要とすることが多い。 本稿では,教師のトランスフォーマーから,画像と分割パッチの関係を通して有用な情報を抽出することを提案する。
  論文  参考訳（メタデータ） (2021-07-03T08:28:34Z)
• A Hierarchical Transformation-Discriminating Generative Model for Few Shot Anomaly Detection [93.38607559281601]
  各トレーニングイメージのマルチスケールパッチ分布をキャプチャする階層的生成モデルを開発した。 この異常スコアは、スケール及び画像領域にわたる正しい変換のパッチベースの投票を集約して得られる。
  論文  参考訳（メタデータ） (2021-04-29T17:49:48Z)
• Learning Representational Invariances for Data-Efficient Action Recognition [52.23716087656834]
  我々は,データ拡張戦略により,Kinetics-100,UCF-101,HMDB-51データセットのパフォーマンスが期待できることを示す。 また,完全な教師付き設定でデータ拡張戦略を検証し,性能向上を実証した。
  論文  参考訳（メタデータ） (2021-03-30T17:59:49Z)
• Transformation Consistency Regularization- A Semi-Supervised Paradigm for Image-to-Image Translation [18.870983535180457]
  本稿では,画像から画像への変換において,より困難な状況に陥るトランスフォーメーション一貫性の規則化を提案する。 我々は,画像の着色,分解,超解像の3つの異なる応用に対して,アルゴリズムの有効性を評価する。 提案手法はデータ効率が著しく向上し,画像再構成を行うにはラベル付きサンプルの約10～20%しか必要としない。
  論文  参考訳（メタデータ） (2020-07-15T17:41:35Z)
• Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [57.33699905852397]
  ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。 本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。 我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
  論文  参考訳（メタデータ） (2020-06-17T14:00:42Z)
• On the Generalization Effects of Linear Transformations in Data Augmentation [32.01435459892255]
  データ拡張は、画像やテキストの分類タスクのようなアプリケーションのパフォーマンスを改善するための強力な技術である。 我々は線形変換の族を研究し、過度にパラメータ化された線形回帰設定におけるリッジ推定器への影響について研究する。 本稿では,モデルが変換データに対してどの程度不確実であるかによって,変換空間を探索する拡張手法を提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:10:21Z)
• On Box-Cox Transformation for Image Normality and Pattern Classification [0.6548580592686074]
  本稿では,2次元データ変換のための前処理ステップとして,そのようなツールの有用性について論じる。 我々は、この軽量なBox-Cox変換の効果を、最先端の低光画像強調技術と比較した。 また,画像の視覚的外観を汎用的に改善するために,複数のテストベッドデータセットによるアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-04-15T17:10:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。