論文の概要: Representation Learning via Consistent Assignment of Views over Random Partitions

• arxiv url: http://arxiv.org/abs/2310.12692v2
• Date: Fri, 27 Oct 2023 07:28:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 16:23:48.788098
• Title: Representation Learning via Consistent Assignment of Views over Random Partitions
• Title（参考訳）: ランダム分割に対する一貫した視点割り当てによる表現学習
• Authors: Thalles Silva and Ad\'in Ram\'irez Rivera
• Abstract要約: Consistent Assignment of Views over Random Partitions (CARP) は、表現学習のための自己教師型クラスタリング手法である。 我々は、線形評価、少数ショット分類、k-NN、k-means、画像検索、コピー検出など、多くの標準プロトコルにわたる17のデータセットでCARPの表現能力を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present Consistent Assignment of Views over Random Partitions (CARP), a self-supervised clustering method for representation learning of visual features. CARP learns prototypes in an end-to-end online fashion using gradient descent without additional non-differentiable modules to solve the cluster assignment problem. CARP optimizes a new pretext task based on random partitions of prototypes that regularizes the model and enforces consistency between views' assignments. Additionally, our method improves training stability and prevents collapsed solutions in joint-embedding training. Through an extensive evaluation, we demonstrate that CARP's representations are suitable for learning downstream tasks. We evaluate CARP's representations capabilities in 17 datasets across many standard protocols, including linear evaluation, few-shot classification, k-NN, k-means, image retrieval, and copy detection. We compare CARP performance to 11 existing self-supervised methods. We extensively ablate our method and demonstrate that our proposed random partition pretext task improves the quality of the learned representations by devising multiple random classification tasks. In transfer learning tasks, CARP achieves the best performance on average against many SSL methods trained for a longer time.
• Abstract（参考訳）: 本稿では、視覚特徴の表現学習のための自己教師付きクラスタリング手法であるCARP(Consistent Assignment of Views over Random Partitions)を提案する。 CARPは、クラスタ割り当て問題を解決するために、追加の非微分可能モジュールなしで勾配降下を用いて、エンドツーエンドのオンライン方式でプロトタイプを学習する。 CARPは、モデルを正規化し、ビューの割り当て間の一貫性を強制するプロトタイプのランダムパーティションに基づいて、新しいプリテキストタスクを最適化する。 さらに,本手法はトレーニングの安定性を向上し,共同埋め込みトレーニングにおける解の崩壊を防止する。 広範な評価を通じて,carpの表現が下流タスクの学習に適していることを実証する。 線形評価,少数ショット分類,k-NN,k-means,画像検索,コピー検出など,多くの標準プロトコルにわたる17のデータセットでCARPの表現能力を評価する。 我々はCARPの性能を既存の11の自己管理手法と比較する。 提案するランダム分割プレテキストタスクは,複数のランダム分類タスクを考案することにより,学習した表現の質を向上させることを示す。 転送学習タスクでは、CARPは長い時間トレーニングされた多くのSSLメソッドに対して平均して最高のパフォーマンスを達成する。

関連論文リスト

• Words Matter: Leveraging Individual Text Embeddings for Code Generation in CLIP Test-Time Adaptation [21.20806568508201]
  テスト時推論において視覚言語モデル(VLM)が遭遇する分布ドリフトを軽減するために,クラステキスト情報を活用する方法を示す。 本稿では,ラベル割り当て問題の固定セントロイドとしてジェネリッククラステキスト埋め込みを利用して,テスト時間サンプルの擬似ラベルを生成することを提案する。 多様な複雑性を示す複数の人気のあるテスト時間適応ベンチマークの実験は、CLIP-OTの優位性を実証的に示している。
  論文  参考訳（メタデータ） (2024-11-26T00:15:37Z)
• BaFTA: Backprop-Free Test-Time Adaptation For Zero-Shot Vision-Language Models [20.88680592729709]
  本稿では,視覚言語モデルの試験時間適応のためのバックプロパゲーションフリーアルゴリズムBaFTAを提案する。 BaFTAは、投影された埋め込み空間内のオンラインクラスタリングを使用して、クラスセントロイドを直接推定する。 我々は,BaFTAが最先端の試験時間適応手法を効率と効率の両方で一貫して上回っていることを実証した。
  論文  参考訳（メタデータ） (2024-06-17T08:16:24Z)
• Intra-task Mutual Attention based Vision Transformer for Few-Shot Learning [12.5354658533836]
  人間は、ほんのわずかの例に晒された後に、新しい、目に見えない画像を正確に分類する能力を持っている。 人工ニューラルネットワークモデルでは、限られたサンプルを持つ2つのイメージを区別する最も関連性の高い特徴を決定することが課題である。 本稿では,サポートとクエリサンプルをパッチに分割するタスク内相互注意手法を提案する。
  論文  参考訳（メタデータ） (2024-05-06T02:02:57Z)
• Match me if you can: Semi-Supervised Semantic Correspondence Learning with Unpaired Images [76.47980643420375]
  本稿では,意味的対応の学習に固有のデータ・ハングリー・マターが存在するという仮説に基づく。 我々は,機械の監督を通じて,ペア化されたキーポイントを確実に強化する単純な機械注釈器を実証する。 我々のモデルは,SPair-71k,PF-PASCAL,PF-WILLOWといった意味対応学習ベンチマークの最先端モデルを上回る。
  論文  参考訳（メタデータ） (2023-11-30T13:22:15Z)
• Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
  1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。 マルチモーダルデータに適した深層学習一クラス分類法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T12:31:18Z)
• Tuning Pre-trained Model via Moment Probing [62.445281364055795]
  本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。 MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。 当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
  論文  参考訳（メタデータ） (2023-07-21T04:15:02Z)
• Provably Efficient Representation Learning with Tractable Planning in Low-Rank POMDP [81.00800920928621]
  部分的に観測可能なマルコフ決定過程(POMDP)における表現学習の研究 まず,不確実性(OFU)に直面した最大推定(MLE)と楽観性を組み合わせた復調性POMDPのアルゴリズムを提案する。 次に、このアルゴリズムをより広範な$gamma$-observable POMDPのクラスで機能させる方法を示す。
  論文  参考訳（メタデータ） (2023-06-21T16:04:03Z)
• Efficient Self-Supervision using Patch-based Contrastive Learning for Histopathology Image Segmentation [0.456877715768796]
  画像パッチに対するコントラスト学習を用いた自己教師型画像分割のためのフレームワークを提案する。 完全畳み込みニューラルネットワーク(FCNN)は、入力画像の特徴を識別するために、自己教師型で訓練される。 提案したモデルは10.8kパラメータを持つ単純なFCNNで構成され、高解像度の顕微鏡データセットに収束するのに約5分を要する。
  論文  参考訳（メタデータ） (2022-08-23T07:24:47Z)
• CAD: Co-Adapting Discriminative Features for Improved Few-Shot Classification [11.894289991529496]
  少数のラベル付きサンプルを与えられた未確認のクラスに適応できるモデルを学ぶことを目的としている。 最近のアプローチでは、特徴抽出器を事前訓練し、その後、エピソードなメタラーニングのための微調整を行う。 本研究は, 複数ショットの分類において, 横断的および再重み付き識別機能を実現するための戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T06:14:51Z)
• Unsupervised Learning of Visual Features by Contrasting Cluster Assignments [57.33699905852397]
  ペア比較の計算を必要とせず,コントラスト的手法を生かしたオンラインアルゴリズムSwaVを提案する。 本手法では,クラスタ割り当て間の一貫性を保ちながら,同時にデータをクラスタ化する。 我々の方法は大規模で小さなバッチで訓練でき、無制限のデータにスケールできる。
  論文  参考訳（メタデータ） (2020-06-17T14:00:42Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。