論文の概要: Let Go of Your Labels with Unsupervised Transfer

• arxiv url: http://arxiv.org/abs/2406.07236v1
• Date: Tue, 11 Jun 2024 13:14:04 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 15:54:07.317682
• Title: Let Go of Your Labels with Unsupervised Transfer
• Title（参考訳）: 教師なし転送でラベルを解放する
• Authors: Artyom Gadetsky, Yulun Jiang, Maria Brbic,
• Abstract要約: データセットのラベル付けを検索する際に、完全に教師なしの転送が発生することを示す。 本稿では、この指針原理を効果的に活用し、基礎となるラベリングを明らかにするための、完全に教師なしの方法であるTURTLEを提案する。 TURTLEを26のデータセットからなる多様なベンチマークスイートで評価し、新しい最先端の教師なし性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 5.262577780347204
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation vision-language models have enabled remarkable zero-shot transferability of the pre-trained representations to a wide range of downstream tasks. However, to solve a new task, zero-shot transfer still necessitates human guidance to define visual categories that appear in the data. Here, we show that fully unsupervised transfer emerges when searching for the labeling of a dataset that induces maximal margin classifiers in representation spaces of different foundation models. We present TURTLE, a fully unsupervised method that effectively employs this guiding principle to uncover the underlying labeling of a downstream dataset without any supervision and task-specific representation learning. We evaluate TURTLE on a diverse benchmark suite of 26 datasets and show that it achieves new state-of-the-art unsupervised performance. Furthermore, TURTLE, although being fully unsupervised, outperforms zero-shot transfer baselines on a wide range of datasets. In particular, TURTLE matches the average performance of CLIP zero-shot on 26 datasets by employing the same representation space, spanning a wide range of architectures and model sizes. By guiding the search for the underlying labeling using the representation spaces of two foundation models, TURTLE surpasses zero-shot transfer and unsupervised prompt tuning baselines, demonstrating the surprising power and effectiveness of unsupervised transfer.
• Abstract（参考訳）: ファンデーションビジョン言語モデルは、事前訓練された表現を広範囲の下流タスクに顕著なゼロショット転送を可能にした。 しかし、新しいタスクを解決するためには、データに現れる視覚的カテゴリを定義するために、人間によるガイダンスが必要である。 ここでは、異なる基礎モデルの表現空間において、最大辺の分類を誘導するデータセットのラベル付けを探索する際に、完全に教師なしの転送が発生することを示す。 本稿では、この指導原理を効果的に活用し、監督やタスク固有の表現学習を伴わずに下流データセットの基盤となるラベル付けを明らかにするための、完全に教師なしの方法であるTURTLEを提案する。 TURTLEを26のデータセットからなる多様なベンチマークスイートで評価し、新しい最先端の教師なし性能を実現することを示す。 さらに、TURTLEは、完全に教師されていないが、広範囲のデータセットでゼロショット転送ベースラインを上回っている。 特にTURTLEは、26のデータセット上でのCLIPゼロショットの平均的なパフォーマンスと、同じ表現空間を使用し、幅広いアーキテクチャとモデルサイズにまたがる。 2つの基礎モデルの表現空間を用いて基礎となるラベリングの探索を導くことにより、TURTLEはゼロショット転送と教師なしプロンプトチューニングベースラインを超越し、教師なし転送の驚くべきパワーと効果を示す。

関連論文リスト

• ACTRESS: Active Retraining for Semi-supervised Visual Grounding [52.08834188447851]
  前回の研究であるRefTeacherは、疑似自信と注意に基づく監督を提供するために教師学生の枠組みを採用することで、この課題に取り組むための最初の試みである。 このアプローチは、Transformerベースのパイプラインに従う現在の最先端のビジュアルグラウンドモデルと互換性がない。 本稿では, ACTRESS を略したセミスーパービジョン視覚グラウンドのためのアクティブ・リトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-03T16:33:31Z)
• DatUS^2: Data-driven Unsupervised Semantic Segmentation with Pre-trained Self-supervised Vision Transformer [6.898332152137321]
  教師なしの密接なセマンティックセグメンテーションは下流のタスクとして研究されていない。 本稿では、下流タスクとして教師なしセマンティックセグメンテーションのための新しいデータ駆動手法を提案する。 DatUS2のベストバージョンは、教師なしの密接なセマンティックセグメンテーションタスクにおいて、既存の最先端メソッドよりも優れている。
  論文  参考訳（メタデータ） (2024-01-23T14:53:32Z)
• Weakly Supervised Video Individual CountingWeakly Supervised Video Individual Counting [126.75545291243142]
  Video Individual Countingは、単一のビデオ内のユニークな個人数を予測することを目的としている。 トラジェクトリラベルが提供されない弱い教師付きVICタスクを導入する。 そこで我々は,ネットワークを駆動し,インフロー,アウトフロー,残りを識別するために,エンドツーエンドのトレーニング可能なソフトコントラスト損失を考案した。
  論文  参考訳（メタデータ） (2023-12-10T16:12:13Z)
• The Pursuit of Human Labeling: A New Perspective on Unsupervised Learning [6.17147517649596]
  HUMEは、外部の監視なしに、与えられたデータセットの人間のラベル付けを推測するためのモデルに依存しないフレームワークである。 HUMEはこの洞察を利用して、データセットのすべてのラベリングを探索し、基礎となる人間のラベリングを発見する。 提案手法は,データセットの真理ラベル付けと極めてよく相関していることを示す。
  論文  参考訳（メタデータ） (2023-11-06T08:16:41Z)
• Leveraging sparse and shared feature activations for disentangled representation learning [112.22699167017471]
  本稿では,教師付きタスクの多種多様な集合から抽出した知識を活用し,共通不整合表現を学習することを提案する。 我々は6つの実世界分布シフトベンチマークと異なるデータモダリティに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2023-04-17T01:33:24Z)
• Self-Supervised Pre-Training for Transformer-Based Person Re-Identification [54.55281692768765]
  トランスフォーマーに基づく教師付き事前訓練は、人物再識別(ReID)において大きなパフォーマンスを達成する ImageNetとReIDデータセットのドメインギャップのため、通常、パフォーマンスを高めるために、より大きなトレーニング済みデータセットが必要です。 この研究は、データとモデル構造の観点から、事前トレーニングデータセットとReIDデータセットのギャップを軽減することを目的としている。
  論文  参考訳（メタデータ） (2021-11-23T18:59:08Z)
• Unsupervised Finetuning [80.58625921631506]
  ソースデータとターゲットデータを組み合わせて教師なしの微調整を行うための2つの戦略を提案する。 前者の戦略の動機は、事前訓練された表現空間を占有するために、少量のソースデータを追加することである。 後者の戦略の動機は、データ密度を高め、よりコンパクトな表現を学ぶことにある。
  論文  参考訳（メタデータ） (2021-10-18T17:57:05Z)
• Learning Invariant Representations across Domains and Tasks [81.30046935430791]
  本稿では,この教師なしタスク転送問題を解決するための新しいタスク適応ネットワーク(tan)を提案する。 ドメイン・アドバーサル・トレーニングによる伝達可能な機能を学習することに加えて、学習から学習への戦略を用いてタスクの意味を適応させる新しいタスク・セマンティクス・アダプタを提案する。 TANは最近の強いベースラインに比べてリコールとF1スコアを5.0%と7.8%大きく向上させた。
  論文  参考訳（メタデータ） (2021-03-03T11:18:43Z)
• Self-supervised driven consistency training for annotation efficient histopathology image analysis [13.005873872821066]
  大きなラベル付きデータセットでニューラルネットワークをトレーニングすることは、計算病理学において依然として支配的なパラダイムである。 本研究では,非教師付き表現学習のための強力な監視信号を学ぶために,ヒストロジ全体スライディング画像の背景となる多段階的文脈的手がかりを利用する自己教師付きプレテキストタスクを提案する。 また,タスク固有の未ラベルデータとの予測整合性に基づいて,事前学習した表現を下流タスクに効果的に転送することを学ぶ教師による半教師付き一貫性パラダイムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T19:46:21Z)
• Robust Disentanglement of a Few Factors at a Time [5.156484100374058]
  変分オートエンコーダ(VAE)の整合性向上のための人口ベーストレーニング(PBT)を導入する。 PBT-VAEトレーニングでは、教師なしのモデルスコアとしてUnsupervised Disentanglement Ranking (UDR)を使用し、この方法でトレーニングされたモデルが、生成因子のサブセットのみを一貫して切り離す傾向を示す。 複数のデータセットとメトリクスをまたいで、最先端の教師なしのアンハンジメント性能とロバストネスを著しく改善したことを示す。
  論文  参考訳（メタデータ） (2020-10-26T12:34:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。