論文の概要: Unsupervised Embedding Quality Evaluation

• arxiv url: http://arxiv.org/abs/2305.16562v2
• Date: Mon, 17 Jul 2023 22:41:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-19 18:38:56.419171
• Title: Unsupervised Embedding Quality Evaluation
• Title（参考訳）: 教師なし埋め込み品質評価
• Authors: Anton Tsitsulin, Marina Munkhoeva, Bryan Perozzi
• Abstract要約: SSLモデルは、他のドメインに転送された時に正常に動作するかどうか、しばしば不明である。 安定した方法でデータを線形に分離することがいかに容易か、定量化できますか? 本稿では,自己教師付き学習における高次元幾何学構造理解の最近の進歩に基づく新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 6.72542623686684
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised learning has recently significantly gained in popularity, especially with deep learning-based approaches. Despite numerous successes and approaching supervised-level performance on a variety of academic benchmarks, it is still hard to train and evaluate SSL models in practice due to the unsupervised nature of the problem. Even with networks trained in a supervised fashion, it is often unclear whether they will perform well when transferred to another domain. Past works are generally limited to assessing the amount of information contained in embeddings, which is most relevant for self-supervised learning of deep neural networks. This works chooses to follow a different approach: can we quantify how easy it is to linearly separate the data in a stable way? We survey the literature and uncover three methods that could be potentially used for evaluating quality of representations. We also introduce one novel method based on recent advances in understanding the high-dimensional geometric structure of self-supervised learning. We conduct extensive experiments and study the properties of these metrics and ones introduced in the previous work. Our results suggest that while there is no free lunch, there are metrics that can robustly estimate embedding quality in an unsupervised way.
• Abstract（参考訳）: 教師なし学習は最近、特にディープラーニングベースのアプローチで人気が高まっている。 さまざまな学術ベンチマークで多くの成功と教師レベルパフォーマンスに近づいているにもかかわらず、教師なしの性質のため、SSLモデルを実際にトレーニングし評価することは依然として困難である。 監視された方法でトレーニングされたネットワークであっても、他のドメインに転送されるとうまく機能するかどうかは不明だ。 過去の研究は一般に、深層ニューラルネットワークの自己教師あり学習に最も関係する埋め込みに含まれる情報量を評価することに限定されている。 安定した方法でデータを線形に分離することがいかに容易か、定量化できますか? 文献を調査し,表現の質評価に使用可能な3つの方法を明らかにする。 また,自己教師付き学習における高次元幾何学的構造を理解するための新しい手法を提案する。 我々は、これらのメトリクスと、前回の研究で導入されたものの特性について広範な実験を行い、研究する。 その結果,無料のランチは存在しないものの,埋没品質を教師なしの方法で確実に推定できる指標が存在することが示唆された。

関連論文リスト

• No Regrets: Investigating and Improving Regret Approximations for Curriculum Discovery [53.08822154199948]
  非教師なし環境設計(UED)手法は、エージェントがイン・オブ・アウト・ディストリビューションタスクに対して堅牢になることを約束する適応的カリキュラムとして近年注目を集めている。 本研究は,既存のUEDメソッドがいかにトレーニング環境を選択するかを検討する。 本研究では,学習性の高いシナリオを直接訓練する手法を開発した。
  論文  参考訳（メタデータ） (2024-08-27T14:31:54Z)
• RanDumb: A Simple Approach that Questions the Efficacy of Continual Representation Learning [68.42776779425978]
  既存のオンライン学習深層ネットワークは、単純な事前定義されたランダム変換に比べて劣った表現を生成することを示す。 続いて、オンライン連続学習環境において、前例を保存せずに単純な線形分類器をトレーニングし、一度に1つのサンプルを処理します。 本研究は, 表現学習の大きな限界, 特に低経験, オンライン連続学習のシナリオについて明らかにした。
  論文  参考訳（メタデータ） (2024-02-13T22:07:29Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• Weaker Than You Think: A Critical Look at Weakly Supervised Learning [30.160501243686863]
  弱い教師付き学習は、低リソース環境で機械学習モデルをトレーニングするための一般的なアプローチである。 多様なNLPデータセットとタスクを分析し、弱教師付きアプローチがいつ、なぜ機能するのかを確認する。
  論文  参考訳（メタデータ） (2023-05-27T10:46:50Z)
• Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery [76.63807209414789]
  我々は,クラスiNCDにおける現状問題に挑戦し,クラス発見を継続的に,真に教師なしで行う学習パラダイムを提案する。 凍結したPTMバックボーンと学習可能な線形分類器から構成される単純なベースラインを提案する。
  論文  参考訳（メタデータ） (2023-03-28T13:47:16Z)
• On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
  ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。 提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
  論文  参考訳（メタデータ） (2022-03-08T09:57:48Z)
• How Well Do Self-Supervised Methods Perform in Cross-Domain Few-Shot Learning? [17.56019071385342]
  クロスドメイン・マイクロショット・ラーニング(CDFSL)はコンピュータビジョンの領域では未解決の問題である。 本稿では,CDFSLの文脈における自己指導型表現学習の役割を,既存の手法の徹底的な評価を通じて検討する。 自己教師付き手法から抽出した表現は,教師付き手法よりも強い強靭性を示す。
  論文  参考訳（メタデータ） (2022-02-18T04:03:53Z)
• Simple Control Baselines for Evaluating Transfer Learning [1.0499611180329802]
  我々は,伝達学習のパフォーマンスを定量化し,伝達することを目的とした評価基準を共有している。 自己教師型学習に関するいくつかの基本的な質問について,実証的研究を例に紹介する。
  論文  参考訳（メタデータ） (2022-02-07T17:26:26Z)
• Online Continual Learning with Natural Distribution Shifts: An Empirical Study with Visual Data [101.6195176510611]
  オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。 オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。 本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2021-08-20T06:17:20Z)
• A Survey on Contrastive Self-supervised Learning [0.0]
  自己教師付き学習は、大規模なデータセットのアノテートコストを回避する能力によって人気を集めている。 コントラスト学習は近年,コンピュータビジョン,自然言語処理(NLP)などの分野において,自己指導型学習手法の主流となっている。 本稿では, コントラスト的アプローチに従う自己教師型手法について, 広範囲にわたるレビューを行う。
  論文  参考訳（メタデータ） (2020-10-31T21:05:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。