Fugu-MT 論文翻訳(概要): TLDR: Twin Learning for Dimensionality Reduction

論文の概要: TLDR: Twin Learning for Dimensionality Reduction

arxiv url: http://arxiv.org/abs/2110.09455v1
Date: Mon, 18 Oct 2021 16:46:12 GMT
ステータス: 処理完了
システム内更新日: 2021-10-19 13:25:00.534814
Title: TLDR: Twin Learning for Dimensionality Reduction
Title（参考訳）: TLDR:次元化のための双対学習
Authors: Yannis Kalantidis, Carlos Lassance, Jon Almazan, Diane Larlus
Abstract要約: 次元性還元法は、初期空間のいくつかの性質、典型的には「近傍」の概念が保存されているような低次元空間を学習する。本稿では,Barlow Twinsの単純な自己教師型学習フレームワークを,手動による歪みの適切なセットを定義するのが困難あるいは不可能な環境に移植する,汎用的な入力空間の次元削減手法を提案する。
参考スコア（独自算出の注目度）: 25.373435473381356
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Dimensionality reduction methods are unsupervised approaches which learn low-dimensional spaces where some properties of the initial space, typically the notion of "neighborhood", are preserved. They are a crucial component of diverse tasks like visualization, compression, indexing, and retrieval. Aiming for a totally different goal, self-supervised visual representation learning has been shown to produce transferable representation functions by learning models that encode invariance to artificially created distortions, e.g. a set of hand-crafted image transformations. Unlike manifold learning methods that usually require propagation on large k-NN graphs or complicated optimization solvers, self-supervised learning approaches rely on simpler and more scalable frameworks for learning. In this paper, we unify these two families of approaches from the angle of manifold learning and propose TLDR, a dimensionality reduction method for generic input spaces that is porting the simple self-supervised learning framework of Barlow Twins to a setting where it is hard or impossible to define an appropriate set of distortions by hand. We propose to use nearest neighbors to build pairs from a training set and a redundancy reduction loss borrowed from the self-supervised literature to learn an encoder that produces representations invariant across such pairs. TLDR is a method that is simple, easy to implement and train, and of broad applicability; it consists of an offline nearest neighbor computation step that can be highly approximated, and a straightforward learning process that does not require mining negative samples to contrast, eigendecompositions, or cumbersome optimization solvers. By replacing PCA with TLDR, we are able to increase the performance of GeM-AP by 4% mAP for 128 dimensions, and to retain its performance with 16x fewer dimensions.
Abstract（参考訳）: 次元性還元法は、初期空間のいくつかの性質、通常「近傍」の概念が保存されている低次元空間を学習する教師なしのアプローチである。それらは、視覚化、圧縮、インデックス化、検索など、さまざまなタスクの重要なコンポーネントである。全く異なる目的のために、自己教師付き視覚表現学習は、手作り画像変換のセットなど、人工的に生成された歪みに不変性をエンコードするモデルを学習することによって、伝達可能な表現関数を生成することが示されている。大規模なk-NNグラフや複雑な最適化ソルバ上での伝搬を必要とする多様体学習法とは異なり、自己教師型学習アプローチはよりシンプルでスケーラブルな学習フレームワークに依存している。本稿では,この2つのアプローチを,多様体学習の角度から統一し,バーロウ双生児の単純自己教師付き学習フレームワークを手による歪みの適切なセットを定義するのが困難か不可能かの条件に移植する汎用入力空間の次元性低減法tldrを提案する。学習セットからペアを構築するために最寄りの近傍を用いて,自己教師付き文献から借用した冗長性低減損失を用いて,ペア間で不変な表現を生成するエンコーダを学習する。 TLDRは、簡単に実装し、訓練し、幅広い適用性を持つ方法であり、高度に近似できるオフライン近傍の計算ステップと、対比、固有分解、および煩雑な最適化解決のために負のサンプルをマイニングする必要のない簡単な学習プロセスから構成される。 128次元のPCAをTLDRに置き換えることで、GeM-APの性能を4%向上させ、その性能を16倍の次元で維持することができる。

関連論文リスト

SimO Loss: Anchor-Free Contrastive Loss for Fine-Grained Supervised Contrastive Learning [0.0]
提案した類似性-直交性(SimO)損失を利用したアンカーフリーコントラスト学習(L)手法を提案する。提案手法は,2つの主目的を同時に最適化するセミメトリック判別損失関数を最小化する。埋め込み空間におけるSimO損失の影響を可視化する。
論文参考訳（メタデータ） (2024-10-07T17:41:10Z)
Unified Gradient-Based Machine Unlearning with Remain Geometry Enhancement [29.675650285351768]
深層ニューラルネットワークのプライバシーと信頼性を高めるために、機械学習(MU)が登場した。近似MUは大規模モデルの実用的手法である。本稿では,最新の学習方向を暗黙的に近似する高速スローパラメータ更新手法を提案する。
論文参考訳（メタデータ） (2024-09-29T15:17:33Z)
MOCA: Self-supervised Representation Learning by Predicting Masked Online Codebook Assignments [72.6405488990753]
自己教師付き学習は、ビジョントランスフォーマーネットワークの欲求を軽減できる。所望のプロパティを統一する単段および単段のMOCAを提案する。我々は,様々な評価プロトコルにおいて,低照度設定と強力な実験結果に対して,最先端の新たな結果を得る。
論文参考訳（メタデータ） (2023-07-18T15:46:20Z)
Meta-Learning Adversarial Bandit Algorithms [55.72892209124227]
我々は,バンディットフィードバックを用いたオンラインメタラーニングについて研究する。我々は自己協和障壁正規化器を用いてオンラインミラー降下一般化(OMD)をチューニングすることを学ぶ。
論文参考訳（メタデータ） (2023-07-05T13:52:10Z)
Black Box Few-Shot Adaptation for Vision-Language models [41.49584259596654]
ヴィジュアル・ランゲージ(V-L)モデルは、視覚的・言語的モダリティを整合させるために、対照的な学習で訓練された。本稿では,プリコンパイルされた画像とテキストの特徴に基づいて,V-L小ショット適応のためのブラックボックス手法について述べる。対象領域におけるV-L再アライメントに対する単純な線形アプローチである線形特徴アライメント(LFA)を提案する。
論文参考訳（メタデータ） (2023-04-04T12:42:29Z)
Deep Active Learning Using Barlow Twins [0.0]
畳み込みニューラルネットワーク(CNN)の一般化性能は、トレーニング画像の量、品質、多様性に大きく左右される。タスクのアクティブラーニングの目標は、ラベルのないプールから最も情報に富んだサンプルを引き出すことである。本稿では,すべてのデータセットに対する能動的学習手法であるBarlowTwins(DALBT)を用いたDeep Active Learningを提案する。
論文参考訳（メタデータ） (2022-12-30T12:39:55Z)
Effective Invertible Arbitrary Image Rescaling [77.46732646918936]
Invertible Neural Networks (INN)は、ダウンスケーリングとアップスケーリングのサイクルを共同で最適化することにより、アップスケーリングの精度を大幅に向上させることができる。本研究の1つのモデルのみをトレーニングすることにより、任意の画像再スケーリングを実現するために、単純で効果的な非可逆的再スケーリングネットワーク(IARN)を提案する。 LR出力の知覚品質を損なうことなく、双方向任意再スケーリングにおいて最先端(SOTA)性能を実現する。
論文参考訳（メタデータ） (2022-09-26T22:22:30Z)
Semi-Supervised Manifold Learning with Complexity Decoupled Chart Autoencoders [45.29194877564103]
本研究は、クラスラベルなどの半教師付き情報を付加できる非対称符号化復号プロセスを備えたチャートオートエンコーダを導入する。このようなネットワークの近似力を議論し、周囲空間の次元ではなく、本質的にデータ多様体の内在次元に依存する境界を導出する。
論文参考訳（メタデータ） (2022-08-22T19:58:03Z)
Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。 SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文参考訳（メタデータ） (2021-12-12T06:11:16Z)
Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
論文参考訳（メタデータ） (2021-11-23T18:10:48Z)
Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
論文参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。