論文の概要: Global-Local Self-Distillation for Visual Representation Learning
- arxiv url: http://arxiv.org/abs/2207.14676v1
- Date: Fri, 29 Jul 2022 13:50:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2022-08-01 12:54:12.350074
- Title: Global-Local Self-Distillation for Visual Representation Learning
- Title（参考訳）: 視覚表現学習のためのグローバルローカル自己蒸留
- Authors: Tim Lebailly and Tinne Tuytelaars
- Abstract要約: より豊かで意味のある勾配更新は、自己教師型のメソッドがより良く、より効率的に学習できるようにするための鍵です。
典型的な自己蒸留フレームワークでは、2つの拡張画像の表現をグローバルレベルでコヒーレントに強制する。
入力画像の空間情報を利用して幾何マッチングを求める。
- 参考スコア（独自算出の注目度）: 41.24728444810133
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The downstream accuracy of self-supervised methods is tightly linked to the
proxy task solved during training and the quality of the gradients extracted
from it. Richer and more meaningful gradients updates are key to allow
self-supervised methods to learn better and in a more efficient manner. In a
typical self-distillation framework, the representation of two augmented images
are enforced to be coherent at the global level. Nonetheless, incorporating
local cues in the proxy task can be beneficial and improve the model accuracy
on downstream tasks. This leads to a dual objective in which, on the one hand,
coherence between global-representations is enforced and on the other,
coherence between local-representations is enforced. Unfortunately, an exact
correspondence mapping between two sets of local-representations does not exist
making the task of matching local-representations from one augmentation to
another non-trivial. We propose to leverage the spatial information in the
input images to obtain geometric matchings and compare this geometric approach
against previous methods based on similarity matchings. Our study shows that
not only 1) geometric matchings perform better than similarity based matchings
in low-data regimes but also 2) that similarity based matchings are highly
hurtful in low-data regimes compared to the vanilla baseline without local
self-distillation. The code will be released upon acceptance.
- Abstract（参考訳）: 自己教師あり手法の下流精度は,訓練中に解決したプロキシタスクと,それから抽出した勾配の質に強く関連している。
より豊かで有意義なグラデーション更新は、自己監督型メソッドをより効率的に学ぶための鍵となる。
典型的な自己蒸留フレームワークでは、2つの拡張画像の表現をグローバルレベルでコヒーレントに強制する。
それでもプロキシタスクにローカルキューを組み込むことはメリットがあり、下流タスクのモデルの精度が向上する。
これにより、グローバル表現間のコヒーレンスが強制される一方、ローカル表現間のコヒーレンスが強制される2つの目的が導かれる。
残念なことに、2組の局所表現間の正確な対応マッピングは存在せず、ある拡張子から別の非自明な部分への局所表現をマッチングするタスクである。
本稿では,入力画像の空間情報を利用して幾何マッチングを求め,この幾何学的アプローチを類似性マッチングに基づく従来の手法と比較する。
私たちの研究が示すのは
1) 幾何マッチングは低データレシエーションにおける類似性に基づくマッチングよりも優れているが、
2) 局所自己蒸留を伴わないバニラベースラインと比較して, 類似度に基づくマッチングは低データ環境において非常に有害である。
コードは受理後にリリースされます。
関連論文リスト
- BCLNet: Bilateral Consensus Learning for Two-View Correspondence Pruning [26.400567961735234]
対応プルーニングは、2つの関連する画像間の信頼性の高い対応を確立することを目的としている。
既存のアプローチでは、ローカルとグローバルのコンテキストを扱うために、プログレッシブな戦略を採用することが多い。
本稿では,2視点対応型プルーニングタスクにおいて,双方向のコンセンサスを取得するための並列コンテキスト学習戦略を提案する。
論文 参考訳（メタデータ） (2024-01-07T11:38:15Z) - How does Contrastive Learning Organize Images? [8.077578967149561]
コントラスト学習(Contrastive Learning)は、同じ入力の増大と異なる入力の相違の表現において類似性を強調している。
近年の研究はこの直接的な関係に挑戦し、帰納的バイアスの重要な役割を浮き彫りにしている。
この差を捉えるために、RLD(Relative Local Density)メトリクスを導入します。
論文 参考訳（メタデータ） (2023-05-17T14:10:54Z) - Data-efficient Large Scale Place Recognition with Graded Similarity
Supervision [10.117451511942267]
視覚的位置認識(VPR)はコンピュータビジョンの基本課題である。
既存の方法は、同じ場所を表すか、そうでないイメージペアを使って訓練される。
VPRデータセットを再ラベルするための自動再アノテーション戦略をデプロイする。
コントラストネットワークのトレーニングに,グレード付き類似性ラベルを用いた新しい一般化コントラスト損失(GCL)を提案する。
論文 参考訳（メタデータ） (2023-03-21T10:56:57Z) - Adaptive Local-Component-aware Graph Convolutional Network for One-shot
Skeleton-based Action Recognition [54.23513799338309]
骨格に基づく行動認識のための適応的局所成分認識グラフ畳み込みネットワークを提案する。
我々の手法はグローバルな埋め込みよりも強力な表現を提供し、我々のモデルが最先端に到達するのに役立ちます。
論文 参考訳（メタデータ） (2022-09-21T02:33:07Z) - Local2Global: A distributed approach for scaling representation learning
on graphs [10.254620252788776]
本稿では,グラフ表現学習における分散型「ローカル2言語」アプローチを提案する。
提案手法は,エッジ再構築におけるスケールと精度の良好なトレードオフと半教師付き分類を実現する。
また、異常検出の下流タスクについても検討し、ローカル2globalを使ってサイバーセキュリティネットワークの異常を強調できることを示す。
論文 参考訳（メタデータ） (2022-01-12T23:00:22Z) - Rethinking Counting and Localization in Crowds:A Purely Point-Based
Framework [59.578339075658995]
そこで本稿では,共同クラウドカウントと個別ローカライゼーションのための純粋にポイントベースのフレームワークを提案する。
我々は、P2PNet(Point to Point Network)と呼ばれる、このフレームワークの下で直感的なソリューションを設計する。
論文 参考訳（メタデータ） (2021-07-27T11:41:50Z) - Progressive Bilateral-Context Driven Model for Post-Processing Person
Re-Identification [20.143803695488106]
本稿では, サンプルと相手のコンテキストの関係から, ペアの測度を決定する軽量な後処理者再識別手法を提案する。
4つの大規模人物再識別ベンチマークデータセットの実験から,提案手法が常に高い精度を達成可能であることが示唆された。
論文 参考訳（メタデータ） (2020-09-07T13:35:09Z) - Inter-Image Communication for Weakly Supervised Localization [77.2171924626778]
弱教師付きローカライゼーションは、画像レベルの監督のみを使用して対象対象領域を見つけることを目的としている。
我々は,より正確な物体位置を学習するために,異なる物体間の画素レベルの類似性を活用することを提案する。
ILSVRC検証セット上でトップ1のローカライズ誤差率45.17%を達成する。
論文 参考訳（メタデータ） (2020-08-12T04:14:11Z) - Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。
本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。
実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
論文 参考訳（メタデータ） (2020-07-20T12:07:48Z) - High-Order Information Matters: Learning Relation and Topology for
Occluded Person Re-Identification [84.43394420267794]
本稿では,高次関係とトポロジ情報を識別的特徴とロバストなアライメントのために学習し,新しい枠組みを提案する。
我々のフレームワークはOccluded-Dukeデータセットで最先端の6.5%mAPスコアを大幅に上回っている。
論文 参考訳（メタデータ） (2020-03-18T12:18:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。