論文の概要: An Embedding-Dynamic Approach to Self-supervised Learning

• arxiv url: http://arxiv.org/abs/2207.03552v1
• Date: Thu, 7 Jul 2022 19:56:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-11 13:11:40.446243
• Title: An Embedding-Dynamic Approach to Self-supervised Learning
• Title（参考訳）: 自己教師付き学習への埋め込み動的アプローチ
• Authors: Suhong Moon, Domas Buracas, Seunghyun Park, Jinkyu Kim, John Canny
• Abstract要約: 本稿では,画像の埋め込みを点粒子として扱うとともに,モデル最適化を粒子系の動的過程として考察する。 我々の動的モデルは、類似した画像に対する魅力的な力、局所的な崩壊を避けるための局所的な分散力、そして粒子のグローバルな均質分布を達成するための大域的な分散力を組み合わせた。
• 参考スコア（独自算出の注目度）: 8.714677279673738
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A number of recent self-supervised learning methods have shown impressive performance on image classification and other tasks. A somewhat bewildering variety of techniques have been used, not always with a clear understanding of the reasons for their benefits, especially when used in combination. Here we treat the embeddings of images as point particles and consider model optimization as a dynamic process on this system of particles. Our dynamic model combines an attractive force for similar images, a locally dispersive force to avoid local collapse, and a global dispersive force to achieve a globally-homogeneous distribution of particles. The dynamic perspective highlights the advantage of using a delayed-parameter image embedding (a la BYOL) together with multiple views of the same image. It also uses a purely-dynamic local dispersive force (Brownian motion) that shows improved performance over other methods and does not require knowledge of other particle coordinates. The method is called MSBReg which stands for (i) a Multiview centroid loss, which applies an attractive force to pull different image view embeddings toward their centroid, (ii) a Singular value loss, which pushes the particle system toward spatially homogeneous density, (iii) a Brownian diffusive loss. We evaluate downstream classification performance of MSBReg on ImageNet as well as transfer learning tasks including fine-grained classification, multi-class object classification, object detection, and instance segmentation. In addition, we also show that applying our regularization term to other methods further improves their performance and stabilize the training by preventing a mode collapse.
• Abstract（参考訳）: 近年,画像分類などのタスクにおいて,自己指導型学習手法が目覚ましい性能を示した。 様々なテクニックが使われており、特に組み合わせて使う場合、必ずしもその利点の理由を明確に理解しているわけではない。 ここでは,画像の埋め込みを点粒子として扱い,モデル最適化を粒子系の動的過程として考える。 我々の動的モデルは、類似した画像に対する魅力的な力、局所的な崩壊を避けるための局所的な分散力、粒子のグローバルな均質分布を達成するための大域的な分散力を組み合わせた。 ダイナミックな視点は、同じ画像の複数のビューとともに遅延パラメータ画像埋め込み(la BYOL)を使用することの利点を強調している。 また、純粋にダイナミックな局所分散力(ブラウン運動)を使い、他の方法よりも優れた性能を示し、他の粒子座標の知識を必要としない。 このメソッドはMSBRegと呼ばれ、 (i)多視点の遠心損失は、異なる画像の埋め込みを遠心に向けて引き出す魅力的な力を与える。 (ii) 粒子系を空間的に均一な密度へ押し上げる特異値損失。 (iii)ブラウン拡散損失。 我々は,imagenetにおけるmsbregの下流分類性能や,細粒度分類,多クラスオブジェクト分類,オブジェクト検出,インスタンス分割といった転送学習タスクを評価する。 また,他の手法に正規化項を適用することで,モード崩壊を防止し,その性能を向上し,トレーニングを安定させることを示す。

関連論文リスト

• Unsupervised Representation Learning by Balanced Self Attention Matching [2.3020018305241337]
  本稿では,BAMと呼ばれる画像特徴を埋め込む自己教師型手法を提案する。 我々は,これらの分布とグローバルな均衡とエントロピー正規化バージョンに一致する損失を最小化することにより,豊かな表現と特徴の崩壊を回避する。 半教師付きベンチマークと移動学習ベンチマークの両方において,先行手法と競合する性能を示す。
  論文  参考訳（メタデータ） (2024-08-04T12:52:44Z)
• Fine-grained Image-to-LiDAR Contrastive Distillation with Visual Foundation Models [55.99654128127689]
  Visual Foundation Models (VFM) は、3D表現学習を強化するために使用される。 VFMは、弱制御された画素間コントラスト蒸留のためのセマンティックラベルを生成する。 我々は,空間分布とカテゴリー周波数の不均衡に対応するために,点のサンプリング確率を適応させる。
  論文  参考訳（メタデータ） (2024-05-23T07:48:19Z)
• FlowDepth: Decoupling Optical Flow for Self-Supervised Monocular Depth Estimation [8.78717459496649]
  本稿では,ダイナミックモーションフローモジュール (DMFM) が機構ベースのアプローチで光学フローを分離し,動的領域をワープし,ミスマッチ問題を解くフローDepthを提案する。 高フレック領域と低テクスチャ領域による光度誤差の不公平性については,入力と損失レベルでそれぞれDepth-Cue-Aware Blur(DCABlur)とCost-Volumeの空間損失を用いて解決する。
  論文  参考訳（メタデータ） (2024-03-28T10:31:23Z)
• Curricular Contrastive Regularization for Physics-aware Single Image Dehazing [56.392696439577165]
  本研究では, コンセンサス空間を対象とし, 非コンセンサス空間ではなく, 新規なコントラスト正規化を提案する。 我々の負は,1)ハズーな画像から,2)既存の手法による対応する復元から,より低い制約を提供することができる。 このユニットは、直交的なコントラスト正規化とともに、C2PNetというデハジングネットワークを確立します。
  論文  参考訳（メタデータ） (2023-03-24T18:18:25Z)
• CbwLoss: Constrained Bidirectional Weighted Loss for Self-supervised Learning of Depth and Pose [13.581694284209885]
  光度差は、未ラベルのモノクロビデオから深度とカメラのポーズを推定するためにニューラルネットワークを訓練するために使用される。 本稿では,アフィン変換とビュー合成によって生じる流れ場と深さ構造の違いを利用して,移動物体とオクルージョンを取り扱う。 ネットワークを追加することなく、より意味的な情報と文脈的な情報を持つ特徴の差を測定することにより、テクスチャレス領域がモデル最適化に与える影響を緩和する。
  論文  参考訳（メタデータ） (2022-12-12T12:18:24Z)
• Unsupervised Feature Clustering Improves Contrastive Representation Learning for Medical Image Segmentation [18.75543045234889]
  自己監督型インスタンス識別は、特徴表現を学習し、限られた医用画像アノテーションに対処する効果的なコントラスト的前提課題である。 本稿では,教師なし特徴クラスタリングを用いた自己教師付きコントラスト学習手法を提案する。 本手法は,これらの課題に対して,最先端の自己監督型コントラスト技術より優れる。
  論文  参考訳（メタデータ） (2022-11-15T22:54:29Z)
• A Hamiltonian Monte Carlo Method for Probabilistic Adversarial Attack and Learning [122.49765136434353]
  本稿では,HMCAM (Acumulated Momentum) を用いたハミルトニアンモンテカルロ法を提案する。 また, 対数的対数的対数的学習(Contrastive Adversarial Training, CAT)と呼ばれる新たな生成法を提案し, 対数的例の平衡分布にアプローチする。 いくつかの自然画像データセットと実用システムに関する定量的および定性的な解析により、提案アルゴリズムの優位性が確認された。
  論文  参考訳（メタデータ） (2020-10-15T16:07:26Z)
• Fast Gravitational Approach for Rigid Point Set Registration with Ordinary Differential Equations [79.71184760864507]
  本稿では,FGA(Fast Gravitational Approach)と呼ばれる厳密な点集合アライメントのための物理に基づく新しい手法を紹介する。 FGAでは、ソースとターゲットの点集合は、シミュレーションされた重力場内を移動しながら、世界規模で多重リンクされた方法で相互作用する質量を持つ剛体粒子群として解釈される。 従来のアライメント手法では,新しいメソッドクラスには特徴がないことを示す。
  論文  参考訳（メタデータ） (2020-09-28T15:05:39Z)
• Deep Variational Network Toward Blind Image Restoration [60.45350399661175]
  ブラインド画像復元はコンピュータビジョンでは一般的だが難しい問題である。 両利点を両立させることを目的として,新しいブラインド画像復元手法を提案する。 画像デノイングと超解像という2つの典型的なブラインド赤外線タスクの実験により,提案手法が現状よりも優れた性能を達成できることが実証された。
  論文  参考訳（メタデータ） (2020-08-25T03:30:53Z)
• Blur-Attention: A boosting mechanism for non-uniform blurred image restoration [27.075713246257596]
  非一様ぼかし画像の特徴を動的に捉えるためのぼかしアテンションモジュールを提案する。 条件生成の逆方向のフレームワークにぼやけたアテンションネットワークを導入することにより、エンド・ツー・エンドのブラインド・モーション・デブロアリング法を提案する。 実験結果から,PSNR,SSIM,主観的視覚的品質の両面において,本手法の劣化能力は優れた客観的性能を示した。
  論文  参考訳（メタデータ） (2020-08-19T16:07:06Z)
• Image Fine-grained Inpainting [89.17316318927621]
  拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。 この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。 また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
  論文  参考訳（メタデータ） (2020-02-07T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。