論文の概要: Effect of Rotation Angle in Self-Supervised Pre-training is Dataset-Dependent

• arxiv url: http://arxiv.org/abs/2407.05218v1
• Date: Fri, 21 Jun 2024 12:25:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 14:29:03.367254
• Title: Effect of Rotation Angle in Self-Supervised Pre-training is Dataset-Dependent
• Title（参考訳）: 自己教師付き事前学習における回転角の影響
• Authors: Amy Saranchuk, Michael Guerzhoy,
• Abstract要約: 事前学習のための自己教師型学習は、ネットワークがより低レベルな機能を学ぶのに役立つ。 対照的に事前学習では、ネットワークは入力の異なるバージョンを区別するために事前訓練される。 対照的な事前学習を用いたトレーニングでは、$theta$とデータセットが興味深い方法で相互作用することを示す。
• 参考スコア（独自算出の注目度）: 3.434553688053531
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Self-supervised learning for pre-training (SSP) can help the network learn better low-level features, especially when the size of the training set is small. In contrastive pre-training, the network is pre-trained to distinguish between different versions of the input. For example, the network learns to distinguish pairs (original, rotated) of images where the rotated image was rotated by angle $\theta$ vs. other pairs of images. In this work, we show that, when training using contrastive pre-training in this way, the angle $\theta$ and the dataset interact in interesting ways. We hypothesize, and give some evidence, that, for some datasets, the network can take "shortcuts" for particular rotation angles $\theta$ based on the distribution of the gradient directions in the input, possibly avoiding learning features other than edges, but our experiments do not seem to support that hypothesis. We demonstrate experiments on three radiology datasets. We compute the saliency map indicating which pixels were important in the SSP process, and compare the saliency map to the ground truth foreground/background segmentation. Our visualizations indicate that the effects of rotation angles in SSP are dataset-dependent. We believe the distribution of gradient orientations may play a role in this, but our experiments so far are inconclusive.
• Abstract（参考訳）: 事前学習のための自己教師付き学習(SSP)は、特にトレーニングセットのサイズが小さい場合、ネットワークがより低レベルな機能を学ぶのに役立つ。 対照的に事前学習では、ネットワークは入力の異なるバージョンを区別するために事前訓練される。 例えば、ネットワークは、回転した画像を角度$\theta$と他の画像対で回転させた画像のペア(元々は回転した)を区別することを学ぶ。 本研究では,コントラッシブ事前学習を用いたトレーニングでは,角度$\theta$とデータセットが興味深い方法で相互作用することを示す。 いくつかのデータセットでは、入力の勾配方向の分布に基づいて、ネットワークが特定の回転角に対して「ショートカット」($\theta$)を取ることができると仮定し、いくつかの証拠を与えるが、我々の実験は、その仮説を支持していないように思われる。 3つの放射線学データセットについて実験を行った。 我々は,SSPプロセスにおいてどのピクセルが重要かを示すサリエンシマップを計算し,サリエンシマップと地上の真理/背景のセグメンテーションを比較した。 可視化の結果,SSPにおける回転角の影響はデータセット依存であることが示唆された。 我々は、勾配の配向の分布がこれに関与すると信じているが、これまでの実験は決定的ではない。

関連論文リスト

• On the Influence of Shape, Texture and Color for Learning Semantic Segmentation [5.172964916120902]
  近年では、画像分類のための既成の深層ニューラルネットワーク(DNN)の形状とテクスチャバイアスを研究する一連の研究が生まれている。 我々はこれらの疑問をセマンティックセグメンテーション(セマンティックセグメンテーション)で研究し、ピクセルレベルでの質問に対処する。 3つのデータセットについて検討した結果, テクスチャや形状が学習の成功を左右しないが, 形状と色の組み合わせは異なるが, テクスチャなしでは驚くほど強い結果が得られることがわかった。
  論文  参考訳（メタデータ） (2024-10-18T21:52:02Z)
• CSP: Self-Supervised Contrastive Spatial Pre-Training for Geospatial-Visual Representations [90.50864830038202]
  ジオタグ付き画像の自己教師型学習フレームワークであるContrastive Spatial Pre-Training(CSP)を提案する。 デュアルエンコーダを用いて画像とその対応する位置情報を別々に符号化し、コントラスト目的を用いて画像から効果的な位置表現を学習する。 CSPは、様々なラベル付きトレーニングデータサンプリング比と10～34%の相対的な改善で、モデル性能を大幅に向上させる。
  論文  参考訳（メタデータ） (2023-05-01T23:11:18Z)
• ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
  本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。 中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。 直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-12T13:10:19Z)
• Semantic-aware Dense Representation Learning for Remote Sensing Image Change Detection [20.761672725633936]
  ディープラーニングに基づく変化検出モデルのトレーニングはラベル付きデータに大きく依存する。 最近のトレンドは、リモートセンシング(RS)データを使用して、教師付きまたは自己教師型学習(SSL)を通じてドメイン内表現を取得することである。 複数のクラスバランス点をサンプリングし,RS画像CDに対する意味認識事前学習を提案する。
  論文  参考訳（メタデータ） (2022-05-27T06:08:33Z)
• Data Augmentation for Object Detection via Differentiable Neural Rendering [71.00447761415388]
  注釈付きデータが乏しい場合、堅牢なオブジェクト検出器を訓練することは困難です。 この問題に対処する既存のアプローチには、ラベル付きデータからラベル付きデータを補間する半教師付き学習が含まれる。 オブジェクト検出のためのオフラインデータ拡張手法を導入し、新しいビューでトレーニングデータを意味的に補間する。
  論文  参考訳（メタデータ） (2021-03-04T06:31:06Z)
• Neural-Pull: Learning Signed Distance Functions from Point Clouds by Learning to Pull Space onto Surfaces [68.12457459590921]
  3次元点雲から連続曲面を再構成することは、3次元幾何処理の基本的な操作である。 textitNeural-Pullは、シンプルで高品質なSDFを実現する新しいアプローチです。
  論文  参考訳（メタデータ） (2020-11-26T23:18:10Z)
• Deep Positional and Relational Feature Learning for Rotation-Invariant Point Cloud Analysis [107.9979381402172]
  点雲解析のための回転不変深層ネットワークを提案する。 ネットワークは階層的であり、位置的特徴埋め込みブロックと関係的特徴埋め込みブロックという2つのモジュールに依存している。 実験では、ベンチマークデータセット上で最先端の分類とセグメンテーション性能を示す。
  論文  参考訳（メタデータ） (2020-11-18T04:16:51Z)
• What Do Neural Networks Learn When Trained With Random Labels? [20.54410239839646]
  我々は、完全にランダムなラベルを持つ自然画像データに基づいて訓練されたディープニューラルネットワーク(DNN)について研究する。 ネットワークパラメータとデータの主成分間のアライメントをランダムラベルでトレーニングする場合に行う畳み込みネットワークと完全連結ネットワークを解析的に示す。 ランダムラベルで事前トレーニングされたネットワークは、スクラッチからのトレーニングに比べて、下流でのトレーニングを高速化する。
  論文  参考訳（メタデータ） (2020-06-18T12:07:22Z)
• How Can CNNs Use Image Position for Segmentation? [23.98839374194848]
  最近の研究では、CNNの畳み込み層に使用されるゼロパディングが、CNNに位置情報を提供することを示している。 しかし, 実験の設計には技術的問題があるため, クレームの正確性はまだ検証されていない。
  論文  参考訳（メタデータ） (2020-05-07T13:38:13Z)
• Single Image Depth Estimation Trained via Depth from Defocus Cues [105.67073923825842]
  単一のRGB画像から深度を推定することはコンピュータビジョンの基本的な課題である。 この作業では、異なる視点ではなく、フォーカスキューからの奥行きに依存しています。 我々は,KITTIとMake3Dデータセットの教師あり手法と同等な結果を提示し,教師なし学習手法より優れていることを示す。
  論文  参考訳（メタデータ） (2020-01-14T20:22:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。