論文の概要: From Patches to Objects: Exploiting Spatial Reasoning for Better Visual Representations

• arxiv url: http://arxiv.org/abs/2305.12384v1
• Date: Sun, 21 May 2023 07:46:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 20:51:59.797215
• Title: From Patches to Objects: Exploiting Spatial Reasoning for Better Visual Representations
• Title（参考訳）: パッチからオブジェクトへ: より良い視覚表現のための空間推論の爆発
• Authors: Toni Albert, Bjoern Eskofier, Dario Zanca
• Abstract要約: 本研究では,空間的推論に基づく新しい予備的事前学習手法を提案する。 本提案手法は,識別的自己管理手法の補助的タスクとして空間推論を導入することで,より柔軟なコントラスト学習の定式化を実現する。
• 参考スコア（独自算出の注目度）: 2.363388546004777
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As the field of deep learning steadily transitions from the realm of academic research to practical application, the significance of self-supervised pretraining methods has become increasingly prominent. These methods, particularly in the image domain, offer a compelling strategy to effectively utilize the abundance of unlabeled image data, thereby enhancing downstream tasks' performance. In this paper, we propose a novel auxiliary pretraining method that is based on spatial reasoning. Our proposed method takes advantage of a more flexible formulation of contrastive learning by introducing spatial reasoning as an auxiliary task for discriminative self-supervised methods. Spatial Reasoning works by having the network predict the relative distances between sampled non-overlapping patches. We argue that this forces the network to learn more detailed and intricate internal representations of the objects and the relationships between their constituting parts. Our experiments demonstrate substantial improvement in downstream performance in linear evaluation compared to similar work and provide directions for further research into spatial reasoning.
• Abstract（参考訳）: 深層学習の分野が学術研究分野から応用分野へと着実に移行するにつれて,自己指導型事前学習手法の重要性が高まっている。 これらの手法は、特に画像領域において、ラベルのない画像データの豊富さを効果的に活用し、下流タスクのパフォーマンスを向上させる説得力のある戦略を提供する。 本稿では,空間的推論に基づく新しい補助前訓練法を提案する。 本提案手法は,識別的自己管理手法の補助的タスクとして空間推論を導入することで,より柔軟なコントラスト学習の定式化を実現する。 空間推論は、サンプリングされた非重複パッチ間の相対距離をネットワークに予測させることで機能する。 これにより、ネットワークはオブジェクトのより詳細で複雑な内部表現と構成部品間の関係を学習せざるを得なくなる。 実験により, 線形評価における下流性能は類似の作業に比べて大幅に向上し, 空間推論のさらなる研究の方向性が示された。

関連論文リスト

• RLIF: Interactive Imitation Learning as Reinforcement Learning [56.997263135104504]
  我々は,対話型模倣学習と類似するが,さらに実践的な仮定の下で,非政治強化学習によってパフォーマンスが向上できることを実証する。 提案手法は,ユーザ介入信号を用いた強化学習を報奨として利用する。 このことは、インタラクティブな模倣学習において介入する専門家がほぼ最適であるべきだという仮定を緩和し、アルゴリズムが潜在的に最適でない人間の専門家よりも改善される行動を学ぶことを可能にする。
  論文  参考訳（メタデータ） (2023-11-21T21:05:21Z)
• Point Contrastive Prediction with Semantic Clustering for Self-Supervised Learning on Point Cloud Videos [71.20376514273367]
  本稿では,オブジェクト中心およびシーン中心のデータを対象とした一元的クラウドビデオ自己教師型学習フレームワークを提案する。 本手法は、広範囲の下流タスクにおいて教師付きタスクよりも優れる。
  論文  参考訳（メタデータ） (2023-08-18T02:17:47Z)
• Proto-Value Networks: Scaling Representation Learning with Auxiliary Tasks [33.98624423578388]
  補助的なタスクは、深層強化学習エージェントによって学習された表現を改善する。 我々は、後継措置に基づく新しい補助業務のファミリーを導出する。 プロト値ネットワークは、確立されたアルゴリズムに匹敵する性能を得るために、リッチな特徴を生み出すことを示す。
  論文  参考訳（メタデータ） (2023-04-25T04:25:08Z)
• Unsupervised Interpretable Basis Extraction for Concept-Based Visual Explanations [53.973055975918655]
  提案手法を用いて抽出したベースに変換すると,中間層表現がより解釈可能であることを示す。 提案手法は,提案手法を教師付きアプローチから抽出したベースと,教師付き手法から抽出したベースを比較した結果,教師なし手法は教師付き手法の限界を構成する強みを有し,今後の研究の方向性を示す。
  論文  参考訳（メタデータ） (2023-03-19T00:37:19Z)
• Towards Efficient and Effective Self-Supervised Learning of Visual Representations [41.92884427579068]
  自己監督は視覚的表現学習のための提案的な方法として現れてきた。 より高速に収束する適切な補助タスクを用いて,これらの手法を強化することを提案する。 提案手法は回転予測のタスクを利用して,既存の最先端手法の効率を向上させる。
  論文  参考訳（メタデータ） (2022-10-18T13:55:25Z)
• Clustering augmented Self-Supervised Learning: Anapplication to Land Cover Mapping [10.720852987343896]
  本稿では,自己教師型学習のためのクラスタリングに基づくプレテキストタスクを用いて,土地被覆マッピングの新しい手法を提案する。 社会的に関係のある2つのアプリケーションに対して,本手法の有効性を示す。
  論文  参考訳（メタデータ） (2021-08-16T19:35:43Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• More than just an auxiliary loss: Anti-spoofing Backbone Training via Adversarial Pseudo-depth Generation [4.542003078412816]
  RGB画像を用いたアンチ・スプーフィングのタスクにおいて,新たなトレーニング・パイプラインの手法について検討した。 本手法は, 15.8 倍のパラメータを用いて, 最新のアンチスプーフィングモデルのベースライン性能にアプローチする。
  論文  参考訳（メタデータ） (2021-01-01T09:00:17Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)
• Learning Representations that Support Extrapolation [39.84463809100903]
  我々は外挿を支援する表現を学習する上での課題について考察する。 本稿では,外挿の段階的評価を可能にする新しい視覚的類似性ベンチマークを提案する。 また、オブジェクト間の関係を強調する表現を促進するシンプルな手法である時間的文脈正規化を導入する。
  論文  参考訳（メタデータ） (2020-07-09T20:53:45Z)
• Learning Invariant Representations for Reinforcement Learning without Reconstruction [98.33235415273562]
  本研究では,表現学習が画像などのリッチな観察からの強化学習を,ドメイン知識や画素再構成に頼ることなく促進する方法について検討する。 シミュレーションメトリクスは、連続MDPの状態間の振る舞いの類似性を定量化する。 修正された視覚的 MuJoCo タスクを用いてタスク関連情報を無視する手法の有効性を実証する。
  論文  参考訳（メタデータ） (2020-06-18T17:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。