論文の概要: Learning by Reconstruction Produces Uninformative Features For
Perception
- arxiv url: http://arxiv.org/abs/2402.11337v1
- Date: Sat, 17 Feb 2024 17:08:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 21:44:40.283011
- Title: Learning by Reconstruction Produces Uninformative Features For
Perception
- Title（参考訳）: レコンストラクションによる学習は知覚に不自然な特徴をもたらす
- Authors: Randall Balestriero, Yann LeCun
- Abstract要約: 解釈可能性にも拘わらず、再構築による学習と知覚の学習の相違を識別する。
我々は, 前者は, 観測された分散を説明するデータの部分空間, 後者の非形式的特徴を持つ部分空間に対して, モデルの容量を割り当てていることを示す。
マスキングのようなノイズ戦略は確かに有益であるが,加法的ガウスノイズのようなノイズ戦略は有益ではない。
- 参考スコア（独自算出の注目度）: 38.72252891333172
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Input space reconstruction is an attractive representation learning paradigm.
Despite interpretability of the reconstruction and generation, we identify a
misalignment between learning by reconstruction, and learning for perception.
We show that the former allocates a model's capacity towards a subspace of the
data explaining the observed variance--a subspace with uninformative features
for the latter. For example, the supervised TinyImagenet task with images
projected onto the top subspace explaining 90\% of the pixel variance can be
solved with 45\% test accuracy. Using the bottom subspace instead, accounting
for only 20\% of the pixel variance, reaches 55\% test accuracy. The features
for perception being learned last explains the need for long training time,
e.g., with Masked Autoencoders. Learning by denoising is a popular strategy to
alleviate that misalignment. We prove that while some noise strategies such as
masking are indeed beneficial, others such as additive Gaussian noise are not.
Yet, even in the case of masking, we find that the benefits vary as a function
of the mask's shape, ratio, and the considered dataset. While tuning the noise
strategy without knowledge of the perception task seems challenging, we provide
first clues on how to detect if a noise strategy is never beneficial regardless
of the perception task.
- Abstract（参考訳）: 入力空間再構成は魅力的な表現学習パラダイムである。
再現と生成の解釈可能性にもかかわらず、再構築による学習と知覚の学習の相違を識別する。
前者は、観測された分散を説明するデータの部分空間に向けてモデルの容量を割り当てる-後者に対して非可換な特徴を持つ部分空間-を示す。
例えば、トップサブスペースに画像が投影され、ピクセル分散の90\%を説明する教師付きtinyimagenetタスクは、45\%のテスト精度で解決できる。
代わりに下位部分空間を使用すると、ピクセル分散の20\%しか計算できず、55\%テスト精度に達する。
最後に学習される知覚の特徴は、例えばマスク付きオートエンコーダで、長いトレーニング時間の必要性を説明する。
偽りによる学習は、その誤解を和らげる一般的な戦略である。
マスキングなどのノイズ戦略は確かに有益であるが,加法的ガウスノイズのようなノイズ戦略は有益ではない。
しかし、マスクの場合においても、マスクの形状、比率、考慮されたデータセットの関数として、利点が異なることが分かる。
知覚課題を知らずにノイズ戦略を調整することは困難に思えるが,ノイズ戦略が知覚課題によらず有益でないかどうかを検知するための第1の手がかりを提供する。
関連論文リスト
- Understanding Contrastive Learning via Gaussian Mixture Models [19.51336063093898]
コントラスト学習(特にInfoNCE損失)を自然な文脈で分析する。
ガウス群が等方的でない場合でも、バニラInfoNCEが最適の下次元部分空間を見つけることができることを示す。
この設定では、対照的な学習が漁師最適部分空間のサブセットを学習し、学習した表現から全てのノイズを効果的に除去することを示す。
論文 参考訳（メタデータ） (2024-11-05T21:43:05Z) - DenoiseRep: Denoising Model for Representation Learning [17.63931025833262]
本稿では,特徴抽出とデノナイジングによる特徴識別を改善するために,表現学習のための新しいDenoising Model(DenoiseRep)を提案する。
DenoiseRepは、インクリメンタルに機能を改善するが、利用可能であればラベルを補完するラベルフリーのアルゴリズムである。
論文 参考訳（メタデータ） (2024-06-13T03:05:36Z) - RaSa: Relation and Sensitivity Aware Representation Learning for
Text-based Person Search [51.09723403468361]
関係性と感性を考慮した表現学習法(RaSa)を提案する。
RaSaにはリレーショナル・アウェア・ラーニング(RA)と感性・アウェア・ラーニング(SA)という2つの新しいタスクが含まれている。
実験によると、RaSaは既存の最先端メソッドを6.94%、4.45%、および15.35%で上回っている。
論文 参考訳（メタデータ） (2023-05-23T03:53:57Z) - Masked Image Training for Generalizable Deep Image Denoising [53.03126421917465]
本稿では,デノナイジングネットワークの一般化性能を高めるための新しい手法を提案する。
提案手法では,入力画像のランダムなピクセルをマスキングし,学習中に欠落した情報を再構成する。
提案手法は,他のディープラーニングモデルよりも優れた一般化能力を示し,実世界のシナリオに直接適用可能である。
論文 参考訳（メタデータ） (2023-03-23T09:33:44Z) - How deep convolutional neural networks lose spatial information with
training [0.7328100870402177]
画像の微分同相性に対する安定性は, 前半の空間プール, 後半のチャネルプールによって達成されることを示す。
ノイズに対する感度の上昇は、ReLUユニットによって修正された後、プール中に発生する摂動騒音によるものである。
論文 参考訳（メタデータ） (2022-10-04T10:21:03Z) - Semantic Segmentation with Active Semi-Supervised Learning [23.79742108127707]
本稿では,能動的学習と半教師付き学習を組み合わせた新しいアルゴリズムを提案する。
本手法は,ネットワークの性能の95%以上をフルトレーニングセットで取得する。
論文 参考訳（メタデータ） (2022-03-21T04:16:25Z) - Fair Interpretable Learning via Correction Vectors [68.29997072804537]
我々は「補正ベクトル」の学習を中心とした公正表現学習のための新しい枠組みを提案する。
修正は単純に元の特徴にまとめられるので、各特徴に対して明確なペナルティやボーナスとして分析することができる。
このような方法で制約された公平な表現学習問題が性能に影響を与えないことを実験的に示す。
論文 参考訳（メタデータ） (2022-01-17T10:59:33Z) - A Contrastive Distillation Approach for Incremental Semantic
Segmentation in Aerial Images [15.75291664088815]
現在のディープニューラルアーキテクチャに関する大きな問題は、破滅的な忘れこととして知られている。
我々は、任意の入力を拡張バージョンと比較する、対照的な正則化を提案する。
私たちは、Potsdamデータセットにおけるソリューションの有効性を示し、各テストにおけるインクリメンタルベースラインよりも優れています。
論文 参考訳（メタデータ） (2021-12-07T16:44:45Z) - Learning Invariant Representations for Reinforcement Learning without
Reconstruction [98.33235415273562]
本研究では,表現学習が画像などのリッチな観察からの強化学習を,ドメイン知識や画素再構成に頼ることなく促進する方法について検討する。
シミュレーションメトリクスは、連続MDPの状態間の振る舞いの類似性を定量化する。
修正された視覚的 MuJoCo タスクを用いてタスク関連情報を無視する手法の有効性を実証する。
論文 参考訳（メタデータ） (2020-06-18T17:59:35Z) - Distilling Localization for Self-Supervised Representation Learning [82.79808902674282]
コントラスト学習は教師なし表現学習に革命をもたらした。
現在のコントラストモデルでは、前景オブジェクトのローカライズには効果がない。
本稿では,背景変化を学習するためのデータ駆動型手法を提案する。
論文 参考訳（メタデータ） (2020-04-14T16:29:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。