論文の概要: On Feature Decorrelation in Self-Supervised Learning

• arxiv url: http://arxiv.org/abs/2105.00470v1
• Date: Sun, 2 May 2021 13:28:18 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-04 14:23:52.096818
• Title: On Feature Decorrelation in Self-Supervised Learning
• Title（参考訳）: 自己指導型学習における特徴劣化について
• Authors: Tianyu Hua, Wenxiao Wang, Zihui Xue, Yue Wang, Sucheng Ren, Hang Zhao
• Abstract要約: 最近のアプローチから最も一般的なコンポーネントを含むフレームワークについて検討する。 次元崩壊を軸間の強い相関関係と結び付け、そのような関係を特徴デコリレーションの強い動機とみなす。
• 参考スコア（独自算出の注目度）: 15.555208840500086
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In self-supervised representation learning, a common idea behind most of the state-of-the-art approaches is to enforce the robustness of the representations to predefined augmentations. A potential issue of this idea is the existence of completely collapsed solutions (i.e., constant features), which are typically avoided implicitly by carefully chosen implementation details. In this work, we study a relatively concise framework containing the most common components from recent approaches. We verify the existence of complete collapse and discover another reachable collapse pattern that is usually overlooked, namely dimensional collapse. We connect dimensional collapse with strong correlations between axes and consider such connection as a strong motivation for feature decorrelation (i.e., standardizing the covariance matrix). The capability of correlation as an unsupervised metric and the gains from feature decorrelation are verified empirically to highlight the importance and the potential of this insight.
• Abstract（参考訳）: 自己教師あり表現学習(self-supervised representation learning)において、最先端のアプローチのほとんどを支える共通のアイデアは、事前定義された拡張に対して表現の堅牢性を強化することである。 このアイデアの潜在的な問題は、完全に崩壊した解(すなわち、一定の特徴)の存在であり、通常は慎重に選択された実装の詳細によって暗黙的に避けられる。 本研究では,最近のアプローチから最も一般的なコンポーネントを含む比較的簡潔なフレームワークについて検討する。 完全崩壊の存在を検証し、通常見過ごされる別の到達可能な崩壊パターン、すなわち次元崩壊を発見する。 我々は、次元の崩壊を軸間の強い相関と結び付け、そのような関係を特徴デコリレーション(すなわち共分散行列の標準化)の強い動機とみなす。 非教師付き計量としての相関の能力と特徴的デコレーションによる利得を実証的に検証し、この洞察の重要性と可能性を明らかにする。

関連論文リスト

• Fine-Grained Causal Dynamics Learning with Quantization for Improving Robustness in Reinforcement Learning [26.34622544479565]
  因果ダイナミクス学習は、強化学習における堅牢性を高めるための有望なアプローチである。 本稿では,微粒な因果構造を推定し,それらを予測に利用する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2024-06-05T13:13:58Z)
• Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
  この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。 本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。 学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T02:38:21Z)
• Entity or Relation Embeddings? An Analysis of Encoding Strategies for Relation Extraction [19.019881161010474]
  関係抽出は、本質的にはテキスト分類問題であり、事前学習言語モデル(LM)を微調整することで取り組める。 既存のアプローチでは、LMを微調整して頭と尾のエンティティの埋め込みを学習し、それらのエンティティの埋め込みから関係を予測する。 本稿では,より直接的な方法で関係を捉えることにより,関係抽出モデルを改善することができるという仮説を立てる。
  論文  参考訳（メタデータ） (2023-12-18T09:58:19Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• On Neural Architecture Inductive Biases for Relational Tasks [76.18938462270503]
  合成ネットワーク一般化(CoRelNet)と呼ばれる類似度分布スコアに基づく簡単なアーキテクチャを導入する。 単純なアーキテクチャの選択は、分布外一般化において既存のモデルより優れていることが分かる。
  論文  参考訳（メタデータ） (2022-06-09T16:24:01Z)
• Generalizable Information Theoretic Causal Representation [37.54158138447033]
  本稿では,観測データから因果表現を学習するために,仮説因果グラフに基づいて相互情報量で学習手順を規則化することを提案する。 この最適化は、因果性に着想を得た学習がサンプルの複雑さを減らし、一般化能力を向上させるという理論的保証を導出する反ファクト的損失を伴う。
  論文  参考訳（メタデータ） (2022-02-17T00:38:35Z)
• Leveraging Unlabeled Data for Entity-Relation Extraction through Probabilistic Constraint Satisfaction [54.06292969184476]
  シンボリックドメイン知識の存在下でのエンティティ関係抽出の問題を研究する。 本手法では,論理文の正確な意味を捉える意味的損失を用いる。 低データ体制に焦点をあてて、セマンティックな損失がベースラインをはるかに上回ることを示す。
  論文  参考訳（メタデータ） (2021-03-20T00:16:29Z)
• Disentangling Observed Causal Effects from Latent Confounders using Method of Moments [67.27068846108047]
  我々は、軽度の仮定の下で、識別性と学習可能性に関する保証を提供する。 我々は,線形制約付き結合テンソル分解に基づく効率的なアルゴリズムを開発し,スケーラブルで保証可能な解を得る。
  論文  参考訳（メタデータ） (2021-01-17T07:48:45Z)
• Learning Causal Models Online [103.87959747047158]
  予測モデルは、予測を行うためにデータの急激な相関に依存することができる。 強い一般化を達成するための一つの解決策は、モデルに因果構造を組み込むことである。 本稿では,突発的特徴を継続的に検出・除去するオンラインアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-12T20:49:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。