論文の概要: Invariance-adapted decomposition and Lasso-type contrastive learning

• arxiv url: http://arxiv.org/abs/2210.07413v1
• Date: Thu, 13 Oct 2022 23:30:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-17 15:31:46.541422
• Title: Invariance-adapted decomposition and Lasso-type contrastive learning
• Title（参考訳）: 不変適応分解とラッソ型コントラスト学習
• Authors: Masanori Koyama, Takeru Miyato, Kenji Fukumizu
• Abstract要約: 対照的な学習は、データ空間をすべての拡張とその補完に不変な空間に分解することができることを示す。 この分解は、citetcontent_isolateで導入されたものを一般化し、群の調和解析における周波数に類似した構造を記述する。
• 参考スコア（独自算出の注目度）: 30.974508897223124
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent years have witnessed the effectiveness of contrastive learning in obtaining the representation of dataset that is useful in interpretation and downstream tasks. However, the mechanism that describes this effectiveness have not been thoroughly analyzed, and many studies have been conducted to investigate the data structures captured by contrastive learning. In particular, the recent study of \citet{content_isolate} has shown that contrastive learning is capable of decomposing the data space into the space that is invariant to all augmentations and its complement. In this paper, we introduce the notion of invariance-adapted latent space that decomposes the data space into the intersections of the invariant spaces of each augmentation and their complements. This decomposition generalizes the one introduced in \citet{content_isolate}, and describes a structure that is analogous to the frequencies in the harmonic analysis of a group. We experimentally show that contrastive learning with lasso-type metric can be used to find an invariance-adapted latent space, thereby suggesting a new potential for the contrastive learning. We also investigate when such a latent space can be identified up to mixings within each component.
• Abstract（参考訳）: 近年,解釈や下流タスクに有用なデータセットの表現を得る上で,コントラスト学習の有効性が指摘されている。 しかし、この効果を説明するメカニズムは十分に解析されておらず、コントラスト学習によって得られたデータ構造について多くの研究がなされている。 特に、最近の研究である \citet{content_isolate} は、対照的な学習は、データ空間を全ての増補とその補足に不変な空間に分解することができることを示した。 本稿では,データ空間を各増補とその補集合の不変空間の交叉に分解する不変性適応潜在空間の概念を紹介する。 この分解は \citet{content_isolate} で導入されたものを一般化し、群の調和解析の周波数に類似した構造を記述する。 実験により,ラッソ型計量を用いたコントラスト学習が,非分散適応潜在空間の探索に有効であることを示し,コントラスト学習の新たな可能性を示す。 また,そのような潜在空間が各成分内の混合まで識別できるかどうかについても検討した。

関連論文リスト

• Comparing the information content of probabilistic representation spaces [3.7277730514654555]
  確率的表現空間は、データセットに関する情報を伝達し、トレーニング損失やネットワークアーキテクチャなどの要因の影響を理解するために、そのような空間の情報内容を比較する。 ここでは、ポイントベースの比較尺度に基づいて構築する代わりに、ハードクラスタリングに関する文献から古典的な手法に基づいて構築する。 本稿では,データセットのサンプルを用いて表現空間をフィンガープリントする手法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T17:33:07Z)
• Hodge-Aware Contrastive Learning [101.56637264703058]
  単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。 我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2023-09-14T00:40:07Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Decorr: Environment Partitioning for Invariant Learning and OOD Generalization [10.799855921851332]
  不変学習手法は、複数の環境にまたがる一貫した予測器を特定することを目的としている。 データに固有の環境がなければ、実践者はそれらを手動で定義しなければならない。 この環境分割は不変学習の有効性に影響を及ぼすが、いまだ過小評価されていない。 本稿では,低相関データサブセットを分離することで,データセットを複数の環境に分割することを提案する。
  論文  参考訳（メタデータ） (2022-11-18T06:49:35Z)
• Correlation between Alignment-Uniformity and Performance of Dense Contrastive Representations [11.266613717084788]
  我々は,標準CNNと簡単な特徴マッチング方式を用いて,高密度コントラスト学習の理論的アイデアを分析する。 正の高密度な特徴のペアを構築する際の基本原理を発見し、その妥当性を実証的に証明した。 また、アライメント・アンド・ユニフォーム性と下流性能の相関関係を要約した新しいスカラー計量を導入する。
  論文  参考訳（メタデータ） (2022-10-17T08:08:37Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• Learning Conditional Invariance through Cycle Consistency [60.85059977904014]
  本稿では,データセットの変動の有意義な要因と独立な要因を識別する新しい手法を提案する。 提案手法は,対象プロパティと残りの入力情報に対する2つの別個の潜在部分空間を含む。 我々は,より意味のある因子を同定し,よりスペーサーや解釈可能なモデルに導く合成および分子データについて実証する。
  論文  参考訳（メタデータ） (2021-11-25T17:33:12Z)
• Self-Supervised Learning with Data Augmentations Provably Isolates Content from Style [32.20957709045773]
  我々は拡張過程を潜在変数モデルとして定式化する。 本研究では,2対の観測結果に基づいて,潜在表現の識別可能性について検討した。 Causal3DIdentは、因果関係が豊富な高次元、視覚的に複雑な画像のデータセットである。
  論文  参考訳（メタデータ） (2021-06-08T18:18:09Z)
• Where and What? Examining Interpretable Disentangled Representations [96.32813624341833]
  解釈可能なバリエーションの獲得は、長い間、絡み合い学習の目標の1つだった。 独立性の仮定と異なり、解釈性は教師なしの設定での絡み合いを促進するために使われることは滅多にない。 本論文では, 解釈対象と解釈対象の2つの質問について検討し, 離散表現の解釈可能性を検討する。
  論文  参考訳（メタデータ） (2021-04-07T11:22:02Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。