論文の概要: In-Context Symmetries: Self-Supervised Learning through Contextual World Models

• arxiv url: http://arxiv.org/abs/2405.18193v1
• Date: Tue, 28 May 2024 14:03:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 18:19:39.682496
• Title: In-Context Symmetries: Self-Supervised Learning through Contextual World Models
• Title（参考訳）: In-Context Symmetries: 文脈世界モデルによる自己教師付き学習
• Authors: Sharut Gupta, Chenyu Wang, Yifei Wang, Tommi Jaakkola, Stefanie Jegelka,
• Abstract要約: 我々は、文脈に注意を払って、異なる変換に不変あるいは同変に適応できる一般的な表現を学ぶことを提案する。 提案するアルゴリズムであるContextual Self-Supervised Learning (ContextSSL)は,すべての変換に等しくなることを学習する。
• 参考スコア（独自算出の注目度）: 41.61360016455319
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: At the core of self-supervised learning for vision is the idea of learning invariant or equivariant representations with respect to a set of data transformations. This approach, however, introduces strong inductive biases, which can render the representations fragile in downstream tasks that do not conform to these symmetries. In this work, drawing insights from world models, we propose to instead learn a general representation that can adapt to be invariant or equivariant to different transformations by paying attention to context -- a memory module that tracks task-specific states, actions, and future states. Here, the action is the transformation, while the current and future states respectively represent the input's representation before and after the transformation. Our proposed algorithm, Contextual Self-Supervised Learning (ContextSSL), learns equivariance to all transformations (as opposed to invariance). In this way, the model can learn to encode all relevant features as general representations while having the versatility to tail down to task-wise symmetries when given a few examples as the context. Empirically, we demonstrate significant performance gains over existing methods on equivariance-related tasks, supported by both qualitative and quantitative evaluations.
• Abstract（参考訳）: ビジョンのための自己教師型学習の中核は、データ変換の集合に関して不変あるいは同変表現を学習するという考え方である。 しかし、このアプローチは強い帰納バイアスを導入し、これらの対称性に従わない下流のタスクで表現が脆弱になる。 本研究では,タスク固有の状態,行動,将来の状態を追跡するメモリモジュールであるコンテキストに注意を払って,異なる変換に不変あるいは同変に適応可能な汎用表現を学習することを提案する。 ここでのアクションは変換であり、現在の状態と将来の状態はそれぞれ変換の前と後の入力の表現を表す。 提案するアルゴリズムであるContextual Self-Supervised Learning (ContextSSL) は、(不変性とは対照的に)すべての変換に等しくなることを学習する。 このようにして、モデルは関連するすべての機能を一般的な表現としてエンコードすることを学ぶことができ、コンテキストとしていくつかの例を与えられたとき、タスクワイズ対称性に合わせるための汎用性を持つ。 実験により, 定性評価と定量的評価の両面から, 既存手法に比べて有意な性能向上を示した。

関連論文リスト

• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Current Symmetry Group Equivariant Convolution Frameworks for Representation Learning [5.802794302956837]
  ユークリッドの深層学習はしばしば、表現空間が不規則で複雑な位相で湾曲した実世界の信号に対処するのに不十分である。 我々は、対称性群同変深層学習モデルの重要性と、グラフや3次元形状、非ユークリッド空間における畳み込みのような操作の実現に焦点を当てる。
  論文  参考訳（メタデータ） (2024-09-11T15:07:18Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Domain Generalization In Robust Invariant Representation [10.132611239890345]
  本稿では,分布外データに基づく不変表現の一般化について検討する。 不変モデルは分布シフトに頑健な非構造潜在表現を学習することを示す。
  論文  参考訳（メタデータ） (2023-04-07T00:58:30Z)
• Learning Symmetric Embeddings for Equivariant World Models [9.781637768189158]
  入力空間(例えば画像)を符号化する学習対称埋め込みネットワーク(SEN)を提案する。 このネットワークは、同変のタスクネットワークでエンドツーエンドにトレーニングして、明示的に対称な表現を学ぶことができる。 実験により、SENは複素対称性表現を持つデータへの同変ネットワークの適用を促進することを示した。
  論文  参考訳（メタデータ） (2022-04-24T22:31:52Z)
• Topographic VAEs learn Equivariant Capsules [84.33745072274942]
  本稿では, 地理的に整理された潜伏変数を用いた深部生成モデルを効率的に学習するための新しい手法であるTopographic VAEを紹介する。 このようなモデルでは,MNIST上での桁数クラス,幅,スタイルなどの健全な特徴に応じて,その活性化を組織化することが実際に学べることが示される。 我々は、既存の群同変ニューラルネットワークの能力を拡張して、複素変換に近似した同値性を示す。
  論文  参考訳（メタデータ） (2021-09-03T09:25:57Z)
• Improving Transformation Invariance in Contrastive Representation Learning [31.223892428863238]
  本稿では、新しい正規化器を用いて変換下で表現がどのように変化するかを制御するコントラスト学習のための学習目標を提案する。 第二に、元の入力の複数の変換からのエンコーディングを結合した機能平均化アプローチを導入することにより、テスト時間表現の生成方法を変更することを提案する。 第三に、複数の下流タスクを持つ微分可能生成プロセスの文脈において、私たちのアイデアを探求するために、新しいSpirographデータセットを導入します。
  論文  参考訳（メタデータ） (2020-10-19T13:49:29Z)
• Meta-Learning Symmetries by Reparameterization [63.85144439337671]
  データから対応するパラメータ共有パターンを学習し、等価性をネットワークに学習し、符号化する手法を提案する。 本実験は,画像処理タスクで使用される共通変換に等価性をエンコードして自動的に学習できることを示唆する。
  論文  参考訳（メタデータ） (2020-07-06T17:59:54Z)
• On Compositions of Transformations in Contrastive Self-Supervised Learning [66.15514035861048]
  本稿では,コントラスト学習をより広範な変換集合に一般化する。 特定の変換に不変であり、他の変換に特有であることは、効果的なビデオ表現の学習に不可欠である。
  論文  参考訳（メタデータ） (2020-03-09T17:56:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。