論文の概要: DUET: 2D Structured and Approximately Equivariant Representations

• arxiv url: http://arxiv.org/abs/2306.16058v1
• Date: Wed, 28 Jun 2023 09:40:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 14:44:01.081195
• Title: DUET: 2D Structured and Approximately Equivariant Representations
• Title（参考訳）: DUET: 2次元構造とほぼ同変表現
• Authors: Xavier Suau, Federico Danieli, T. Anderson Keller, Arno Blaas, Chen Huang, Jason Ramapuram, Dan Busbridge, Luca Zappella
• Abstract要約: MSSL(Multiview Self-Supervised Learning)は、入力変換の集合に関する学習不変性に基づいている。 本稿では,行列構造に整理された2次元表現である2DstrUcturedおよびEquivarianT表現(Coined DUET)を提案し,入力データに作用する変換について同変する。
• 参考スコア（独自算出の注目度）: 12.062855776560461
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multiview Self-Supervised Learning (MSSL) is based on learning invariances with respect to a set of input transformations. However, invariance partially or totally removes transformation-related information from the representations, which might harm performance for specific downstream tasks that require such information. We propose 2D strUctured and EquivarianT representations (coined DUET), which are 2d representations organized in a matrix structure, and equivariant with respect to transformations acting on the input data. DUET representations maintain information about an input transformation, while remaining semantically expressive. Compared to SimCLR (Chen et al., 2020) (unstructured and invariant) and ESSL (Dangovski et al., 2022) (unstructured and equivariant), the structured and equivariant nature of DUET representations enables controlled generation with lower reconstruction error, while controllability is not possible with SimCLR or ESSL. DUET also achieves higher accuracy for several discriminative tasks, and improves transfer learning.
• Abstract（参考訳）: MSSL(Multiview Self-Supervised Learning)は、入力変換の集合に関する学習不変性に基づいている。 しかし、不変性は変換に関連する情報を表現から部分的にあるいは完全に取り除き、そのような情報を必要とする特定の下流タスクのパフォーマンスを損なう可能性がある。 本稿では,行列構造に整理された2次元表現である2DstrUcturedおよびEquivarianT表現(Coined DUET)を提案し,入力データに作用する変換について同変する。 DUET表現は、意味的に表現されたまま、入力変換に関する情報を保持する。 SimCLR (Chen et al., 2020) や ESSL (Dangovski et al., 2022) と比較すると、DUET 表現の構造的および同変性は、再構成エラーの少ない制御生成を可能にし、SimCLR や ESSL では制御不可能である。 DUETは複数の識別タスクに対して高い精度を実現し、転送学習を改善する。

関連論文リスト

• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
  本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。 合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。 理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
  論文  参考訳（メタデータ） (2023-10-16T17:40:49Z)
• Interpretable Sentence Representation with Variational Autoencoders and Attention [0.685316573653194]
  自然言語処理(NLP)における近年の表現学習技術の解釈可能性を高める手法を開発した。 変動オートエンコーダ (VAEs) は, 遅延生成因子の観測に有効である。 帰納的バイアスを持つ2つのモデルを構築し、潜在表現の情報を注釈付きデータなしで理解可能な概念に分離する。
  論文  参考訳（メタデータ） (2023-05-04T13:16:15Z)
• Self-supervised learning of Split Invariant Equivariant representations [0.0]
  55以上の3Dモデルと250万以上の画像からなる3DIEBenchを導入し、オブジェクトに適用される変換を完全に制御する。 我々はハイパーネットワークに基づく予測アーキテクチャを導入し、不変表現を非分散に分解することなく学習する。 SIE(Split Invariant-Equivariant)を導入し、よりリッチな表現を学ぶために、ハイパーネットワークベースの予測器と表現を2つの部分に分割する。
  論文  参考訳（メタデータ） (2023-02-14T07:53:18Z)
• Learning Symmetric Embeddings for Equivariant World Models [9.781637768189158]
  入力空間(例えば画像)を符号化する学習対称埋め込みネットワーク(SEN)を提案する。 このネットワークは、同変のタスクネットワークでエンドツーエンドにトレーニングして、明示的に対称な表現を学ぶことができる。 実験により、SENは複素対称性表現を持つデータへの同変ネットワークの適用を促進することを示した。
  論文  参考訳（メタデータ） (2022-04-24T22:31:52Z)
• A Generic Self-Supervised Framework of Learning Invariant Discriminative Features [9.614694312155798]
  本稿では,制約付き自己ラベル割り当てプロセスに基づく汎用SSLフレームワークを提案する。 提案手法は,AE構造に基づく最先端の表現学習手法よりも優れている。
  論文  参考訳（メタデータ） (2022-02-14T18:09:43Z)
• Equivariant Contrastive Learning [20.369942206674576]
  最先端の自己教師型学習(SSL)では、事前学習は意味的に良い表現を生成する。 私たちは人気のあるSSLメソッドを、Equivariant Self-Supervised Learning (E-SSL)という名前のより一般的なフレームワークに拡張します。 いくつかのコンピュータビジョンベンチマークにおいて,E-SSLの有効性を実証的に示す。
  論文  参考訳（メタデータ） (2021-10-28T17:21:33Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)
• Commutative Lie Group VAE for Disentanglement Learning [96.32813624341833]
  本研究では,データに表される因子の変動を同変的に反映する基盤構造を見いだすこととして,非絡み合い学習を考察する。 グループベースの非絡み合い学習を実現するために、Communative Lie Group VAEというシンプルなモデルが導入された。 実験により,本モデルでは,教師なしの非絡み合い表現を効果的に学習し,余分な制約を伴わずに最先端のパフォーマンスを達成できることが示されている。
  論文  参考訳（メタデータ） (2021-06-07T07:03:14Z)
• On Compositions of Transformations in Contrastive Self-Supervised Learning [66.15514035861048]
  本稿では,コントラスト学習をより広範な変換集合に一般化する。 特定の変換に不変であり、他の変換に特有であることは、効果的なビデオ表現の学習に不可欠である。
  論文  参考訳（メタデータ） (2020-03-09T17:56:49Z)
• Plannable Approximations to MDP Homomorphisms: Equivariance under Actions [72.30921397899684]
  学習した表現に作用同値を強制する対照的な損失関数を導入する。 損失が 0 であるとき、決定論的マルコフ決定過程の準同型が存在することを証明している。 本研究では, 決定論的MDPに対して, 抽象MDPの最適方針を元のMDPに引き上げることに成功した。
  論文  参考訳（メタデータ） (2020-02-27T08:29:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。