Fugu-MT 論文翻訳(概要): Homomorphic Self-Supervised Learning

論文の概要: Homomorphic Self-Supervised Learning

arxiv url: http://arxiv.org/abs/2211.08282v1
Date: Tue, 15 Nov 2022 16:32:36 GMT
ステータス: 処理完了
システム内更新日: 2022-11-16 13:42:16.394315
Title: Homomorphic Self-Supervised Learning
Title（参考訳）: 同型自己監督型学習
Authors: T. Anderson Keller, Xavier Suau, Luca Zappella
Abstract要約: 私たちは、同型自己監督学習と呼ばれる一般的なフレームワークを紹介します。本稿では,拡張同型特徴抽出器を用いた入力拡張の利用を仮定する方法について述べる。
参考スコア（独自算出の注目度）: 1.0742675209112622
License: http://creativecommons.org/licenses/by/4.0/
Abstract: In this work, we observe that many existing self-supervised learning algorithms can be both unified and generalized when seen through the lens of equivariant representations. Specifically, we introduce a general framework we call Homomorphic Self-Supervised Learning, and theoretically show how it may subsume the use of input-augmentations provided an augmentation-homomorphic feature extractor. We validate this theory experimentally for simple augmentations, demonstrate how the framework fails when representational structure is removed, and further empirically explore how the parameters of this framework relate to those of traditional augmentation-based self-supervised learning. We conclude with a discussion of the potential benefits afforded by this new perspective on self-supervised learning.
Abstract（参考訳）: 本研究では,同変表現のレンズを通して,既存の自己教師付き学習アルゴリズムの多くを統一・一般化できることを示す。具体的には,同型自己監督学習(homomorphic Self-Supervised Learning)と呼ぶ一般的なフレームワークを導入し,拡張同型特徴抽出器として入力強化の利用を仮定する方法を理論的に示す。本理論は, 単純な拡張のために実験的に検証し, 表現構造が取り除かれた場合, フレームワークがいかに失敗するかを実証し, 従来の拡張型自己教師型学習とどのように関係するかを実験的に検討する。結論として,この新しい視点による自己監督学習のメリットについて考察した。

関連論文リスト

Neural Interpretable Reasoning [12.106771300842945]
ディープラーニングにおける解釈可能性を実現するための新しいモデリングフレームワークを定式化する。この複雑性はマルコフ的性質として解釈可能性を扱うことにより緩和できることを示す。我々はニューラルジェネレーションと解釈可能な実行という新しいモデリングパラダイムを提案する。
論文参考訳（メタデータ） (2025-02-17T10:33:24Z)
Rethinking Generalizability and Discriminability of Self-Supervised Learning from Evolutionary Game Theory Perspective [43.510860711231544]
最先端の自己管理手法は、一般化可能性や差別性を高める傾向にあるが、同時にはならない。本稿では,強化学習の進歩を生かし,EGTの一般指導を共同で活用する自己指導型学習手法を提案する。
論文参考訳（メタデータ） (2024-11-30T17:20:23Z)
Toward Understanding In-context vs. In-weight Learning [50.24035812301655]
本研究は,文脈内学習の出現と消失を引き起こす簡易な分布特性を同定する。そして、この研究を完全な大規模言語モデルに拡張し、自然言語プロンプトの様々なコレクションの微調整が、文脈内および重み付き学習の振る舞いをいかに引き出すかを示す。
論文参考訳（メタデータ） (2024-10-30T14:09:00Z)
A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。自己教師型学習のための生成潜在変数モデルを提案する。対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文参考訳（メタデータ） (2024-02-02T13:31:17Z)
Flow Factorized Representation Learning [109.51947536586677]
本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
論文参考訳（メタデータ） (2023-09-22T20:15:37Z)
On the Joint Interaction of Models, Data, and Features [82.60073661644435]
本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
論文参考訳（メタデータ） (2023-06-07T21:35:26Z)
Homomorphism Autoencoder -- Learning Group Structured Representations from Observed Transitions [51.71245032890532]
本研究では,世界に作用するエージェントが,それを修飾する動作と整合した感覚情報の内部表現を学習できるようにする手法を提案する。既存の作業とは対照的に、我々のアプローチはグループの事前の知識を必要とせず、エージェントが実行可能なアクションのセットを制限しない。
論文参考訳（メタデータ） (2022-07-25T11:22:48Z)
Properties from Mechanisms: An Equivariance Perspective on Identifiable Representation Learning [79.4957965474334]
教師なし表現学習の主な目標は、データ生成プロセスが潜在プロパティを回復するために「反転」することである。この論文は「進化を支配するメカニズムの知識を活用して潜伏特性を識別するのか?」と問う。我々は、可能なメカニズムの集合に関する知識が異なるため、不特定性の原因の完全な特徴づけを提供する。
論文参考訳（メタデータ） (2021-10-29T14:04:08Z)
Leveraging Hidden Structure in Self-Supervised Learning [2.385916960125935]
本稿では,自己指導と構造学習を統合した相互情報目的に基づく原則的枠組みを提案する。 CIFAR-10の予備実験により、下流分類タスクにおいて、提案フレームワークがより高度な一般化性能を達成することを示す。
論文参考訳（メタデータ） (2021-06-30T13:35:36Z)
A Self-Supervised Framework for Function Learning and Extrapolation [1.9374999427973014]
本稿では,学習者が一般化を支援する表現を取得するためのフレームワークを提案する。得られた表現は、教師なし時系列学習において、他のモデルよりも優れていることを示す。
論文参考訳（メタデータ） (2021-06-14T12:41:03Z)
Functional Regularization for Representation Learning: A Unified Theoretical Perspective [27.93916012334704]
教師なしおよび自己教師なしの学習アプローチは、下流予測タスクの表現を学習するための重要なツールとなっている。本稿では、ラベルなしデータを用いて学習可能な関数を通して表現に正規化を付与するものとして、このようなアプローチがいくつか考えられる統一的な視点を示す。本稿では,これらの手法のサンプル複雑性を分析するための識別的理論的枠組みを提案し,学習可能な正規化関数を実現するために(Balcan and Blum, 2010)の枠組みを一般化する。
論文参考訳（メタデータ） (2020-08-06T04:06:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。