Fugu-MT 論文翻訳(概要): Self-supervised contrastive learning performs non-linear system identification

論文の概要: Self-supervised contrastive learning performs non-linear system identification

arxiv url: http://arxiv.org/abs/2410.14673v1
Date: Fri, 18 Oct 2024 17:59:25 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-21 14:26:45.391361
Title: Self-supervised contrastive learning performs non-linear system identification
Title（参考訳）: 自己教師付きコントラスト学習は非線形システム同定を行う
Authors: Rodrigo González Laiz, Tobias Schmidt, Steffen Schneider,
Abstract要約: 自己教師型学習は潜在空間においてシステム識別を行うことができることを示す。非線形観測モデルの下で線形・切替線形・非線形力学を明らかにするためのフレームワークであるDynCLを提案する。
参考スコア（独自算出の注目度）: 2.393499494583001
License:
Abstract: Self-supervised learning (SSL) approaches have brought tremendous success across many tasks and domains. It has been argued that these successes can be attributed to a link between SSL and identifiable representation learning: Temporal structure and auxiliary variables ensure that latent representations are related to the true underlying generative factors of the data. Here, we deepen this connection and show that SSL can perform system identification in latent space. We propose DynCL, a framework to uncover linear, switching linear and non-linear dynamics under a non-linear observation model, give theoretical guarantees and validate them empirically.
Abstract（参考訳）: 自己教師付き学習(SSL)アプローチは多くのタスクやドメインで大きな成功を収めています。これらの成功は、SSLと識別可能な表現学習のリンクに起因している、と論じられている: 時間構造と補助変数は、潜在表現がデータの真の根底にある生成因子と関連していることを保証します。ここでは、この接続をさらに深め、SSLが潜在空間でシステム識別を行うことができることを示す。非線型観測モデルの下で線形・切替線形・非線形のダイナミクスを明らかにするためのフレームワークであるDynCLを提案し、理論的保証を与え、実証的に検証する。

関連論文リスト

A Survey of the Self Supervised Learning Mechanisms for Vision Transformers [5.152455218955949]
視覚タスクにおける自己教師あり学習(SSL)の適用は注目されている。 SSL手法を体系的に分類する包括的分類法を開発した。 SSLの背後にあるモチベーションについて議論し、人気のある事前トレーニングタスクをレビューし、この分野の課題と進歩を強調します。
論文参考訳（メタデータ） (2024-08-30T07:38:28Z)
Continual Learning of Nonlinear Independent Representations [17.65617189829692]
分布数の増加に伴い,モデル識別可能性がサブスペースレベルからコンポーネントワイドレベルに向上することを示す。本手法は,複数のオフライン分布に対して共同で学習した非線形ICA法に匹敵する性能を実現する。
論文参考訳（メタデータ） (2024-08-11T14:33:37Z)
A Probabilistic Model Behind Self-Supervised Learning [53.64989127914936]
自己教師付き学習(SSL)では、アノテートラベルなしで補助的なタスクを通じて表現が学習される。自己教師型学習のための生成潜在変数モデルを提案する。対照的な方法を含む識別的SSLのいくつかのファミリーは、表現に匹敵する分布を誘導することを示した。
論文参考訳（メタデータ） (2024-02-02T13:31:17Z)
Self-Supervision for Tackling Unsupervised Anomaly Detection: Pitfalls and Opportunities [50.231837687221685]
自己教師付き学習(SSL)は、機械学習とその多くの現実世界のアプリケーションに変化をもたらした。非教師なし異常検出(AD)は、自己生成性擬似異常によりSSLにも乗じている。
論文参考訳（メタデータ） (2023-08-28T07:55:01Z)
Reverse Engineering Self-Supervised Learning [17.720366509919167]
自己教師型学習(SSL)は機械学習の強力なツールである。本稿ではSSL学習表現の詳細な実験的検討を行う。
論文参考訳（メタデータ） (2023-05-24T23:15:28Z)
Spatiotemporal Self-supervised Learning for Point Clouds in the Wild [65.56679416475943]
空間領域と時間領域の両方で正のペアを利用するSSL戦略を導入する。 2つの大規模LiDARデータセット上で,自己教師型トレーニングによって実施した広範囲な実験を通じて,このアプローチのメリットを実証する。
論文参考訳（メタデータ） (2023-03-28T18:06:22Z)
Self-Supervised Visual Representation Learning via Residual Momentum [15.515169550346517]
自己教師付き学習(SSL)アプローチは、ラベルのないデータから表現を学ぶ上で有望な能力を示している。モーメントベースのSSLフレームワークは、オンラインエンコーダ(学生)とモーメントエンコーダ(教師)の間の大きなギャップに悩まされるこの論文は、この見えないギャップを既存のSSLフレームワークで見過ごされているボトルネックとして調査し、特定した最初のものである。本研究では,このギャップを減らし,教師に近い表現をできる限り学習するよう学生に促す「残留運動量」を提案する。
論文参考訳（メタデータ） (2022-11-17T19:54:02Z)
The Geometry of Self-supervised Learning Models and its Impact on Transfer Learning [62.601681746034956]
自己教師型学習(SSL)はコンピュータビジョンにおいて望ましいパラダイムとして登場した。本稿では,各特徴空間内の局所的近傍を用いて異なるSSLモデルを分析するためのデータ駆動幾何学的手法を提案する。
論文参考訳（メタデータ） (2022-09-18T18:15:38Z)
Understanding the Role of Nonlinearity in Training Dynamics of Contrastive Learning [37.27098255569438]
本研究では,1層および2層非線形ネットワーク上でのコントラスト学習(CL)の学習力学における非線形性の役割について検討する。非線形性の存在は1層設定においても多くの局所最適性をもたらすことを示す。グローバルレベルパターンの観点から識別可能な局所パターンを優先的に学習する。
論文参考訳（メタデータ） (2022-06-02T23:52:35Z)
Self-Supervised Models are Continual Learners [79.70541692930108]
本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
論文参考訳（メタデータ） (2021-12-08T10:39:13Z)
On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
論文参考訳（メタデータ） (2021-01-18T10:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。