論文の概要: From latent dynamics to meaningful representations

• arxiv url: http://arxiv.org/abs/2209.00905v4
• Date: Tue, 9 Apr 2024 18:34:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-11 20:04:52.438582
• Title: From latent dynamics to meaningful representations
• Title（参考訳）: 潜在力学から意味表現へ
• Authors: Dedi Wang, Yihang Wang, Luke Evans, Pratyush Tiwary,
• Abstract要約: 純粋に動的に制約された表現学習フレームワークを提案する。 これは力学系における表現学習のより自然な制約であることを示す。 我々は,現実の蛍光DNAフィルムデータセットを含む様々なシステムに対して,我々の枠組みを検証する。
• 参考スコア（独自算出の注目度）: 0.5728954513076778
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While representation learning has been central to the rise of machine learning and artificial intelligence, a key problem remains in making the learned representations meaningful. For this, the typical approach is to regularize the learned representation through prior probability distributions. However, such priors are usually unavailable or are ad hoc. To deal with this, recent efforts have shifted towards leveraging the insights from physical principles to guide the learning process. In this spirit, we propose a purely dynamics-constrained representation learning framework. Instead of relying on predefined probabilities, we restrict the latent representation to follow overdamped Langevin dynamics with a learnable transition density - a prior driven by statistical mechanics. We show this is a more natural constraint for representation learning in stochastic dynamical systems, with the crucial ability to uniquely identify the ground truth representation. We validate our framework for different systems including a real-world fluorescent DNA movie dataset. We show that our algorithm can uniquely identify orthogonal, isometric and meaningful latent representations.
• Abstract（参考訳）: 表現学習は、機械学習と人工知能の台頭の中心であるが、学習された表現を意味のあるものにする上で重要な問題は依然として残っている。 これに対し、典型的なアプローチは、事前確率分布を通して学習された表現を規則化することである。 しかし、そのような先行は一般に利用できないかアドホックである。 この問題に対処するため、近年の取り組みは、学習プロセスの指針となる物理的な原則からの洞察の活用に傾いている。 本稿では,純粋に動的に制約された表現学習フレームワークを提案する。 事前定義された確率に頼る代わりに、遅延表現は学習可能な遷移密度を持つ過度に損傷されたランゲヴィン力学に従うように制限する。 これは確率力学系における表現学習のより自然な制約であり、基底真理表現を一意に識別する重要な能力を持つことを示す。 我々は,現実の蛍光DNAフィルムデータセットを含む様々なシステムに対して,我々の枠組みを検証する。 本アルゴリズムは直交的,等尺的,有意義な潜在表現を一意に識別できることを示す。

関連論文リスト

• Identifiable Representation and Model Learning for Latent Dynamic Systems [0.0]
  本稿では,潜在力学系における表現とモデル学習の問題について検討する。 線形あるいはアフィン非線形潜在力学系に対して、スケーリングまでの表現を同定し、いくつかの単純な変換までモデルを決定できることを証明した。
  論文  参考訳（メタデータ） (2024-10-23T13:55:42Z)
• Stochastic Vision Transformers with Wasserstein Distance-Aware Attention [8.407731308079025]
  自己教師付き学習は、限られたラベル付きデータから知識を得るための最も有望なアプローチの1つである。 我々は、不確実性と距離認識を自己教師付き学習パイプラインに統合する新しいビジョントランスフォーマーを導入する。 提案手法は,多種多様なデータセットを対象とした多種多様な実験において,自己教師付きベースラインを超える精度とキャリブレーションを実現する。
  論文  参考訳（メタデータ） (2023-11-30T15:53:37Z)
• Learning invariant representations of time-homogeneous stochastic dynamical systems [27.127773672738535]
  我々は,そのダイナミクスを忠実に捉えた状態の表現を学習する問題を研究する。 これは、転送演算子やシステムのジェネレータを学ぶのに役立ちます。 ニューラルネットワークに対する最適化問題として,優れた表現の探索が可能であることを示す。
  論文  参考訳（メタデータ） (2023-07-19T11:32:24Z)
• Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation [66.86987509942607]
  このようなパラダイムを模倣学習でどのように行うべきかを評価する。 本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。 逆動力学モデリングはこの設定に適していると主張する。
  論文  参考訳（メタデータ） (2023-05-26T14:40:46Z)
• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• DyTed: Disentangled Representation Learning for Discrete-time Dynamic Graph [59.583555454424]
  離散時間動的グラフ、すなわちDyTedのための新しいディペンタングル表現学習フレームワークを提案する。 本研究では,時間不変の表現と時間変動の表現を効果的に識別する構造的コントラスト学習とともに,時間的クリップのコントラスト学習タスクを特別に設計する。
  論文  参考訳（メタデータ） (2022-10-19T14:34:12Z)
• Robust and Controllable Object-Centric Learning through Energy-based Models [95.68748828339059]
  我々の研究は概念的にシンプルで一般的なアプローチであり、エネルギーベースモデルを通してオブジェクト中心の表現を学習する。 既存のアーキテクチャに容易に統合でき、高品質なオブジェクト中心表現を効果的に抽出できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:11:15Z)
• Stochastic Coherence Over Attention Trajectory For Continuous Learning In Video Streams [64.82800502603138]
  本稿では,映像ストリーム中のピクセルワイズ表現を段階的かつ自律的に開発するための,ニューラルネットワークに基づく新しいアプローチを提案する。 提案手法は, 参加者の入場地を観察することで, エージェントが学習できる, 人間の様の注意機構に基づく。 実験では,3次元仮想環境を利用して,映像ストリームを観察することで,エージェントが物体の識別を学べることを示す。
  論文  参考訳（メタデータ） (2022-04-26T09:52:31Z)
• Masked prediction tasks: a parameter identifiability view [49.533046139235466]
  マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。 いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
  論文  参考訳（メタデータ） (2022-02-18T17:09:32Z)
• Symplectic Momentum Neural Networks -- Using Discrete Variational Mechanics as a prior in Deep Learning [7.090165638014331]
  本稿では,Sypic Momentum Networks (SyMo) を,非分離機械系のメカニクスの離散的な定式化のモデルとして紹介する。 このような組み合わせによって、これらのモデルが限られたデータから得られるだけでなく、シンプレクティックなフォームを保存し、より長期的な振る舞いを示す能力も提供できることが示される。
  論文  参考訳（メタデータ） (2022-01-20T16:33:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。