論文の概要: Introducing dynamical constraints into representation learning

• arxiv url: http://arxiv.org/abs/2209.00905v1
• Date: Fri, 2 Sep 2022 09:27:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-05 13:05:47.904844
• Title: Introducing dynamical constraints into representation learning
• Title（参考訳）: 表現学習に動的制約を導入する
• Authors: Dedi Wang, Yihang Wang, Luke Evans and Pratyush Tiwary
• Abstract要約: 本稿では,動的制約付き表現学習フレームワークを提案する。 予め定義された確率を使う代わりに、潜在表現を特定のダイナミクスに従うように制限する。 提案アルゴリズムは,非相関的,等尺的,有意な潜在表現を一意に識別できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While representation learning has been central to the rise of machine learning and artificial intelligence, a key problem remains in making the learnt representations meaningful. For this the typical approach is to regularize the learned representation through prior probability distributions. However such priors are usually unavailable or ad hoc. To deal with this, we propose a dynamics-constrained representation learning framework. Instead of using predefined probabilities, we restrict the latent representation to follow specific dynamics, which is a more natural constraint for representation learning in dynamical systems. Our belief stems from a fundamental observation in physics that though different systems can have different marginalized probability distributions, they typically obey the same dynamics, such as Newton's and Schrodinger's equations. We validate our framework for different systems including a real-world fluorescent DNA movie dataset. We show that our algorithm can uniquely identify an uncorrelated, isometric and meaningful latent representation.
• Abstract（参考訳）: 表現学習は機械学習と人工知能の台頭の中心であるが、学習した表現を意味のあるものにすることが重要な問題である。 このため、典型的なアプローチは、事前確率分布を通じて学習表現を正則化することである。 しかし、そのような事前処理は通常使用できないかアドホックである。 これに対応するために,動的制約付き表現学習フレームワークを提案する。 事前定義された確率を用いる代わりに、動的システムにおける表現学習のより自然な制約である特定のダイナミクスに従うために潜在表現を制限します。 我々の信念は、異なる系は異なる限界化された確率分布を持つことができるが、ニュートン方程式やシュロディンガー方程式のような同じ力学に従うという物理学の基本的な観察に由来する。 我々は,現実の蛍光DNA映画データセットを含む様々なシステムに対する枠組みを検証する。 本アルゴリズムは,非相関,等尺,有意な潜在表現を一意に識別できることを示す。

関連論文リスト

• Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
  強化学習のための自己予測学習の学習ダイナミクスについて検討する。 本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-06T20:43:37Z)
• Action Matching: A Variational Method for Learning Stochastic Dynamics from Samples [7.928094304325116]
  Action Matchingは、各タイミングでサンプルをモデル化することなく、サンプルを時間内に移動させるメカニズムを学習する。 本稿では, 生成モデル, 超解像, カラー化, インパインティングなどのコンピュータビジョンタスクにおいて, アクションマッチングがどのように使用できるかを紹介する。
  論文  参考訳（メタデータ） (2022-10-13T01:49:48Z)
• Stochastic Coherence Over Attention Trajectory For Continuous Learning In Video Streams [64.82800502603138]
  本稿では,映像ストリーム中のピクセルワイズ表現を段階的かつ自律的に開発するための,ニューラルネットワークに基づく新しいアプローチを提案する。 提案手法は, 参加者の入場地を観察することで, エージェントが学習できる, 人間の様の注意機構に基づく。 実験では,3次元仮想環境を利用して,映像ストリームを観察することで,エージェントが物体の識別を学べることを示す。
  論文  参考訳（メタデータ） (2022-04-26T09:52:31Z)
• Masked prediction tasks: a parameter identifiability view [49.533046139235466]
  マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。 いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
  論文  参考訳（メタデータ） (2022-02-18T17:09:32Z)
• Symplectic Momentum Neural Networks -- Using Discrete Variational Mechanics as a prior in Deep Learning [7.090165638014331]
  本稿では,Sypic Momentum Networks (SyMo) を,非分離機械系のメカニクスの離散的な定式化のモデルとして紹介する。 このような組み合わせによって、これらのモデルが限られたデータから得られるだけでなく、シンプレクティックなフォームを保存し、より長期的な振る舞いを示す能力も提供できることが示される。
  論文  参考訳（メタデータ） (2022-01-20T16:33:19Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Supervised DKRC with Images for Offline System Identification [77.34726150561087]
  現代の力学系はますます非線形で複雑なものになりつつある。 予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。 本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
  論文  参考訳（メタデータ） (2021-09-06T04:39:06Z)
• Reasoning-Modulated Representations [85.08205744191078]
  タスクが純粋に不透明でないような共通的な環境について研究する。 我々のアプローチは、新しいデータ効率表現学習の道を開く。
  論文  参考訳（メタデータ） (2021-07-19T13:57:13Z)
• Learning Dynamical Systems with Side Information [2.28438857884398]
  いくつかの軌跡のノイズ観測から力学系を学習するための枠組みを提案する。 多くのアプリケーションで自然に発生する6種類のサイド情報を識別する。 本研究では,物理・細胞生物学における基礎モデルの力学を学習するための側面情報の付加価値と,疫学におけるモデルの力学の学習と制御について述べる。
  論文  参考訳（メタデータ） (2020-08-23T23:30:48Z)
• Watch and learn -- a generalized approach for transferrable learning in deep neural networks via physical principles [0.0]
  本研究では,物理状態の異なる統計物理学における問題に対して,完全に伝達可能な学習を実現するための教師なし学習手法を実証する。 逐次ニューラルネットワークに基づくシーケンスモデルを広範囲のディープニューラルネットワークに結合することにより、古典的な統計力学系の平衡確率分布と粒子間相互作用モデルを学ぶことができる。
  論文  参考訳（メタデータ） (2020-03-03T18:37:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。