論文の概要: Introducing dynamical constraints into representation learning
- arxiv url: http://arxiv.org/abs/2209.00905v1
- Date: Fri, 2 Sep 2022 09:27:37 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-05 13:05:47.904844
- Title: Introducing dynamical constraints into representation learning
- Title(参考訳): 表現学習に動的制約を導入する
- Authors: Dedi Wang, Yihang Wang, Luke Evans and Pratyush Tiwary
- Abstract要約: 本稿では,動的制約付き表現学習フレームワークを提案する。
予め定義された確率を使う代わりに、潜在表現を特定のダイナミクスに従うように制限する。
提案アルゴリズムは,非相関的,等尺的,有意な潜在表現を一意に識別できることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While representation learning has been central to the rise of machine
learning and artificial intelligence, a key problem remains in making the
learnt representations meaningful. For this the typical approach is to
regularize the learned representation through prior probability distributions.
However such priors are usually unavailable or ad hoc. To deal with this, we
propose a dynamics-constrained representation learning framework. Instead of
using predefined probabilities, we restrict the latent representation to follow
specific dynamics, which is a more natural constraint for representation
learning in dynamical systems. Our belief stems from a fundamental observation
in physics that though different systems can have different marginalized
probability distributions, they typically obey the same dynamics, such as
Newton's and Schrodinger's equations. We validate our framework for different
systems including a real-world fluorescent DNA movie dataset. We show that our
algorithm can uniquely identify an uncorrelated, isometric and meaningful
latent representation.
- Abstract(参考訳): 表現学習は機械学習と人工知能の台頭の中心であるが、学習した表現を意味のあるものにすることが重要な問題である。
このため、典型的なアプローチは、事前確率分布を通じて学習表現を正則化することである。
しかし、そのような事前処理は通常使用できないかアドホックである。
これに対応するために,動的制約付き表現学習フレームワークを提案する。
事前定義された確率を用いる代わりに、動的システムにおける表現学習のより自然な制約である特定のダイナミクスに従うために潜在表現を制限します。
我々の信念は、異なる系は異なる限界化された確率分布を持つことができるが、ニュートン方程式やシュロディンガー方程式のような同じ力学に従うという物理学の基本的な観察に由来する。
我々は,現実の蛍光DNA映画データセットを含む様々なシステムに対する枠組みを検証する。
本アルゴリズムは,非相関,等尺,有意な潜在表現を一意に識別できることを示す。
関連論文リスト
- AI-Lorenz: A physics-data-driven framework for black-box and gray-box
identification of chaotic systems with symbolic regression [2.07180164747172]
複雑な動的挙動をモデル化した数学的表現を学習するフレームワークを開発する。
私たちは、システムのダイナミクス、時間の変化率、モデル用語の欠如を学ぶために、小さなニューラルネットワークをトレーニングします。
これにより、動的挙動の将来的な進化を予測することができる。
論文 参考訳(メタデータ) (2023-12-21T18:58:41Z) - From system models to class models: An in-context learning paradigm [0.0]
本稿では,1段階の予測と複数段階のシミュレーションという2つの主要な課題に対処する,システム識別のための新しいパラダイムを提案する。
動的システムのクラスを表すメタモデルを学ぶ。
一段階の予測では、GPTのようなデコーダのみのアーキテクチャを使用し、シミュレーション問題ではエンコーダ-デコーダ構造を用いる。
論文 参考訳(メタデータ) (2023-08-25T13:50:17Z) - Learning invariant representations of time-homogeneous stochastic dynamical systems [27.127773672738535]
我々は,そのダイナミクスを忠実に捉えた状態の表現を学習する問題を研究する。
これは、転送演算子やシステムのジェネレータを学ぶのに役立ちます。
ニューラルネットワークに対する最適化問題として,優れた表現の探索が可能であることを示す。
論文 参考訳(メタデータ) (2023-07-19T11:32:24Z) - Understanding Self-Predictive Learning for Reinforcement Learning [61.62067048348786]
強化学習のための自己予測学習の学習ダイナミクスについて検討する。
本稿では,2つの表現を同時に学習する新しい自己予測アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-12-06T20:43:37Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳(メタデータ) (2022-11-11T21:58:15Z) - A simple probabilistic neural network for machine understanding [0.0]
本稿では,機械理解のためのモデルとして,確率的ニューラルネットワークと内部表現の固定化について論じる。
内部表現は、それが最大関係の原理と、どのように異なる特徴が組み合わされるかについての最大無知を満たすことを要求して導出する。
このアーキテクチャを持つ学習機械は、パラメータやデータの変化に対する表現の連続性など、多くの興味深い特性を享受している、と我々は主張する。
論文 参考訳(メタデータ) (2022-10-24T13:00:15Z) - Masked prediction tasks: a parameter identifiability view [49.533046139235466]
マスク付きトークンの予測に広く用いられている自己教師型学習手法に着目する。
いくつかの予測タスクは識別可能性をもたらすが、他のタスクはそうではない。
論文 参考訳(メタデータ) (2022-02-18T17:09:32Z) - Symplectic Momentum Neural Networks -- Using Discrete Variational
Mechanics as a prior in Deep Learning [7.090165638014331]
本稿では,Sypic Momentum Networks (SyMo) を,非分離機械系のメカニクスの離散的な定式化のモデルとして紹介する。
このような組み合わせによって、これらのモデルが限られたデータから得られるだけでなく、シンプレクティックなフォームを保存し、より長期的な振る舞いを示す能力も提供できることが示される。
論文 参考訳(メタデータ) (2022-01-20T16:33:19Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。
我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文 参考訳(メタデータ) (2021-07-19T13:57:13Z) - Abstract Spatial-Temporal Reasoning via Probabilistic Abduction and
Execution [97.50813120600026]
時空間推論は人工知能(AI)の課題である
最近の研究は、この種の抽象的推論タスクに焦点を当てている -- Raven's Progressive Matrices (RPM)
ニューロシンボリックな確率的アブダクションと実行学習者(PrAE)を提案する。
論文 参考訳(メタデータ) (2021-03-26T02:42:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。