論文の概要: A reinforcement learning approach to rare trajectory sampling

• arxiv url: http://arxiv.org/abs/2005.12890v3
• Date: Wed, 25 Nov 2020 15:14:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 00:55:51.502388
• Title: A reinforcement learning approach to rare trajectory sampling
• Title（参考訳）: 希少軌道サンプリングのための強化学習手法
• Authors: Dominic C. Rose, Jamie F. Mair and Juan P. Garrahan
• Abstract要約: 非定型事象を効率的にサンプリングするダイナミクスを適応的に構築する一般的な手法を提案する。 我々は、最適な振る舞いを見つけることを目的とした機械学習手法のセットを指す強化学習(RL)の手法を利用する。 ここでは、連続時間マルコフ系、第一通過時間問題、非マルコフ力学などのアイデアの自然な拡張について論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Very often when studying non-equilibrium systems one is interested in analysing dynamical behaviour that occurs with very low probability, so called rare events. In practice, since rare events are by definition atypical, they are often difficult to access in a statistically significant way. What are required are strategies to "make rare events typical" so that they can be generated on demand. Here we present such a general approach to adaptively construct a dynamics that efficiently samples atypical events. We do so by exploiting the methods of reinforcement learning (RL), which refers to the set of machine learning techniques aimed at finding the optimal behaviour to maximise a reward associated with the dynamics. We consider the general perspective of dynamical trajectory ensembles, whereby rare events are described in terms of ensemble reweighting. By minimising the distance between a reweighted ensemble and that of a suitably parametrised controlled dynamics we arrive at a set of methods similar to those of RL to numerically approximate the optimal dynamics that realises the rare behaviour of interest. As simple illustrations we consider in detail the problem of excursions of a random walker, for the case of rare events with a finite time horizon; and the problem of a studying current statistics of a particle hopping in a ring geometry, for the case of an infinite time horizon. We discuss natural extensions of the ideas presented here, including to continuous-time Markov systems, first passage time problems and non-Markovian dynamics.
• Abstract（参考訳）: 非平衡系を研究する場合、非常に低い確率で起こる動的挙動を分析することに関心がある。 実際には、まれな事象は非典型的であるため、統計的に重要な方法でアクセスすることはしばしば困難である。 必要なのは、"レアイベントを典型的なものに"して、オンデマンドで生成可能にする戦略です。 本稿では,非定型事象を効率的にサンプリングするダイナミクスを適応的に構築する手法を提案する。 強化学習 (rl) の手法を活用し, 力学に関連した報酬を最大化するために最適な行動を見出すことを目的とした機械学習手法の組を指す。 動的軌道アンサンブルの一般論を考察し,アンサンブルの重み付けという観点からレアな事象を記述する。 再重み付けアンサンブルと適切なパラメータ制御ダイナミクスの距離を最小化することで、rlのそれに似た一連の方法に到達し、関心の希少な振る舞いを実現する最適なダイナミクスを数値的に近似する。 簡単な図解として、有限時間地平線を持つ稀な事象の場合のランダムウォーカーの遠足問題や、無限時間地平線の場合のリング幾何学における粒子ホッピングの現在の統計学の問題点を詳細に考察する。 我々は, 連続時間マルコフ系, 初回通過時間問題, 非マルコフ力学など, ここで提示されるアイデアの自然な拡張について論じる。

関連論文リスト

• Decoupled Marked Temporal Point Process using Neural Ordinary Differential Equations [14.828081841581296]
  MTPP(マークド・テンポラル・ポイント・プロセス)は、イベント・タイム・データの集合である。 近年の研究では、ディープニューラルネットワークを使用してイベントの複雑な時間的依存関係をキャプチャしている。 本稿では,プロセスの特性を異なる事象からの進化的影響の集合に分解する脱結合型MTPPフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-10T10:15:32Z)
• Event Detection in Time Series: Universal Deep Learning Approach [0.0]
  時系列におけるイベント検出は、不均衡なデータセット、まれなイベント、時間間隔定義イベントの頻度のため、困難なタスクである。 本稿では,教師付き回帰に基づく深層学習手法を提案する。 当社のアプローチは、まれなイベントや不均衡なデータセットを含む、統合されたフレームワーク内で、さまざまな種類のイベントを効果的に処理できる。
  論文  参考訳（メタデータ） (2023-11-27T09:33:56Z)
• Exact Inference for Continuous-Time Gaussian Process Dynamics [6.941863788146731]
  実際には、真のシステムはよく知られておらず、測定データから学ぶ必要がある。 ガウス過程(GP)力学モデル学習におけるほとんどの手法は、一段階先進予測に基づいて訓練されている。 このような評価に対して,フレキシブルな推論スキームを導出する方法を示す。
  論文  参考訳（メタデータ） (2023-09-05T16:07:00Z)
• Endogenous Macrodynamics in Algorithmic Recourse [52.87956177581998]
  対実説明(CE)とアルゴリズム・リコース(AR)に関する既存の研究は、静的環境における個人に主に焦点を当ててきた。 既存の方法論の多くは、一般化されたフレームワークによってまとめて記述できることを示す。 次に、既存のフレームワークは、グループレベルでの言論の内在的ダイナミクスを研究する際にのみ明らかとなるような、隠された対外的関係のコストを考慮に入れていないと論じる。
  論文  参考訳（メタデータ） (2023-08-16T07:36:58Z)
• Inverse Dynamics Pretraining Learns Good Representations for Multitask Imitation [66.86987509942607]
  このようなパラダイムを模倣学習でどのように行うべきかを評価する。 本稿では,事前学習コーパスがマルチタスクのデモンストレーションから成り立つ環境について考察する。 逆動力学モデリングはこの設定に適していると主張する。
  論文  参考訳（メタデータ） (2023-05-26T14:40:46Z)
• Finding the effective dynamics to make rare events typical in chaotic maps [0.0]
  本稿では,典型的な軌道が原地図の非定型値に対応する実効位相共役写像を求める枠組みを提案する。 この研究は、希少なゆらぎが大きな退化形式主義によって特徴づけられ制御されるような、成長する系の系にカオス写像をもたらす。
  論文  参考訳（メタデータ） (2023-04-26T18:00:08Z)
• Action Matching: Learning Stochastic Dynamics from Samples [10.46643972142224]
  アクションマッチング(Action Matching)は、時間進化から独立したサンプルのみを使用して、リッチなダイナミクスのファミリーを学ぶ方法である。 我々は、基礎となる力学に関する明示的な仮定を頼らずに、抽出可能な訓練目標を導出する。 最適輸送との接続にインスパイアされ、確率質量の生成と破壊を含む微分方程式や力学を学ぶためにアクションマッチングの拡張を導出する。
  論文  参考訳（メタデータ） (2022-10-13T01:49:48Z)
• A Frequency Perspective of Adversarial Robustness [72.48178241090149]
  理論的および経験的知見を参考に,周波数に基づく対向例の理解について述べる。 分析の結果,逆転例は高周波でも低周波成分でもないが,単にデータセット依存であることがわかった。 本稿では、一般に観測される精度対ロバスト性トレードオフの周波数に基づく説明法を提案する。
  論文  参考訳（メタデータ） (2021-10-26T19:12:34Z)
• Consistency of mechanistic causal discovery in continuous-time using Neural ODEs [85.7910042199734]
  ダイナミカルシステムの研究において,連続時間における因果的発見を検討する。 本稿では,ニューラルネットワークを用いた因果探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-05-06T08:48:02Z)
• Stochastically forced ensemble dynamic mode decomposition for forecasting and analysis of near-periodic systems [65.44033635330604]
  本稿では,観測力学を強制線形系としてモデル化した新しい負荷予測手法を提案する。 固有線型力学の利用は、解釈可能性やパーシモニーの観点から、多くの望ましい性質を提供することを示す。 電力グリッドからの負荷データを用いたテストケースの結果が提示される。
  論文  参考訳（メタデータ） (2020-10-08T20:25:52Z)
• A Multi-Channel Neural Graphical Event Model with Negative Evidence [76.51278722190607]
  イベントデータセットは、タイムライン上で不規則に発生するさまざまなタイプのイベントのシーケンスである。 基礎となる強度関数を推定するために,非パラメトリックディープニューラルネットワーク手法を提案する。
  論文  参考訳（メタデータ） (2020-02-21T23:10:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。