論文の概要: Enhanced Transformer architecture for in-context learning of dynamical systems

• arxiv url: http://arxiv.org/abs/2410.03291v1
• Date: Fri, 4 Oct 2024 10:05:15 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 23:18:35.986600
• Title: Enhanced Transformer architecture for in-context learning of dynamical systems
• Title（参考訳）: 動的システムのコンテキスト内学習のための拡張トランスフォーマーアーキテクチャ
• Authors: Matteo Rufolo, Dario Piga, Gabriele Maroni, Marco Forgione,
• Abstract要約: 本稿では,従来のメタモデリングフレームワークを3つの重要な革新を通じて強化する。 これらの修正の有効性は、Wiener-Hammerstein系クラスに焦点をあてた数値的な例を通して示される。
• 参考スコア（独自算出の注目度）: 0.3749861135832073
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently introduced by some of the authors, the in-context identification paradigm aims at estimating, offline and based on synthetic data, a meta-model that describes the behavior of a whole class of systems. Once trained, this meta-model is fed with an observed input/output sequence (context) generated by a real system to predict its behavior in a zero-shot learning fashion. In this paper, we enhance the original meta-modeling framework through three key innovations: by formulating the learning task within a probabilistic framework; by managing non-contiguous context and query windows; and by adopting recurrent patching to effectively handle long context sequences. The efficacy of these modifications is demonstrated through a numerical example focusing on the Wiener-Hammerstein system class, highlighting the model's enhanced performance and scalability.
• Abstract（参考訳）: 著者らによって最近紹介されたインコンテキスト識別パラダイムは、システム全体の振る舞いを記述するメタモデルである合成データに基づいて、推定、オフライン、およびベースとなることを目的としている。 訓練後、このメタモデルは実システムによって生成された観測された入出力シーケンス(コンテキスト)で入力され、その振る舞いをゼロショット学習方式で予測する。 本稿では、確率的フレームワーク内で学習タスクを定式化すること、非連続的なコンテキストとクエリウィンドウを管理すること、長いコンテキストシーケンスを効果的に扱うために繰り返しパッチを適用すること、の3つの主要な革新を通じて、元のメタモデリングフレームワークを強化する。 これらの修正の有効性は、Wiener-Hammersteinシステムクラスに焦点を当てた数値的な例を通して示され、モデルの性能と拡張性を強調している。

関連論文リスト

• On the adaptation of in-context learners for system identification [0.0]
  In-context system identifiedは、システムのクラスを記述するメタモデルを構築することを目的としている。 メタモデル適応が3つの現実シナリオにおける予測性能をいかに向上させるかを示す。
  論文  参考訳（メタデータ） (2023-12-07T06:51:55Z)
• From system models to class models: An in-context learning paradigm [0.0]
  本稿では,1段階の予測と複数段階のシミュレーションという2つの主要な課題に対処する,システム識別のための新しいパラダイムを提案する。 動的システムのクラスを表すメタモデルを学ぶ。 一段階の予測では、GPTのようなデコーダのみのアーキテクチャを使用し、シミュレーション問題ではエンコーダ-デコーダ構造を用いる。
  論文  参考訳（メタデータ） (2023-08-25T13:50:17Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Latent Variable Representation for Reinforcement Learning [131.03944557979725]
  モデルに基づく強化学習のサンプル効率を改善するために、潜在変数モデルが学習、計画、探索をいかに促進するかは理論上、実証上、不明である。 状態-作用値関数に対する潜在変数モデルの表現ビューを提供する。これは、抽出可能な変分学習アルゴリズムと楽観主義/悲観主義の原理の効果的な実装の両方を可能にする。 特に,潜伏変数モデルのカーネル埋め込みを組み込んだUPB探索を用いた計算効率の良い計画アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T00:26:31Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• Supervised DKRC with Images for Offline System Identification [77.34726150561087]
  現代の力学系はますます非線形で複雑なものになりつつある。 予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。 本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
  論文  参考訳（メタデータ） (2021-09-06T04:39:06Z)
• Meta-learning using privileged information for dynamics [66.32254395574994]
  Neural ODE Processモデルを拡張して、Learning Using Privileged Information設定内の追加情報を使用します。 シミュレーション動的タスクの精度とキャリブレーションを向上した実験により拡張性を検証する。
  論文  参考訳（メタデータ） (2021-04-29T12:18:02Z)
• Explore the Context: Optimal Data Collection for Context-Conditional Dynamics Models [7.766117084613689]
  我々は、様々な性質を持つ力学系のパラメタライズドファミリーの力学モデルを学ぶ。 我々は、限られた数の環境相互作用に対して、与えられたシステムを最適に探索するアクションシーケンスを計算する。 本手法の有効性を,非線形な玩具・プロブレムと2つのよく知られた強化学習環境において示す。
  論文  参考訳（メタデータ） (2021-02-22T22:52:39Z)
• Model-based Meta Reinforcement Learning using Graph Structured Surrogate Models [40.08137765886609]
  グラフ構造化サーロゲートモデル (GSSM) と呼ばれるモデルが, 環境ダイナミクス予測における最先端の手法を上回っていることを示した。 当社のアプローチでは,テスト時間ポリシの勾配最適化を回避して,デプロイメント中の高速実行を実現しつつ,高いリターンを得ることができる。
  論文  参考訳（メタデータ） (2021-02-16T17:21:55Z)
• Neural Entity Linking: A Survey of Models Based on Deep Learning [82.43751915717225]
  本調査では,2015年以降に開発されたニューラルエンティティリンク(EL)システムの包括的記述について報告する。 その目標は、ニューラルエンティティリンクシステムの設計機能を体系化し、それらのパフォーマンスを一般的なベンチマーク上の注目すべき古典的手法と比較することである。 この調査はエンティティリンクの応用に焦点をあて、最近出現した、深い事前訓練されたマスキング言語モデルを強化するユースケースに焦点を当てている。
  論文  参考訳（メタデータ） (2020-05-31T18:02:26Z)
• Meta-learning framework with applications to zero-shot time-series forecasting [82.61728230984099]
  この研究は幅広いメタラーニングフレームワークを使って肯定的な証拠を提供する。 残余接続はメタラーニング適応機構として機能する。 我々は、ソースTSデータセット上でニューラルネットワークをトレーニングし、異なるターゲットTSデータセット上で再トレーニングすることなくデプロイできることを示します。
  論文  参考訳（メタデータ） (2020-02-07T16:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。