論文の概要: In-Context Operator Learning for Linear Propagator Models

• arxiv url: http://arxiv.org/abs/2501.15106v1
• Date: Sat, 25 Jan 2025 07:15:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:53:56.241907
• Title: In-Context Operator Learning for Linear Propagator Models
• Title（参考訳）: 線形プロパゲータモデルに対するインコンテキスト演算子学習
• Authors: Tingwei Meng, Moritz Voß, Nils Detering, Giulio Farolfi, Stanley Osher, Georg Menz,
• Abstract要約: 最適順序実行問題に対する線形プロパゲータモデルの文脈における演算子学習について検討する。 いくつかのプロパゲータカーネルによると、過渡的な価格への影響は時間の経過とともに持続し、崩壊する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We study operator learning in the context of linear propagator models for optimal order execution problems with transient price impact \`a la Bouchaud et al. (2004) and Gatheral (2010). Transient price impact persists and decays over time according to some propagator kernel. Specifically, we propose to use In-Context Operator Networks (ICON), a novel transformer-based neural network architecture introduced by Yang et al. (2023), which facilitates data-driven learning of operators by merging offline pre-training with an online few-shot prompting inference. First, we train ICON to learn the operator from various propagator models that maps the trading rate to the induced transient price impact. The inference step is then based on in-context prediction, where ICON is presented only with a few examples. We illustrate that ICON is capable of accurately inferring the underlying price impact model from the data prompts, even with propagator kernels not seen in the training data. In a second step, we employ the pre-trained ICON model provided with context as a surrogate operator in solving an optimal order execution problem via a neural network control policy, and demonstrate that the exact optimal execution strategies from Abi Jaber and Neuman (2022) for the models generating the context are correctly retrieved. Our introduced methodology is very general, offering a new approach to solving optimal stochastic control problems with unknown state dynamics, inferred data-efficiently from a limited number of examples by leveraging the few-shot and transfer learning capabilities of transformer networks.
• Abstract（参考訳）: 本研究では,線形プロパゲータモデルを用いて,過渡的価格変動による最適順序実行問題に対する演算子学習 (2004) と Gatheral (2010) について検討した。 いくつかのプロパゲータカーネルによると、過渡的な価格への影響は時間の経過とともに持続し、崩壊する。 具体的には、Yang et al(2023)によって導入された新しいトランスフォーマーベースのニューラルネットワークアーキテクチャであるIn-Context Operator Networks(ICON)を使用することを提案する。 まず、取引レートを過渡的価格の影響にマッピングする様々なプロパゲータモデルから演算子を学ぶよう、ICONを訓練する。 推論ステップはコンテキスト内予測に基づいており、ICONはいくつかの例でのみ提示される。 ICONは、トレーニングデータに見られないプロパゲータカーネルであっても、データプロンプトから基礎となる価格の影響モデルを正確に推測できることを示す。 第2のステップでは、ニューラルネットワーク制御ポリシによる最適順序実行問題の解決において、補助演算子としてコンテキストを付加した事前学習ICONモデルを用い、コンテキストを生成するモデルに対して、Abi Jaber と Neuman (2022) の正確な最適実行戦略が正しく検索されることを実証する。 提案手法は非常に一般的な手法であり,トランスフォーマーネットワークの少数ショット・トランスファー学習機能を活用することで,限られた例からデータ効率のよい,未知の状態ダイナミクスによる最適確率制御問題の解法を提供する。

関連論文リスト

• DeepONet as a Multi-Operator Extrapolation Model: Distributed Pretraining with Physics-Informed Fine-Tuning [6.635683993472882]
  マルチオペレータ学習を実現するためのファインチューニング手法を提案する。 本手法は,事前学習における各種演算子からのデータを分散学習と組み合わせ,物理インフォームド手法によりゼロショット微調整が可能となる。
  論文  参考訳（メタデータ） (2024-11-11T18:58:46Z)
• Transfer Learning on Multi-Dimensional Data: A Novel Approach to Neural Network-Based Surrogate Modeling [0.0]
  畳み込みニューラルネットワーク(CNN)はそのようなサロゲートモデルの基礎として人気を集めている。 本稿では,$d$次元問題と$d-1$次元近似の両方に対する数値解の混合によるCNN代理モデルのトレーニングを提案する。 転送学習を用いて,2種類のデータに対して,高密度な完全畳み込みエンコーダ・デコーダCNNを学習する多相フローテスト問題に対するアプローチを実証する。
  論文  参考訳（メタデータ） (2024-10-16T05:07:48Z)
• Getting More Juice Out of the SFT Data: Reward Learning from Human Demonstration Improves SFT for LLM Alignment [65.15914284008973]
  我々は、報酬モデルと政策モデルを同時に構築するために、逆強化学習(IRL)技術を活用することを提案する。 提案アルゴリズムはIRL問題の定常解に収束することを示す。 その結果,アライメントプロセス全体を通じて報酬学習を活用することは有益であることが示唆された。
  論文  参考訳（メタデータ） (2024-05-28T07:11:05Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• WSLRec: Weakly Supervised Learning for Neural Sequential Recommendation Models [24.455665093145818]
  我々は、WSLRecと呼ばれる新しいモデルに依存しないトレーニング手法を提案し、3段階のフレームワーク(事前学習、トップ$k$マイニング、本質的、微調整)を採用する。 WSLRec は、BR や ItemCF のようなモデルフリーメソッドから、余分な弱い監督のモデルを事前訓練することで、不完全性の問題を解決すると同時に、最上位の$k のマイニングを活用して、微調整のための弱い監督の信頼性の高いユーザ・イテム関連を検査することで、不正確な問題を解消する。
  論文  参考訳（メタデータ） (2022-02-28T08:55:12Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。