論文の概要: Covariance-Aware Transformers for Quadratic Programming and Decision Making

• arxiv url: http://arxiv.org/abs/2602.14506v1
• Date: Mon, 16 Feb 2026 06:39:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-17 16:22:50.235951
• Title: Covariance-Aware Transformers for Quadratic Programming and Decision Making
• Title（参考訳）: 擬似プログラミングと意思決定のための共分散対応変換器
• Authors: Kutay Tire, Yufan Zhang, Ege Onur Taga, Samet Oymak,
• Abstract要約: 行列変数をトークン化することにより、線形アテンション機構が非制約QPを確実に解けることを示す。 時系列基礎モデルを強化する汎用的な方法であるTime2Decideを紹介する。 古典的ポートフォリオ最適化問題において,Time2Decideが基本TSFMモデルより一様に優れていることがわかった。
• 参考スコア（独自算出の注目度）: 25.76921238593292
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore the use of transformers for solving quadratic programs and how this capability benefits decision-making problems that involve covariance matrices. We first show that the linear attention mechanism can provably solve unconstrained QPs by tokenizing the matrix variables (e.g.~$A$ of the objective $\frac{1}{2}x^\top Ax+b^\top x$) row-by-row and emulating gradient descent iterations. Furthermore, by incorporating MLPs, a transformer block can solve (i) $\ell_1$-penalized QPs by emulating iterative soft-thresholding and (ii) $\ell_1$-constrained QPs when equipped with an additional feedback loop. Our theory motivates us to introduce Time2Decide: a generic method that enhances a time series foundation model (TSFM) by explicitly feeding the covariance matrix between the variates. We empirically find that Time2Decide uniformly outperforms the base TSFM model for the classical portfolio optimization problem that admits an $\ell_1$-constrained QP formulation. Remarkably, Time2Decide also outperforms the classical "Predict-then-Optimize (PtO)" procedure, where we first forecast the returns and then explicitly solve a constrained QP, in suitable settings. Our results demonstrate that transformers benefit from explicit use of second-order statistics, and this can enable them to effectively solve complex decision-making problems, like portfolio construction, in one forward pass.
• Abstract（参考訳）: 本稿では,2次プログラムの解法におけるトランスフォーマーの利用と,共分散行列を含む決定問題にどう影響するかを考察する。 まず、行列変数(例えば、目的の $\frac{1}{2}x^\top Ax+b^\top x$) を行ごとにトークン化し、勾配降下繰り返しをエミュレートすることで、線形アテンション機構が確実に非拘束QPを解けることを示す。 さらに、MLPを組み込むことで、変圧器ブロックを解くことができる。 i)$\ell_1$-penalized QPs 反復ソフトスレッディングをエミュレートして (ii)追加のフィードバックループを備えた場合、$\ell_1$-constrained QPs。 我々の理論は、時系列基礎モデル(TSFM)を強化する汎用的な方法であるTime2Decideの導入を動機付け、変数間の共分散行列を明示的に供給する。 我々は、Time2Decideが古典的ポートフォリオ最適化問題に対して、$$\ell_1$-constrained QPの定式化を許容する基本TSFMモデルより一様に優れていることを実証的に見出した。 興味深いことに、Time2Decide は古典的な "Predict-then-Optimize (PtO)" 手順よりも優れています。 以上の結果から,トランスフォーマーは2次統計の明示的な利用の恩恵を受けており,ポートフォリオ構築のような複雑な意思決定問題を1つの前方通過で効果的に解決できることを示した。

関連論文リスト

• Transformers as Support Vector Machines [54.642793677472724]
  自己アテンションの最適化幾何と厳密なSVM問題との間には,形式的等価性を確立する。 勾配降下に最適化された1層変圧器の暗黙バイアスを特徴付ける。 これらの発見は、最適なトークンを分離し選択するSVMの階層としてのトランスフォーマーの解釈を刺激していると信じている。
  論文  参考訳（メタデータ） (2023-08-31T17:57:50Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)
• Statistical Inference of Constrained Stochastic Optimization via Sketched Sequential Quadratic Programming [53.63469275932989]
  制約付き非線形最適化問題のオンライン統計的推測を考察する。 これらの問題を解決するために、逐次二次計画法(StoSQP)を適用する。
  論文  参考訳（メタデータ） (2022-05-27T00:34:03Z)
• Finite-Time Complexity of Online Primal-Dual Natural Actor-Critic Algorithm for Constrained Markov Decision Processes [13.908826484332282]
  そこで我々は,コストの抑えられたマルコフ決定プロセス問題を解決するために,オンライン・プリマル・デュアル・アクター・クリティカル法について検討した。 本稿では,CMDP問題の解法として,オンライン・プリマル・デュアル・アクター・クリティカル法の有限時間複雑性を初めて検討した。
  論文  参考訳（メタデータ） (2021-10-21T18:05:40Z)
• A conditional one-output likelihood formulation for multitask Gaussian processes [0.0]
  マルチタスクガウス過程(MTGP)は多出力回帰問題に対するガウスプロセスフレームワークの解である。 本稿では,マルチタスク学習を簡略化する新しい手法を提案する。 現状の美術品と計算的に競合していることが示される。
  論文  参考訳（メタデータ） (2020-06-05T14:59:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。