論文の概要: Universal Sequence Preconditioning

• arxiv url: http://arxiv.org/abs/2502.06545v2
• Date: Thu, 29 May 2025 02:26:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 15:42:33.18765
• Title: Universal Sequence Preconditioning
• Title（参考訳）: ユニバーサルシーケンスプレコンディショニング
• Authors: Annie Marsden, Elad Hazan,
• Abstract要約: 入力列に畳み込みを適用すると、隠れた空間の未知の遷移行列に行列を適用することが示される。 我々は,チェビシェフやレジェンドの係数と入力シーケンスを関連付ける新しいプレコンディショニング法を開発した。 本手法は,1) 線形力学系からデータを抽出しないような設定と,2) 学習アルゴリズムの幅広い範囲に一般化できることを示す。
• 参考スコア（独自算出の注目度）: 19.415741153449265
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the problem of preconditioning in the setting of sequential prediction. From the theoretical lens of linear dynamical systems, we show that applying a convolution to the input sequence translates to applying a polynomial to the unknown transition matrix in the hidden space. With this insight, we develop a novel preconditioning method that convolves the input sequence with the coefficients of the Chebyshev or Legendre polynomials. We formally prove that this improves the regret of two distinct prediction methods. Moreover, using this preconditioning technique on either method gives the first sublinear regret bounds that are also hidden dimension independent (up to logarithmic factors) even when the hidden transition matrix is asymmetric. From rigorous experiments on synthetic data we show that our simple preconditioning method generalizes to both 1) settings where the data is not from a linear dynamical system and 2) a broad range of learning algorithms, including recurrent neural networks.
• Abstract（参考訳）: 逐次予測の設定におけるプレコンディショニングの問題について検討する。 線形力学系の理論的レンズから、入力列への畳み込みの適用は、隠れた空間における未知の遷移行列に多項式を適用することを意味する。 この知見により、チェビシェフ多項式やルジャンドル多項式の係数と入力列を関連付ける新しいプレコンディショニング法を開発した。 これは2つの異なる予測方法の後悔を改善することを正式に証明する。 さらに、どちらの方法にもこのプレコンディショニング手法を用いることで、隠れた遷移行列が非対称である場合でも、同様に隠れた次元に依存しない(対数因子まで)最初のサブ線形後悔境界を与える。 合成データの厳密な実験から、簡単なプレコンディショニング法が両方に一般化できることが示される。 1) データが線形力学系から来ていないような設定 2)リカレントニューラルネットワークを含む幅広い学習アルゴリズム。

関連論文リスト

• The Sample Complexity of Online Reinforcement Learning: A Multi-model Perspective [55.15192437680943]
  連続状態と行動空間を持つ非線形力学系に対するオンライン強化学習のサンプル複雑性について検討した。 我々のアルゴリズムは、その単純さ、事前知識を組み込む能力、そして良心的な過渡的行動のために、実際に有用である可能性が高い。
  論文  参考訳（メタデータ） (2025-01-27T10:01:28Z)
• Asymmetric matrix sensing by gradient descent with small random initialization [0.8611782340880084]
  いくつかの線形測定値から低ランク行列を再構成する問題について検討する。 私たちの重要な貢献は、$texted gradient flow$と呼ぶ連続的な勾配流方程式の導入です。
  論文  参考訳（メタデータ） (2023-09-04T20:23:35Z)
• Stochastic Nonlinear Control via Finite-dimensional Spectral Dynamic Embedding [21.38845517949153]
  本稿では,非線形系の最適制御のためのスペクトルダイナミクス埋め込み制御(SDEC)を提案する。 我々は、状態-作用値関数を線形に表現するために無限次元の特徴を使い、実用的な実装のために有限次元のトランケーション近似を利用する。
  論文  参考訳（メタデータ） (2023-04-08T04:23:46Z)
• Implicit Balancing and Regularization: Generalization and Convergence Guarantees for Overparameterized Asymmetric Matrix Sensing [28.77440901439686]
  最近の一連の論文は、非ランダムな正準決定(PSD)行列センシング問題に対して、この役割を一般化し始めている。 本稿では,小さなランダムな測定から得られる勾配降下の軌跡が,どちらも地球規模で良好である解へと移動することを示す。
  論文  参考訳（メタデータ） (2023-03-24T19:05:52Z)
• Oracle-Preserving Latent Flows [58.720142291102135]
  我々はラベル付きデータセット全体にわたって複数の非自明な連続対称性を同時に発見するための方法論を開発する。 対称性変換と対応するジェネレータは、特別に構築された損失関数で訓練された完全連結ニューラルネットワークでモデル化される。 この研究における2つの新しい要素は、縮小次元の潜在空間の使用と、高次元のオラクルに関して不変な変換への一般化である。
  論文  参考訳（メタデータ） (2023-02-02T00:13:32Z)
• Online Stochastic Gradient Descent Learns Linear Dynamical Systems from A Single Trajectory [1.52292571922932]
  本研究では,システムを記述する未知の重み行列がブルノフスキー正則形式であれば,システムの未知の基底真理を効率的に推定できることを示した。 具体的には、具体的な境界を導出することにより、SGDは基底真理重みから任意の小さなフロベニウスノルム距離に期待して線型収束することを示す。
  論文  参考訳（メタデータ） (2021-02-23T17:48:39Z)
• Beyond Procrustes: Balancing-Free Gradient Descent for Asymmetric Low-Rank Matrix Sensing [36.96922859748537]
  低ランク行列推定は、科学と工学のさまざまなアプリケーションで中心的な役割を果たします。 既存のアプローチは、2つの行列因子のスケールのバランスをとるために計量正規化項を加えることに頼っている。 本論文では,低ランク行列の線形測定値の少ない値から回復する性能の理論的正当化について述べる。
  論文  参考訳（メタデータ） (2021-01-13T15:03:52Z)
• Sparse Quantized Spectral Clustering [85.77233010209368]
  このような非線形変換の下で行列の固有スペクトルがどのように変化するのかを、ランダム行列理論のツールを用いて正確に述べる。 急激なスペーシング/量子化の下でも,情報的固有構造にはほとんど変化は見られなかった。
  論文  参考訳（メタデータ） (2020-10-03T15:58:07Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)
• No-Regret Prediction in Marginally Stable Systems [37.178095559618654]
  本稿では,線形力学系におけるオンライン予測の問題点について考察する。 本手法を自己回帰フィルタの学習に適用することにより,部分的に観察された条件下での対数的後悔も達成できる。
  論文  参考訳（メタデータ） (2020-02-06T01:53:34Z)
• Regret Minimization in Partially Observable Linear Quadratic Control [91.43582419264763]
  モデル力学が未知の先行性を持つ場合、部分的に観測可能な線形二次制御系における後悔の問題を考察する。 本稿では, 部分的に観測可能な線形二次制御のために, 後悔を分解し, 終端から終端までの後悔の上限を与える新しい方法を提案する。
  論文  参考訳（メタデータ） (2020-01-31T22:35:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。