論文の概要: Learning from many trajectories
- arxiv url: http://arxiv.org/abs/2203.17193v1
- Date: Thu, 31 Mar 2022 17:17:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-01 13:51:28.256130
- Title: Learning from many trajectories
- Title（参考訳）: 多くの軌跡から学ぶ
- Authors: Stephen Tu and Roy Frostig and Mahdi Soltanolkotabi
- Abstract要約: 非独立なco変数の多くの独立配列から教師付き学習を研究する。
私たちのセットアップは、独立した例から学ぶことと、1つの自動相関シーケンスから学ぶことの間にあります。
重要なポイントは、トラジェクトリが定期的にリセットされるドメインでは、エラー率は最終的にすべての例が完全に独立しているかのように振る舞うことである。
- 参考スコア（独自算出の注目度）: 37.265419499679474
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We initiate a study of supervised learning from many independent sequences
("trajectories") of non-independent covariates, reflecting tasks in sequence
modeling, control, and reinforcement learning. Conceptually, our
multi-trajectory setup sits between two traditional settings in statistical
learning theory: learning from independent examples and learning from a single
auto-correlated sequence. Our conditions for efficient learning generalize the
former setting--trajectories must be non-degenerate in ways that extend
standard requirements for independent examples. They do not require that
trajectories be ergodic, long, nor strictly stable.
For linear least-squares regression, given $n$-dimensional examples produced
by $m$ trajectories, each of length $T$, we observe a notable change in
statistical efficiency as the number of trajectories increases from a few
(namely $m \lesssim n$) to many (namely $m \gtrsim n$). Specifically, we
establish that the worst-case error rate this problem is $\Theta(n / m T)$
whenever $m \gtrsim n$. Meanwhile, when $m \lesssim n$, we establish a (sharp)
lower bound of $\Omega(n^2 / m^2 T)$ on the worst-case error rate, realized by
a simple, marginally unstable linear dynamical system. A key upshot is that, in
domains where trajectories regularly reset, the error rate eventually behaves
as if all of the examples were independent altogether, drawn from their
marginals. As a corollary of our analysis, we also improve guarantees for the
linear system identification problem.
- Abstract（参考訳）: 我々は,非独立共変量の多数の独立列(軌道)から教師あり学習の研究を開始し,シーケンスモデリング,制御,強化学習のタスクを反映する。
概念的には、我々の多軌道設定は、統計学習理論における従来の2つの設定の間にある。
効率的な学習のための我々の条件は、従来の設定を一般化する - トラジェクトリは、独立例の標準要件を拡張する方法では非退化されなければならない。
軌道はエルゴード的、長く、あるいは厳密に安定である必要はない。
線型最小二乗回帰に対して、$m$ trajectories によって生成される$n$-次元の例が与えられたとき、長さ$T$ は、トラジェクトリの数が少数の (m \lesssim n$) から多くの (m \gtrsim n$) へと増加するにつれて、統計効率の顕著な変化を観測する。
具体的には、この問題の最悪のエラー率は$\Theta(n / m T)$ every $m \gtrsim n$である。
一方、$m \lesssim n$ の場合、単純な不安定な線形力学系によって実現される最悪の場合の誤差率に対して、(シャープな)下限が $\omega(n^2 / m^2 t)$ となる。
重要なポイントは、軌道が定期的にリセットされる領域では、エラー率は最終的にすべての例が完全に独立しているかのように振る舞うことである。
また,本分析の結果から,線形システム同定問題に対する保証性も向上した。
関連論文リスト
- Joint Learning of Linear Dynamical Systems under Smoothness Constraints [5.2395896768723045]
複数の線形力学系の連立学習の問題点を考察する。
特に,平均二乗誤差が平均二乗誤差(MSE)に収束する条件を示す。
論文 参考訳（メタデータ） (2024-06-03T08:29:42Z) - From Spectral Theorem to Statistical Independence with Application to
System Identification [11.98319841778396]
状態遷移行列 $|Ak|$ の有限パワーの崩壊率に関する最初の定量的ハンドルを提供する。
安定な力学系が 1 つの異なる固有値と差分しか持たないとき、$n-1$:$|A|$ は $n$ に依存することが示されている。
要素的誤差は、本質的にはよく知られたリトルウッド・オフォード問題の変種であることを示す。
論文 参考訳（メタデータ） (2023-10-16T15:40:43Z) - Characterizing Datapoints via Second-Split Forgetting [93.99363547536392]
我々は、オリジナルのトレーニング例が忘れられた後(もしあれば)のエポックを追跡する補足的メトリックである$$-second-$split$$forgetting$$$time$ (SSFT)を提案する。
例えば$mislabeled$の例はすぐに忘れられ、$rare$の例は比較的ゆっくりと忘れられています。
SSFTは、(i)間違ったラベル付きサンプルを識別し、その除去により一般化が向上し、(ii)障害モードに関する洞察を提供する。
論文 参考訳（メタデータ） (2022-10-26T21:03:46Z) - Learning the Dynamics of Autonomous Linear Systems From Multiple
Trajectories [2.2268031040603447]
自律線形系同定の学習速度と一貫性に関する既存の結果は、1つの長い軌道からの定常状態の挙動の観測に依存している。
定常状態の挙動が容易に観察できない複数の短い軌跡に基づく学習システムダイナミクスのシナリオを考察する。
厳密な安定系の学習速度は$mathcalO(sqrtfraclogNN)$、学習速度は$mathcalO(frac(logN)dsqrとなる。
論文 参考訳（メタデータ） (2022-03-24T01:29:53Z) - A Statistical Learning View of Simple Kriging [0.0]
統計的学習の観点から,簡単なKrigingタスクを解析する。
目標は、最小2次リスクで他の場所にある未知の値を予測することである。
我々は、真の最小化を模倣するプラグイン予測則の過剰なリスクに対して、$O_mathbbP (1/sqrtn)$の非漸近境界を証明した。
論文 参考訳（メタデータ） (2022-02-15T12:46:43Z) - Understanding the Under-Coverage Bias in Uncertainty Estimation [58.03725169462616]
量子レグレッションは、現実の望ましいカバレッジレベルよりもアンファンダーカバー(enmphunder-cover)する傾向がある。
我々は、量子レグレッションが固有のアンダーカバーバイアスに悩まされていることを証明している。
我々の理論は、この過大被覆バイアスが特定の高次元パラメータ推定誤差に起因することを明らかにしている。
論文 参考訳（メタデータ） (2021-06-10T06:11:55Z) - Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。
我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-09-30T19:10:32Z) - Least Squares Regression with Markovian Data: Fundamental Limits and
Algorithms [69.45237691598774]
マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。
この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。
本稿では,経験的リプレイに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-16T04:26:50Z) - Learning nonlinear dynamical systems from a single trajectory [102.60042167341956]
我々は、$x_t+1=sigma(Thetastarx_t)+varepsilon_t$という形の非線形力学系を学ぶアルゴリズムを導入する。
最適なサンプル複雑性と線形ランニング時間を持つ単一軌道から重み行列$Thetastar$を復元するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-04-30T10:42:48Z) - Non-asymptotic and Accurate Learning of Nonlinear Dynamical Systems [34.394552166070746]
本研究では,1つの有限軌跡から得られた標本からシステム力学を学習するための勾配に基づくアルゴリズムについて検討する。
既存の作業とは異なり、我々の限界はノイズに敏感で、精度が高く、サンプルの複雑さも小さい。
論文 参考訳（メタデータ） (2020-02-20T02:36:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。