Fugu-MT 論文翻訳(概要): Provable Length Generalization in Sequence Prediction via Spectral Filtering

論文の概要: Provable Length Generalization in Sequence Prediction via Spectral Filtering

arxiv url: http://arxiv.org/abs/2411.01035v1
Date: Fri, 01 Nov 2024 21:11:40 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-05 14:51:24.794719
Title: Provable Length Generalization in Sequence Prediction via Spectral Filtering
Title（参考訳）: スペクトルフィルタリングによる系列予測における確率長一般化
Authors: Annie Marsden, Evan Dogariu, Naman Agarwal, Xinyi Chen, Daniel Suo, Elad Hazan,
Abstract要約: 非対称回帰は、学習者が利用できるよりも長い文脈長を持つベンチマーク予測器に対して後悔を測る。線形力学系に対する長さ一般化を確実に達成する勾配に基づく学習アルゴリズムを提案する。
参考スコア（独自算出の注目度）: 24.178290515574247
License:
Abstract: We consider the problem of length generalization in sequence prediction. We define a new metric of performance in this setting -- the Asymmetric-Regret -- which measures regret against a benchmark predictor with longer context length than available to the learner. We continue by studying this concept through the lens of the spectral filtering algorithm. We present a gradient-based learning algorithm that provably achieves length generalization for linear dynamical systems. We conclude with proof-of-concept experiments which are consistent with our theory.
Abstract（参考訳）: シーケンス予測における長さ一般化の問題点を考察する。この設定では、学習者が利用できるより長いコンテキスト長のベンチマーク予測器に対して後悔を計測する、新しいパフォーマンス指標、非対称-レグレットを定義します。我々は、スペクトルフィルタリングアルゴリズムのレンズを通してこの概念を研究を続ける。線形力学系に対する長さ一般化を確実に達成する勾配に基づく学習アルゴリズムを提案する。我々は、我々の理論と一致する概念実証実験で結論付ける。

関連論文リスト

Refined Risk Bounds for Unbounded Losses via Transductive Priors [58.967816314671296]
線形回帰の逐次変分を2乗損失、ヒンジ損失の分類問題、ロジスティック回帰で再検討する。我々の鍵となるツールは、慎重に選択された導出先を持つ指数重み付けアルゴリズムに基づいている。
論文参考訳（メタデータ） (2024-10-29T00:01:04Z)
Bregman-divergence-based Arimoto-Blahut algorithm [53.64687146666141]
本稿では,Arimoto-BlahutアルゴリズムをBregman-Diversergenceシステム上で定義された一般関数に一般化する。本稿では,古典的および量子速度歪み理論に適用可能な凸最適化自由アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-08-10T06:16:24Z)
Generalization of Scaled Deep ResNets in the Mean-Field Regime [55.77054255101667]
無限深度および広帯域ニューラルネットワークの限界におけるエンスケールResNetについて検討する。この結果から,遅延学習体制を超えた深層ResNetの一般化能力に関する新たな知見が得られた。
論文参考訳（メタデータ） (2024-03-14T21:48:00Z)
Fast sampling from constrained spaces using the Metropolis-adjusted Mirror Langevin algorithm [12.405427902037971]
本稿では,コンパクトかつ凸集合を持つ分布からの近似サンプリング法を提案する。このアルゴリズムは、ミラーランゲヴィンの単一ステップによって誘導されるマルコフ連鎖にアセプション-リジェクションフィルタを追加する。近似的制約サンプリングの誤差耐性に対する指数関数的に優れた依存性が得られる。
論文参考訳（メタデータ） (2023-12-14T11:11:58Z)
The Inductive Bias of Flatness Regularization for Deep Matrix Factorization [58.851514333119255]
この研究は、ディープ線形ネットワークにおけるヘッセン解の最小トレースの帰納バイアスを理解するための第一歩となる。測定値の標準等尺性(RIP)が1より大きいすべての深さについて、ヘッセンのトレースを最小化することは、対応する終端行列パラメータのシャッテン 1-ノルムを最小化するのとほぼ同値であることを示す。
論文参考訳（メタデータ） (2023-06-22T23:14:57Z)
Exact Spectral Norm Regularization for Neural Networks [0.0]
本稿では,従来のスペクトル正規化手法と比較して,一般化性能が向上することを示す。ヤコビアン正則化が提供する強い敵対的保護に関する以前の推論について検討する。
論文参考訳（メタデータ） (2022-06-27T18:53:00Z)
On the Benefits of Large Learning Rates for Kernel Methods [110.03020563291788]
本稿では,カーネル手法のコンテキストにおいて,現象を正確に特徴付けることができることを示す。分離可能なヒルベルト空間における2次対象の最小化を考慮し、早期停止の場合、学習速度の選択が得られた解のスペクトル分解に影響を及ぼすことを示す。
論文参考訳（メタデータ） (2022-02-28T13:01:04Z)
Connecting Optimization and Generalization via Gradient Flow Path Length [17.099964074542818]
収束後の勾配流アルゴリズムの下での最適化軌道長に基づいて一般化誤差を解析し,最適化と一般化を結びつける枠組みを提案する。フレームワークは幅広い設定に適用可能であり,例えば,3つの異なる機械学習モデルに対する一般化推定値を得る。
論文参考訳（メタデータ） (2022-02-22T04:58:16Z)
Dimension Free Generalization Bounds for Non Linear Metric Learning [61.193693608166114]
我々はスパース体制と非スパース体制という2つの体制に対して一様一般化境界を提供する。解の異なる新しい性質を頼りにすることで、次元自由一般化保証を提供することができることを示す。
論文参考訳（メタデータ） (2021-02-07T14:47:00Z)
SLIP: Learning to Predict in Unknown Dynamical Systems with Long-Term Memory [21.09861411069719]
本稿では,未知および部分的に観察された線形力学系におけるオンライン予測のための効率的かつ実用的な(多項式時間)アルゴリズムを提案する。我々のアルゴリズムは、対数的後悔のみを伴って、後向きのカルマンフィルタと競合する。我々の理論的および実験的結果は、部分的に観測されたデータからカルマンフィルタのほぼ正解(PAC)学習に必要な条件に光を当てた。
論文参考訳（メタデータ） (2020-10-12T17:50:21Z)
Analyzing the discrepancy principle for kernelized spectral filter learning algorithms [2.132096006921048]
本稿では, 並列化スペクトルフィルタ学習アルゴリズムにおいて, 相違原理とスムーズな残差に基づく修正について検討する。我々の理論的境界は、経験的推定誤差(固定設計)と予測誤差(ランダム設計)のために確立されたオラクルの不等式である。
論文参考訳（メタデータ） (2020-04-17T20:08:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。