論文の概要: An Uncertainty Principle for Linear Recurrent Neural Networks
- arxiv url: http://arxiv.org/abs/2502.09287v1
- Date: Thu, 13 Feb 2025 13:01:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-14 13:47:37.678290
- Title: An Uncertainty Principle for Linear Recurrent Neural Networks
- Title（参考訳）: リニアリカレントニューラルネットワークの不確かさ原理
- Authors: Alexandre François, Antonio Orvieto, Francis Bach,
- Abstract要約: 我々は、過去に$K$タイムステップのフィルタを近似する$S$の線形フィルタを構築した。
近似の低い境界と、この定数の低い境界を達成する明示的なフィルタを提供することによって、この問題を完全に特徴づける。
フィルタは過去の$K/S$に比例する範囲(幅)を持つ$K$-thの時間ステップの平均値でなければならない。
- 参考スコア（独自算出の注目度）: 54.13281679205581
- License:
- Abstract: We consider linear recurrent neural networks, which have become a key building block of sequence modeling due to their ability for stable and effective long-range modeling. In this paper, we aim at characterizing this ability on a simple but core copy task, whose goal is to build a linear filter of order $S$ that approximates the filter that looks $K$ time steps in the past (which we refer to as the shift-$K$ filter), where $K$ is larger than $S$. Using classical signal models and quadratic cost, we fully characterize the problem by providing lower bounds of approximation, as well as explicit filters that achieve this lower bound up to constants. The optimal performance highlights an uncertainty principle: the optimal filter has to average values around the $K$-th time step in the past with a range~(width) that is proportional to $K/S$.
- Abstract（参考訳）: 線形リカレントニューラルネットワークは、安定かつ効果的な長距離モデリングの能力から、シーケンスモデリングの重要な構成要素となっている。
本稿では、この機能を単純なコピータスクで特徴付けることを目的としており、その目的は、過去にK$のタイムステップ(シフト-K$フィルタと呼ばれる)を近似した、$S$の線形フィルタを構築することである。
古典的な信号モデルと二次的コストを用いて、我々は、この下限を定数に到達させる明示的なフィルタと同様に、下限の近似を提供することによって、問題を完全に特徴づける。
最適フィルタは、過去にK/S$に比例する範囲〜(幅)で、K$の時間ステップあたりの平均値を求める。
関連論文リスト
- Autonomous Sparse Mean-CVaR Portfolio Optimization [6.358973724565783]
本稿では,従来のモデルを任意の精度で近似できる,革新的な自律スパース平均CVaRポートフォリオモデルを提案する。
そこで我々は,近似交互線形化最小化アルゴリズムとネストした固定点近接アルゴリズム(どちらも収束)を併用してモデルを反復的に解く手法を提案する。
論文 参考訳（メタデータ） (2024-05-13T15:16:22Z) - Closed-form Filtering for Non-linear Systems [83.91296397912218]
我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。
本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。
提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
論文 参考訳（メタデータ） (2024-02-15T08:51:49Z) - Nearly Minimax Optimal Regret for Learning Linear Mixture Stochastic
Shortest Path [80.60592344361073]
線形混合遷移カーネルを用いた最短経路(SSP)問題について検討する。
エージェントは繰り返し環境と対話し、累積コストを最小化しながら特定の目標状態に到達する。
既存の作業は、イテレーションコスト関数の厳密な下限や、最適ポリシーに対する期待長の上限を仮定することが多い。
論文 参考訳（メタデータ） (2024-02-14T07:52:00Z) - Implicit Maximum a Posteriori Filtering via Adaptive Optimization [4.767884267554628]
標準ベイズフィルタ問題を時間変化目標に対する最適化として検討する。
我々のフレームワークは、高次元システムに対して効率的で堅牢でスケーラブルなフィルタをもたらすことを示す。
論文 参考訳（メタデータ） (2023-11-17T15:30:44Z) - Blessing of Nonconvexity in Deep Linear Models: Depth Flattens the
Optimization Landscape Around the True Solution [4.7464518249313805]
本研究は回帰の最適化ランドスケープに対する深さの影響を特徴づける。
非神経性にもかかわらず、より深いモデルはより望ましい最適化を持つことを示す。
論文 参考訳（メタデータ） (2022-07-15T17:11:26Z) - KL-Entropy-Regularized RL with a Generative Model is Minimax Optimal [70.15267479220691]
モデル強化学習のサンプル複雑性を,生成的分散自由モデルを用いて検討・解析する。
我々の分析は、$varepsilon$が十分小さい場合、$varepsilon$-optimal Policyを見つけるのが、ほぼ最小の最適化であることを示している。
論文 参考訳（メタデータ） (2022-05-27T19:39:24Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - Dependency Aware Filter Pruning [74.69495455411987]
重要でないフィルタを割ることは、推論コストを軽減するための効率的な方法である。
以前の作業は、その重み基準やそれに対応するバッチノームスケーリング要因に従ってフィルタをプルークする。
所望の空間性を達成するために,空間性誘導正規化を動的に制御する機構を提案する。
論文 参考訳（メタデータ） (2020-05-06T07:41:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。