論文の概要: One Rank at a Time: Cascading Error Dynamics in Sequential Learning

• arxiv url: http://arxiv.org/abs/2505.22602v1
• Date: Wed, 28 May 2025 17:16:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 17:35:50.758057
• Title: One Rank at a Time: Cascading Error Dynamics in Sequential Learning
• Title（参考訳）: 一度に1ランク:シークエンシャルラーニングにおけるカスケードエラーダイナミクス
• Authors: Mahtab Alizadeh Vandchali, Fangshuo, Liao, Anastasios Kyrillidis,
• Abstract要約: ランク1のサブスペースを逐次学習する際にエラーがどのように伝播するかを示す。 我々の貢献は、このシーケンシャルなプロセスにおけるエラー伝播の特徴である。 これらの誤りは予測可能な方法で複雑であり、アルゴリズム設計と安定性の保証の両方に影響を及ぼす。
• 参考スコア（独自算出の注目度）: 8.61384097894607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sequential learning -- where complex tasks are broken down into simpler, hierarchical components -- has emerged as a paradigm in AI. This paper views sequential learning through the lens of low-rank linear regression, focusing specifically on how errors propagate when learning rank-1 subspaces sequentially. We present an analysis framework that decomposes the learning process into a series of rank-1 estimation problems, where each subsequent estimation depends on the accuracy of previous steps. Our contribution is a characterization of the error propagation in this sequential process, establishing bounds on how errors -- e.g., due to limited computational budgets and finite precision -- affect the overall model accuracy. We prove that these errors compound in predictable ways, with implications for both algorithmic design and stability guarantees.
• Abstract（参考訳）: 複雑なタスクが単純で階層的なコンポーネントに分解されるシーケンス学習は、AIのパラダイムとして登場した。 本稿では,低ランク線形回帰レンズによる逐次学習を考察し,ランク1部分空間の逐次学習における誤差の伝播に着目した。 本稿では,学習過程を一連のランク1推定問題に分解する分析フレームワークを提案する。 私たちのコントリビューションは、このシーケンシャルなプロセスにおけるエラーの伝播の特徴であり、例えば、限られた計算予算と有限精度のために、エラーがモデル全体の正確性にどのように影響するかという境界を定めています。 これらの誤りは予測可能な方法で複雑であり、アルゴリズム設計と安定性の保証の両方に影響を及ぼす。

関連論文リスト

• Consistency-based Abductive Reasoning over Perceptual Errors of Multiple Pre-trained Models in Novel Environments [5.5855749614100825]
  本稿では,複数の事前学習モデルを活用することで,このリコール低減を緩和できるという仮説を述べる。 我々は,一貫性に基づく推論問題として,様々なモデルからの矛盾する予測を特定し,管理することの課題を定式化する。 本研究は,難解なシナリオにおいて,複数の不完全な推論者からの知識を堅牢に統合するための効果的なメカニズムとして,一貫性に基づく推論が有効であることを示す。
  論文  参考訳（メタデータ） (2025-05-25T23:17:47Z)
• Analysis of Overparameterization in Continual Learning under a Linear Model [5.5165579223151795]
  本研究では,勾配降下の簡単な設定における理論的観点から,連続学習と破滅的忘れについて検討する。 線形回帰モデルの文脈において,パラメータ化のみによって忘れを軽減できることを解析的に実証した。 この研究の一環として、単線型回帰タスクのリスクの漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2025-02-11T00:15:38Z)
• Rethinking Early Stopping: Refine, Then Calibrate [49.966899634962374]
  校正誤差と校正誤差は,訓練中に同時に最小化されないことを示す。 我々は,早期停止とハイパーパラメータチューニングのための新しい指標を導入し,トレーニング中の改善誤差を最小限に抑える。 本手法は,任意のアーキテクチャとシームレスに統合し,多様な分類タスクにおける性能を継続的に向上する。
  論文  参考訳（メタデータ） (2025-01-31T15:03:54Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Understanding Incremental Learning of Gradient Descent: A Fine-grained Analysis of Matrix Sensing [74.2952487120137]
  GD(Gradient Descent)は、機械学習モデルにおいて、良い一般化に対する暗黙のバイアスをもたらすと考えられている。 本稿では,行列センシング問題に対するGDのダイナミクスを詳細に解析する。
  論文  参考訳（メタデータ） (2023-01-27T02:30:51Z)
• Online Regularized Learning Algorithm for Functional Data [2.5382095320488673]
  本稿では,Hilbertカーネル空間におけるオンライン正規化学習アルゴリズムについて考察する。 その結果, 定常的なステップサイズでの予測誤差と推定誤差の収束速度は, 文献と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-24T11:56:10Z)
• Stabilizing Q-learning with Linear Architectures for Provably Efficient Learning [53.17258888552998]
  本研究では,線形関数近似を用いた基本的な$Q$-learningプロトコルの探索変種を提案する。 このアルゴリズムの性能は,新しい近似誤差というより寛容な概念の下で,非常に優雅に低下することを示す。
  論文  参考訳（メタデータ） (2022-06-01T23:26:51Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Learning-to-learn non-convex piecewise-Lipschitz functions [44.6133187924678]
  両機械学習アルゴリズムに適用可能な非タスクであるピースワイズ・リプシッツ関数に対するアルゴリズムのメタラーニングを分析する。 複数のオンライン学習タスクからアルゴリズムのステップサイズの両方を学習する実用的なメタ学習手法を提案する。
  論文  参考訳（メタデータ） (2021-08-19T16:22:48Z)
• Dictionary and prior learning with unrolled algorithms for unsupervised inverse problems [12.54744464424354]
  本稿では,二段階問題として,劣化測定による辞書と事前学習について検討する。 合成と解析の近似定式化を解くために, アンロールアルゴリズムを利用する。
  論文  参考訳（メタデータ） (2021-06-11T12:21:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。