論文の概要: Permutation Invariant Learning with High-Dimensional Particle Filters

• arxiv url: http://arxiv.org/abs/2410.22695v1
• Date: Wed, 30 Oct 2024 05:06:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-31 14:28:31.282480
• Title: Permutation Invariant Learning with High-Dimensional Particle Filters
• Title（参考訳）: 高次元粒子フィルタを用いた置換不変学習
• Authors: Akhilan Boopathy, Aneesh Muppidi, Peggy Yang, Abhiram Iyer, William Yue, Ila Fiete,
• Abstract要約: 深層モデルのシークエンシャルラーニングは、しばしば破滅的な忘れ物や可塑性の喪失といった課題に悩まされる。 本研究では,高次元粒子フィルタに基づく新しい置換不変学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 8.878254892409005
• License:
• Abstract: Sequential learning in deep models often suffers from challenges such as catastrophic forgetting and loss of plasticity, largely due to the permutation dependence of gradient-based algorithms, where the order of training data impacts the learning outcome. In this work, we introduce a novel permutation-invariant learning framework based on high-dimensional particle filters. We theoretically demonstrate that particle filters are invariant to the sequential ordering of training minibatches or tasks, offering a principled solution to mitigate catastrophic forgetting and loss-of-plasticity. We develop an efficient particle filter for optimizing high-dimensional models, combining the strengths of Bayesian methods with gradient-based optimization. Through extensive experiments on continual supervised and reinforcement learning benchmarks, including SplitMNIST, SplitCIFAR100, and ProcGen, we empirically show that our method consistently improves performance, while reducing variance compared to standard baselines.
• Abstract（参考訳）: 深層モデルのシークエンシャルラーニングは、しばしば破滅的な忘れ込みや可塑性の喪失といった課題に悩まされる。 本研究では,高次元粒子フィルタに基づく新しい置換不変学習フレームワークを提案する。 粒子フィルタは訓練用ミニバッチやタスクの逐次順序に不変であり、破滅的な忘れと可塑性の喪失を緩和する原理的な解を提供する。 我々はベイズ法と勾配に基づく最適化を組み合わせた高次元モデル最適化のための効率的な粒子フィルタを開発した。 SplitMNIST, SplitCIFAR100, ProcGen などの連続的教師付きおよび強化学習ベンチマークに関する広範な実験を通じて,本手法は標準ベースラインに比べてばらつきを低減しつつ, 常に性能を向上させることを実証的に示す。

関連論文リスト

• Differentiable Interacting Multiple Model Particle Filtering [24.26220422457388]
  本研究では,パラメータ学習のための連続モンテカルロアルゴリズムを提案する。 我々は、微分可能な粒子フィルタリングの新たな枠組みを採用し、パラメータは勾配降下によって訓練される。 提案アルゴリズムの新たな理論的結果を確立し,従来の最先端アルゴリズムと比較して優れた数値性能を示す。
  論文  参考訳（メタデータ） (2024-10-01T12:05:18Z)
• Regime Learning for Differentiable Particle Filters [19.35021771863565]
  微分可能な粒子フィルタは、シーケンシャルモンテカルロ法とニューラルネットワークの柔軟性を組み合わせて状態空間推論を行う新しいモデルのクラスである。 個々の体制と切り替えプロセスの両方を同時に学習する事前のアプローチは存在しない。 本稿では,ニューラルネットワークを用いた微分可能粒子フィルタ(RLPF)を提案する。
  論文  参考訳（メタデータ） (2024-05-08T07:43:43Z)
• Learning Differentiable Particle Filter on the Fly [18.466658684464598]
  微分可能な粒子フィルタは、シーケンシャルベイズ推論技術の新たなクラスである。 本稿では,データ到着時にモデルパラメータを更新できるように,微分可能な粒子フィルタのためのオンライン学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-10T17:54:40Z)
• Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
  いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。 我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。 本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
  論文  参考訳（メタデータ） (2023-09-11T22:42:50Z)
• Low-rank extended Kalman filtering for online learning of neural networks from streaming data [71.97861600347959]
  非定常データストリームから非線形関数のパラメータを推定するための効率的なオンライン近似ベイズ推定アルゴリズムを提案する。 この方法は拡張カルマンフィルタ (EKF) に基づいているが、新しい低ランク+斜角行列分解法を用いている。 変分推論に基づく手法とは対照的に,本手法は完全に決定論的であり,ステップサイズチューニングを必要としない。
  論文  参考訳（メタデータ） (2023-05-31T03:48:49Z)
• An overview of differentiable particle filters for data-adaptive sequential Bayesian inference [19.09640071505051]
  粒子フィルタ(PF)は非線形逐次状態推定問題を解くための効率的なメカニズムを提供する。 新たなトレンドは、ニューラルネットワークを使用して粒子フィルタのコンポーネントを構築し、勾配降下によって最適化することである。 微分可能な粒子フィルタは複雑な高次元タスクにおいて逐次データに対する推論を行うための有望な計算ツールである。
  論文  参考訳（メタデータ） (2023-02-19T18:03:53Z)
• Computational Doob's h-transforms for Online Filtering of Discretely Observed Diffusions [65.74069050283998]
  本研究では,Doobの$h$-transformsを近似する計算フレームワークを提案する。 提案手法は、最先端粒子フィルタよりも桁違いに効率的である。
  論文  参考訳（メタデータ） (2022-06-07T15:03:05Z)
• Deep Learning for the Benes Filter [91.3755431537592]
  本研究では,メッシュのないニューラルネットワークによるベンズモデルの解の密度の表現に基づく新しい数値計算法を提案する。 ニューラルネットワークの領域選択におけるフィルタリングモデル方程式における非線形性の役割について論じる。
  論文  参考訳（メタデータ） (2022-03-09T14:08:38Z)
• Initialization and Regularization of Factorized Neural Layers [23.875225732697142]
  ディープネットにおける因子化層の初期化と規則化の方法を示す。 これらのスキームが翻訳と教師なしプリトレーニングの両方のパフォーマンスを向上させる方法を示しています。
  論文  参考訳（メタデータ） (2021-05-03T17:28:07Z)
• Deep Shells: Unsupervised Shape Correspondence with Optimal Transport [52.646396621449]
  本稿では,3次元形状対応のための教師なし学習手法を提案する。 提案手法は,複数のデータセット上での最先端技術よりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-10-28T22:24:07Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。