Fugu-MT 論文翻訳(概要): Staying Alive: Online Neural Network Maintenance and Systemic Drift

論文の概要: Staying Alive: Online Neural Network Maintenance and Systemic Drift

arxiv url: http://arxiv.org/abs/2503.17681v1
Date: Sat, 22 Mar 2025 07:38:44 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-25 14:34:51.980797
Title: Staying Alive: Online Neural Network Maintenance and Systemic Drift
Title（参考訳）: Staying Alive: オンラインニューラルネットワークのメンテナンスとシステムドリフト
Authors: Joshua E. Hammond, Tyler Soderstrom, Brian A. Korgel, Michael Baldea,
Abstract要約: 本稿では,トレーニング済みモデルの重み付けをオンラインで更新する手法として,SEKF(Subset Extended Kalman Filter)を提案する。オンラインモデルメンテナンスにおけるファインタニングとSEKFを比較し,システムドリフトの存在下での比較を行った。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: We present the Subset Extended Kalman Filter (SEKF) as a method to update previously trained model weights online rather than retraining or finetuning them when the system a model represents drifts away from the conditions under which it was trained. We identify the parameters to be updated using the gradient of the loss function and use the SEKF to update only these parameters. We compare finetuning and SEKF for online model maintenance in the presence of systemic drift through four dynamic regression case studies and find that the SEKF is able to maintain model accuracy as-well if not better than finetuning while requiring significantly less time per iteration, and less hyperparameter tuning.
Abstract（参考訳）: モデルがトレーニング対象の条件から離れてドリフトするシステムにおいて、トレーニング済みのモデル重みをオンラインに更新する手法として、SEKF(Subset Extended Kalman Filter)を提案する。損失関数の勾配を用いて更新すべきパラメータを特定し、SEKFを用いてこれらのパラメータのみを更新する。 4つの動的回帰ケーススタディを通して、オンラインモデル保守における微調整とSEKFを比較し、SEKFは、1イテレーションあたりの時間を大幅に短縮し、ハイパーパラメータチューニングを低減しつつ、微調整よりも優れたモデル精度を維持することができることを示した。

関連論文リスト

SAFE: Slow and Fast Parameter-Efficient Tuning for Continual Learning with Pre-Trained Models [26.484208658326857]
継続的な学習は、過去の知識を忘れることに抵抗しながら、データストリームにおける新しい概念を漸進的に獲得することを目的としている。強力な事前学習モデル(PTM)の台頭に伴い、インクリメンタル学習システムのトレーニングへの関心が高まっている。
論文参考訳（メタデータ） (2024-11-04T15:34:30Z)
Trajectory Flow Matching with Applications to Clinical Time Series Modeling [77.58277281319253]
Trajectory Flow Matching (TFM) は、シミュレーションのない方法でニューラルSDEを訓練し、ダイナミックスを通してバックプロパゲーションをバイパスする。絶対的性能と不確実性予測の観点から,3つの臨床時系列データセットの性能向上を実証した。
論文参考訳（メタデータ） (2024-10-28T15:54:50Z)
Large Continual Instruction Assistant [59.585544987096974]
CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-08T11:24:59Z)
SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
論文参考訳（メタデータ） (2024-09-10T16:44:47Z)
Deep autoregressive density nets vs neural ensembles for model-based offline reinforcement learning [2.9158689853305693]
本稿では、利用可能なデータからシステムダイナミクスを推定し、仮想モデルロールアウトにおけるポリシー最適化を行うモデルベース強化学習アルゴリズムについて考察する。このアプローチは、実際のシステムで破滅的な失敗を引き起こす可能性のあるモデルエラーを悪用することに対して脆弱である。 D4RLベンチマークの1つのよく校正された自己回帰モデルにより、より良い性能が得られることを示す。
論文参考訳（メタデータ） (2024-02-05T10:18:15Z)
Kalman Filter for Online Classification of Non-Stationary Data [101.26838049872651]
オンライン連続学習(OCL)では、学習システムはデータのストリームを受け取り、予測とトレーニングの手順を順次実行する。本稿では,線形予測量に対するニューラル表現と状態空間モデルを用いた確率ベイズオンライン学習モデルを提案する。多クラス分類の実験では、モデルの予測能力と非定常性を捉える柔軟性を示す。
論文参考訳（メタデータ） (2023-06-14T11:41:42Z)
Online Hyperparameter Optimization for Class-Incremental Learning [99.70569355681174]
クラス増分学習(Class-incremental Learning, CIL)は、クラス数がフェーズごとに増加する一方で、分類モデルを訓練することを目的としている。 CILの固有の課題は、安定性と塑性のトレードオフである。すなわち、CILモデルは古い知識を保ち、新しい知識を吸収するためにプラスチックを保たなければならない。本稿では,事前設定を知らずにトレードオフを適応的に最適化するオンライン学習手法を提案する。
論文参考訳（メタデータ） (2023-01-11T17:58:51Z)
Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
論文参考訳（メタデータ） (2022-10-17T08:14:49Z)
Online Dynamics Learning for Predictive Control with an Application to Aerial Robots [3.673994921516517]
予測モデルは学習し、モデルベースのコントローラに適用することができるが、これらのモデルはしばしばオフラインで学習される。このオフライン設定では、トレーニングデータをまず収集し、精巧なトレーニング手順により予測モデルを学ぶ。本稿では,デプロイ中の動的モデルの精度を継続的に向上するオンライン動的学習フレームワークを提案する。
論文参考訳（メタデータ） (2022-07-19T15:51:25Z)
A Fast and Efficient Conditional Learning for Tunable Trade-Off between Accuracy and Robustness [11.35810118757863]
クリーンかつ逆摂動画像上でのSOTA(State-of-the-art)性能を実現する既存のモデルは、FiLM(Feature-wise linear modulation)層を条件とした畳み込み操作に依存している。既存のFiLMベースの条件付けの代わりに、付加層を必要としない独特な重み付き学習を行うFLOATアルゴリズムを提案する。特に、重みテンソルにスケールドノイズを加え、クリーンな性能と対向的な性能のトレードオフを可能にする。
論文参考訳（メタデータ） (2022-03-28T19:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。