論文の概要: Sequential Changepoint Detection in Neural Networks with Checkpoints

• arxiv url: http://arxiv.org/abs/2010.03053v1
• Date: Tue, 6 Oct 2020 21:49:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-10 06:11:37.678014
• Title: Sequential Changepoint Detection in Neural Networks with Checkpoints
• Title（参考訳）: チェックポイント付きニューラルネットワークにおける逐次変化点検出
• Authors: Michalis K. Titsias, Jakub Sygnowski, Yutian Chen
• Abstract要約: 本稿では,オンライン変化点検出と同時モデル学習のためのフレームワークを提案する。 次々に一般化された確率比テストを行うことにより、経時的に変化点を検出する。 オンラインベイズ変化点検出と比較して性能が向上した。
• 参考スコア（独自算出の注目度）: 11.763229353978321
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a framework for online changepoint detection and simultaneous model learning which is applicable to highly parametrized models, such as deep neural networks. It is based on detecting changepoints across time by sequentially performing generalized likelihood ratio tests that require only evaluations of simple prediction score functions. This procedure makes use of checkpoints, consisting of early versions of the actual model parameters, that allow to detect distributional changes by performing predictions on future data. We define an algorithm that bounds the Type I error in the sequential testing procedure. We demonstrate the efficiency of our method in challenging continual learning applications with unknown task changepoints, and show improved performance compared to online Bayesian changepoint detection.
• Abstract（参考訳）: 深層ニューラルネットワークなどの高度パラメータモデルに適用可能な,オンライン変更点検出と同時モデル学習のためのフレームワークを提案する。 単純な予測スコア関数の評価のみを必要とする一般化された確率比試験を逐次実施することにより、時間とともに変化点を検出する。 この手順では、実際のモデルパラメータの初期バージョンで構成されるチェックポイントを使用し、将来のデータで予測を行うことで、分布の変化を検出することができる。 シーケンシャルなテスト手順でType Iエラーをバウンドするアルゴリズムを定義する。 未知のタスク変更点を持つ連続学習アプリケーションに対して,本手法の有効性を実証し,オンラインベイズ変化点検出と比較し,改善効果を示す。

関連論文リスト

• Enhancing Changepoint Detection: Penalty Learning through Deep Learning Techniques [2.094821665776961]
  本研究では,ペナルティパラメータを予測するための新しいディープラーニング手法を提案する。 これにより、大規模なベンチマーク管理されたラベル付きデータセットにおいて、明らかに変更点検出精度が向上する。
  論文  参考訳（メタデータ） (2024-08-01T18:10:05Z)
• Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
  連続学習を逐次関数空間変動推論として定式化した目的を提案する。 ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。 タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
  論文  参考訳（メタデータ） (2023-12-28T18:44:32Z)
• Automatic Change-Point Detection in Time Series via Deep Learning [8.43086628139493]
  ニューラルネットワークのトレーニングに基づいて,新しいオフライン検出手法を自動生成する方法を示す。 本稿では,そのような手法の誤差率を定量化する理論について述べる。 また,加速度計データに基づく活動変化の検出と位置推定にも強い効果が得られた。
  論文  参考訳（メタデータ） (2022-11-07T20:59:14Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Online Changepoint Detection on a Budget [5.077509096253692]
  変更ポイントは、基礎となるデータの分布の急激なバリエーションである。 本稿では,オフラインの切替点検出アルゴリズムと比較したオンライン切替点検出アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-01-11T00:20:33Z)
• MEMO: Test Time Robustness via Adaptation and Augmentation [131.28104376280197]
  テスト時間ロバスト化の問題、すなわちモデルロバスト性を改善するためにテストインプットを用いて検討する。 最近の先行研究ではテスト時間適応法が提案されているが、それぞれ追加の仮定を導入している。 モデルが確率的で適応可能な任意のテスト環境で使用できるシンプルなアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-18T17:55:11Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Score-Based Change Detection for Gradient-Based Learning Machines [9.670556223243182]
  本稿では,経験的リスク最小化により学習した機械学習モデルの任意のコンポーネント数の変化を検出できる汎用的なスコアベース変化検出手法を提案する。 仮説テストの整合性を確立し、所定の誤報率を達成するためにそれを校正する方法を示す。
  論文  参考訳（メタデータ） (2021-06-27T01:38:11Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Change Point Detection in Time Series Data using Autoencoders with a Time-Invariant Representation [69.34035527763916]
  変化点検出(CPD)は、時系列データにおける急激な特性変化を見つけることを目的としている。 近年のCDD法は、深層学習技術を用いる可能性を示したが、信号の自己相関統計学におけるより微妙な変化を識別する能力に欠けることが多い。 我々は、新しい損失関数を持つオートエンコーダに基づく手法を用い、使用済みオートエンコーダは、CDDに適した部分的な時間不変表現を学習する。
  論文  参考訳（メタデータ） (2020-08-21T15:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。