論文の概要: Approximate Bayesian Class-Conditional Models under Continuous Representation Shift

• arxiv url: http://arxiv.org/abs/2305.19076v2
• Date: Tue, 7 May 2024 13:05:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 20:33:08.032142
• Title: Approximate Bayesian Class-Conditional Models under Continuous Representation Shift
• Title（参考訳）: 連続表現シフト下における近似ベイズ類連続モデル
• Authors: Thomas L. Lee, Amos Storkey,
• Abstract要約: 現在の手法は、学習にノイズを導入して、分類器を徐々に表現シフトに切り替えるだけである。 本稿では,この問題を解決するための経験的ベイズ的手法であるDeepCCGを提案する。 提案手法は,オンラインCL手法のスペクトルに対して良好に動作し,表現シフトによる性能変化を低減できることを実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: For models consisting of a classifier in some representation space, learning online from a non-stationary data stream often necessitates changes in the representation. So, the question arises of what is the best way to adapt the classifier to shifts in representation. Current methods only slowly change the classifier to representation shift, introducing noise into learning as the classifier is misaligned to the representation. We propose DeepCCG, an empirical Bayesian approach to solve this problem. DeepCCG works by updating the posterior of a class conditional Gaussian classifier such that the classifier adapts in one step to representation shift. The use of a class conditional Gaussian classifier also enables DeepCCG to use a log conditional marginal likelihood loss to update the representation. To perform the update to the classifier and representation, DeepCCG maintains a fixed number of examples in memory and so a key part of DeepCCG is selecting what examples to store, choosing the subset that minimises the KL divergence between the true posterior and the posterior induced by the subset. We explore the behaviour of DeepCCG in online continual learning (CL), demonstrating that it performs well against a spectrum of online CL methods and that it reduces the change in performance due to representation shift.
• Abstract（参考訳）: ある表現空間における分類器からなるモデルの場合、静止しないデータストリームからオンラインに学習することは、しばしば表現の変化を必要とする。 したがって、この疑問は、表現のシフトに分類器を適応させる最良の方法は何ですか? 現在の手法は、分類器を徐々に表現シフトに変化させ、分類器が表現に不整合しているため、学習にノイズを導入するだけである。 本稿では,この問題を解決するための経験的ベイズ的手法であるDeepCCGを提案する。 DeepCCGは、クラス条件付きガウス分類器の後部を更新することで、分類器が1ステップで表現シフトに適応する。 クラス条件付きガウス分類器を使用することで、DeepCCGはログ条件付き辺縁確率損失を使用して表現を更新できる。 分類器と表現の更新を行うため、DeepCCGはメモリ内の固定されたサンプル数を保持しており、DeepCCGのキー部分は格納するサンプルを選択し、サブセットによって誘導される真の後部と後部の間のKLのばらつきを最小化するサブセットを選択する。 オンライン連続学習(CL)におけるDeepCCGの挙動を考察し、オンラインCL手法のスペクトルに対して良好に機能し、表現シフトによる性能変化を低減することを実証する。

関連論文リスト

• Early Preparation Pays Off: New Classifier Pre-tuning for Class Incremental Semantic Segmentation [13.62129805799111]
  クラスインクリメンタルセマンティックセグメンテーションは、新しいタスクを学習しながら古い知識を保存することを目的としている。 それは破滅的な忘れ込みとバックグラウンドシフトの問題によって妨げられる。 そこで本研究では,正規学習プロセスの前に適用された新しい分類器プレチューニング(NeST)手法を提案する。
  論文  参考訳（メタデータ） (2024-07-19T09:19:29Z)
• ProTeCt: Prompt Tuning for Taxonomic Open Set Classification [59.59442518849203]
  分類学的オープンセット(TOS)設定では、ほとんどショット適応法はうまくいきません。 本稿では,モデル予測の階層的一貫性を校正する即時チューニング手法を提案する。 次に,階層整合性のための新しいPrompt Tuning(ProTeCt)手法を提案し,ラベル集合の粒度を分類する。
  論文  参考訳（メタデータ） (2023-06-04T02:55:25Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Learning Context-aware Classifier for Semantic Segmentation [88.88198210948426]
  本稿では,文脈認識型分類器の学習を通じて文脈ヒントを利用する。 本手法はモデルに依存しないため,ジェネリックセグメンテーションモデルにも容易に適用できる。 無視できる追加パラメータと+2%の推論時間だけで、小型モデルと大型モデルの両方で十分な性能向上が達成されている。
  論文  参考訳（メタデータ） (2023-03-21T07:00:35Z)
• Class-Specific Explainability for Deep Time Series Classifiers [6.566615606042994]
  ディープ時系列分類器におけるクラス固有の説明可能性の開放的問題について検討する。 我々は,深層多クラス時系列分類器を説明するために,サリエンシマップを学習する新しい説明可能性手法DEMUXを設計する。 我々の実験的研究は、DEMUXが5つの一般的なデータセットで9つの最先端の代替品より優れていることを示した。
  論文  参考訳（メタデータ） (2022-10-11T12:37:15Z)
• CondNet: Conditional Classifier for Scene Segmentation [46.62529212678346]
  従来のグローバル分類器を置き換える条件付き分類器を提案する。 クラス内での区別に参画し、より高密度な認識能力に繋がる。 条件付き分類器(CondNetと呼ばれる)を備えたフレームワークは、2つのデータセットで新しい最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2021-09-21T17:19:09Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Regular Polytope Networks [29.44144177954405]
  我々は、変換は精度を損なわず、メモリ使用量を減らすことなく修正できると主張しています。 また、固定および最大分離埋め込みを学ぶために使用することができます。 埋め込みの定常性とその最大分離表現を理論的に正当化できることを示した。
  論文  参考訳（メタデータ） (2021-03-29T14:11:32Z)
• Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning [55.052517095437]
  勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:51:29Z)
• Minimum Variance Embedded Auto-associative Kernel Extreme Learning Machine for One-class Classification [1.4146420810689422]
  VAAKELMは、自己連想型カーネル極端学習マシンの拡張である。 アーキテクチャ内に最小分散情報を埋め込んで、クラス内の分散を減らす。 これは、一級分類に対する再構成に基づくアプローチに従い、再構成エラーを最小限にする。
  論文  参考訳（メタデータ） (2020-11-24T17:00:30Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。