論文の概要: Informative regularization for a multi-layer perceptron RR Lyrae
classifier under data shift
- arxiv url: http://arxiv.org/abs/2303.06544v1
- Date: Sun, 12 Mar 2023 02:49:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 18:22:54.739176
- Title: Informative regularization for a multi-layer perceptron RR Lyrae
classifier under data shift
- Title（参考訳）: データシフト下における多層パーセプトロンRRライレー分類器のインフォーマティブ正規化
- Authors: Francisco P\'erez-Galarce and Karim Pichara and Pablo Huijse and
M\'arcio Catelan and Domingo Mery
- Abstract要約: 本稿では,情報正規化とアドホックなトレーニング手法に基づくスケーラブルで容易に適応可能なアプローチを提案し,シフト問題を緩和する。
提案手法は,特徴量からの知識をニューラルネットワークに組み込むことで,基礎となるデータシフト問題を管理する。
- 参考スコア（独自算出の注目度）: 3.303002683812084
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In recent decades, machine learning has provided valuable models and
algorithms for processing and extracting knowledge from time-series surveys.
Different classifiers have been proposed and performed to an excellent
standard. Nevertheless, few papers have tackled the data shift problem in
labeled training sets, which occurs when there is a mismatch between the data
distribution in the training set and the testing set. This drawback can damage
the prediction performance in unseen data. Consequently, we propose a scalable
and easily adaptable approach based on an informative regularization and an
ad-hoc training procedure to mitigate the shift problem during the training of
a multi-layer perceptron for RR Lyrae classification. We collect ranges for
characteristic features to construct a symbolic representation of prior
knowledge, which was used to model the informative regularizer component.
Simultaneously, we design a two-step back-propagation algorithm to integrate
this knowledge into the neural network, whereby one step is applied in each
epoch to minimize classification error, while another is applied to ensure
regularization. Our algorithm defines a subset of parameters (a mask) for each
loss function. This approach handles the forgetting effect, which stems from a
trade-off between these loss functions (learning from data versus learning
expert knowledge) during training. Experiments were conducted using recently
proposed shifted benchmark sets for RR Lyrae stars, outperforming baseline
models by up to 3\% through a more reliable classifier. Our method provides a
new path to incorporate knowledge from characteristic features into artificial
neural networks to manage the underlying data shift problem.
- Abstract（参考訳）: 過去数十年間、機械学習は時系列調査から知識を処理し抽出するための貴重なモデルとアルゴリズムを提供してきた。
異なる分類器が提案され、優れた標準として実行されている。
それにもかかわらず、ラベル付きトレーニングセットにおけるデータシフト問題に取り組んだ論文は少なく、トレーニングセット内のデータ分散とテストセットのミスマッチが発生した場合に発生する。
この欠点は、見えないデータの予測性能を損なう可能性がある。
そこで本研究では,rr lyrae分類のための多層パーセプトロンの訓練中にシフト問題を緩和するために,情報正規化とアドホックなトレーニング手順に基づくスケーラブルで適応性の高いアプローチを提案する。
特徴量の範囲を収集し,情報正規化成分のモデル化に用いた先行知識の記号表現を構築する。
同時に、ニューラルネットワークにこの知識を統合するための2ステップのバックプロパゲーションアルゴリズムを設計し、各エポックに1ステップを適用して分類誤差を最小化し、もう1ステップを正規化を保証する。
本アルゴリズムは各損失関数に対するパラメータのサブセット(マスク)を定義する。
このアプローチは、トレーニング中のこれらの損失関数(データから学ぶことと専門家の知識を学ぶこと)間のトレードオフに起因する、忘れることの効果を扱う。
RRリレー星に対する最近提案されたシフトベンチマークセットを用いて実験を行い、より信頼性の高い分類器によってベースラインモデルよりも最大3倍高い性能を示した。
提案手法は,特徴量からの知識をニューラルネットワークに組み込むことで,基礎となるデータシフト問題を管理する。
関連論文リスト
- Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Fixed Random Classifier Rearrangement for Continual Learning [0.5439020425819]
視覚分類のシナリオでは、ニューラルネットワークは新しいタスクを学習した後、必然的に古いタスクの知識を忘れる。
我々はFixed Random Rearrangement (FRCR)という連続学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-23T09:43:58Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Learning from Data with Noisy Labels Using Temporal Self-Ensemble [11.245833546360386]
ディープニューラルネットワーク(DNN)はノイズラベルを記憶する膨大な能力を持つ。
現在最先端の手法では、損失の少ないサンプルを用いて二重ネットワークを訓練するコトレーニング方式が提案されている。
本稿では,単一のネットワークのみをトレーニングすることで,シンプルで効果的なロバストトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-07-21T08:16:31Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳（メタデータ） (2022-06-01T03:02:07Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳（メタデータ） (2021-04-07T10:54:51Z) - Meta-learning One-class Classifiers with Eigenvalue Solvers for
Supervised Anomaly Detection [55.888835686183995]
教師付き異常検出のためのニューラルネットワークに基づくメタラーニング手法を提案する。
提案手法は,既存の異常検出法や少数ショット学習法よりも優れた性能を実現することを実験的に実証した。
論文 参考訳（メタデータ） (2021-03-01T01:43:04Z) - Two-Level Residual Distillation based Triple Network for Incremental
Object Detection [21.725878050355824]
本稿では,より高速なR-CNNに基づく新しいインクリメンタルオブジェクト検出手法を提案する。
従来の学習知識を忘れることなく、新しいクラスでの漸進的なモデル学習を支援するためのアシスタントとして、古いモデルと残留モデルを使用する三重ネットワークである。
論文 参考訳（メタデータ） (2020-07-27T11:04:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。