Fugu-MT 論文翻訳(概要): Spectrum-BERT: Pre-training of Deep Bidirectional Transformers for Spectral Classification of Chinese Liquors

論文の概要: Spectrum-BERT: Pre-training of Deep Bidirectional Transformers for Spectral Classification of Chinese Liquors

arxiv url: http://arxiv.org/abs/2210.12440v1
Date: Sat, 22 Oct 2022 13:11:25 GMT
ステータス: 処理完了
システム内更新日: 2022-10-25 18:15:39.428987
Title: Spectrum-BERT: Pre-training of Deep Bidirectional Transformers for Spectral Classification of Chinese Liquors
Title（参考訳）: スペクトルBERT:中国語のスペクトル分類のための双方向変換器の事前学習
Authors: Yansong Wang, Yundong Sun, Yansheng Fu, Dongjie Zhu, Zhaoshuo Tian
Abstract要約: 本稿では,中国酒のスペクトル分類のための双方向トランスフォーマーの事前学習手法を提案し,これをSpectrum-BERTと略した。我々はNext Curve Prediction (NCP) と Masked Curve Model (MCM) の2つの事前学習タスクを精巧に設計し、未ラベルのサンプルを効果的に活用できるようにした。比較実験では、提案したSpectrum-BERTは、複数のメトリクスでベースラインを大幅に上回っている。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Spectral detection technology, as a non-invasive method for rapid detection of substances, combined with deep learning algorithms, has been widely used in food detection. However, in real scenarios, acquiring and labeling spectral data is an extremely labor-intensive task, which makes it impossible to provide enough high-quality data for training efficient supervised deep learning models. To better leverage limited samples, we apply pre-training & fine-tuning paradigm to the field of spectral detection for the first time and propose a pre-training method of deep bidirectional transformers for spectral classification of Chinese liquors, abbreviated as Spectrum-BERT. Specifically, first, to retain the model's sensitivity to the characteristic peak position and local information of the spectral curve, we innovatively partition the curve into multiple blocks and obtain the embeddings of different blocks, as the feature input for the next calculation. Second, in the pre-training stage, we elaborately design two pre-training tasks, Next Curve Prediction (NCP) and Masked Curve Model (MCM), so that the model can effectively utilize unlabeled samples to capture the potential knowledge of spectral data, breaking the restrictions of the insufficient labeled samples, and improving the applicability and performance of the model in practical scenarios. Finally, we conduct a large number of experiments on the real liquor spectral dataset. In the comparative experiments, the proposed Spectrum-BERT significantly outperforms the baselines in multiple metrics and this advantage is more significant on the imbalanced dataset. Moreover, in the parameter sensitivity experiment, we also analyze the model performance under different parameter settings, to provide a reference for subsequent research.
Abstract（参考訳）: スペクトル検出技術は、深層学習アルゴリズムと組み合わされた物質を迅速に検出するための非侵襲的手法であり、食品検出に広く用いられている。しかし、実際のシナリオでは、スペクトルデータの取得とラベル付けは非常に労働集約的な作業であり、効率的な教師付きディープラーニングモデルのトレーニングに十分な高品質なデータを提供することは不可能である。限られたサンプルをより有効活用するために,スペクトル検出の分野に事前学習と微調整のパラダイムを初めて適用し,中国酒のスペクトル分類のための深い双方向トランスフォーマの事前学習法を提案する。具体的には、まず特徴ピーク位置とスペクトル曲線の局所情報に対するモデルの感度を維持するため、革新的に曲線を複数のブロックに分割し、次の計算のための特徴入力として異なるブロックの埋め込みを得る。第2に,事前学習の段階では,Next Curve Prediction (NCP) と Masked Curve Model (MCM) という2つの事前学習タスクを精巧に設計し,未ラベルのサンプルを効果的に利用してスペクトルデータの潜在的な知識を捉え,不十分なラベル付きサンプルの制限を破り,実用シナリオにおけるモデルの適用性と性能を向上させる。最後に,実際の酒類スペクトルデータセットについて多数の実験を行った。比較実験では、提案したSpectrum-BERTが複数のメトリクスのベースラインを著しく上回り、この利点は不均衡なデータセットにおいてより重要である。また, パラメータ感度実験では, 異なるパラメータ設定下でのモデル性能を解析し, その後の研究へのリファレンスを提供する。

関連論文リスト

Point-Calibrated Spectral Neural Operators [54.13671100638092]
点レベル適応スペクトルベースで関数を近似することで演算子マッピングを学習する。点平衡スペクトル演算子は点レベル適応スペクトルベースで関数を近似することで演算子マッピングを学習する。
論文参考訳（メタデータ） (2024-10-15T08:19:39Z)
Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
論文参考訳（メタデータ） (2024-07-20T01:34:13Z)
DiffSpectralNet : Unveiling the Potential of Diffusion Models for Hyperspectral Image Classification [6.521187080027966]
我々は拡散と変圧器技術を組み合わせたDiffSpectralNetと呼ばれる新しいネットワークを提案する。まず,拡散モデルに基づく教師なし学習フレームワークを用いて,高レベル・低レベルのスペクトル空間的特徴を抽出する。この拡散法はスペクトル空間の特徴を多様かつ有意義に抽出し,HSI分類の改善につながる。
論文参考訳（メタデータ） (2023-10-29T15:26:37Z)
Hodge-Aware Contrastive Learning [101.56637264703058]
単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
論文参考訳（メタデータ） (2023-09-14T00:40:07Z)
Boosting the Generalization Ability for Hyperspectral Image Classification using Spectral-spatial Axial Aggregation Transformer [14.594398447576188]
ハイパースペクトル画像分類(HSIC)タスクでは、最も一般的に使われているモデル検証パラダイムは、画素単位のランダムサンプリングによってトレーニング・テストデータセットを分割することである。私たちの実験では、トレーニングとテストデータセットが多くの情報を共有しているため、高い精度が達成できたことが分かりました。本稿では,データセット分割間の一般化を保ったスペクトル-空間軸アグリゲーション変換器モデルSaaFormerを提案する。
論文参考訳（メタデータ） (2023-06-29T07:55:43Z)
Machine learning enabled experimental design and parameter estimation for ultrafast spin dynamics [54.172707311728885]
機械学習とベイズ最適実験設計(BOED)を組み合わせた方法論を提案する。本手法は,大規模スピンダイナミクスシミュレーションのためのニューラルネットワークモデルを用いて,BOEDの正確な分布と実用計算を行う。数値ベンチマークでは,XPFS実験の誘導,モデルパラメータの予測,実験時間内でのより情報的な測定を行う上で,本手法の優れた性能を示す。
論文参考訳（メタデータ） (2023-06-03T06:19:20Z)
Exploring Supervised Machine Learning for Multi-Phase Identification and Quantification from Powder X-Ray Diffraction Spectra [1.0660480034605242]
粉体X線回折分析は材料特性評価法の重要な構成要素である。深層学習は、X線スペクトルから結晶学パラメータと特徴を予測するための主要な焦点となっている。ここでは,多ラベル結晶相同定のための深層学習の代わりに,従来の教師付き学習アルゴリズムに関心がある。
論文参考訳（メタデータ） (2022-11-16T00:36:13Z)
Trustworthiness of Laser-Induced Breakdown Spectroscopy Predictions via Simulation-based Synthetic Data Augmentation and Multitask Learning [4.633997895806144]
レーザ誘起分解分光法を用いてスペクトルデータの定量的解析を行う。我々は、利用可能なトレーニングデータの小さなサイズと、未知のデータに対する推論中の予測の検証に対処する。
論文参考訳（メタデータ） (2022-10-07T18:00:09Z)
Explainable Predictive Modeling for Limited Spectral Data [0.0]
本稿では、高次元および限られたスペクトルデータの予測結果を解釈するために、最近の説明可能なAI技術を適用する。機器の解像度制限のため、分光データの重要な領域をピンポイントすると、データ収集プロセスを最適化する経路が生成される。具体的には,MLモデルの評価がリアルタイムの実践に堅牢であることを保証するために,3つの異なるシナリオを設計する。
論文参考訳（メタデータ） (2022-02-09T15:46:17Z)
Taming Overconfident Prediction on Unlabeled Data from Hindsight [50.9088560433925]
ラベルのないデータに対する予測の不確実性を最小化することは、半教師付き学習において優れた性能を達成するための鍵となる要素である。本稿では,アダプティブシャーニング(Adaptive Sharpening, ADS)と呼ばれる2つのメカニズムを提案する。 ADSは、プラグインにすることで最先端のSSLメソッドを大幅に改善する。
論文参考訳（メタデータ） (2021-12-15T15:17:02Z)
Deep Semi-supervised Knowledge Distillation for Overlapping Cervical Cell Instance Segmentation [54.49894381464853]
本稿では, ラベル付きデータとラベルなしデータの両方を, 知識蒸留による精度向上に活用することを提案する。摂動に敏感なサンプルマイニングを用いたマスク誘導型平均教師フレームワークを提案する。実験の結果,ラベル付きデータのみから学習した教師付き手法と比較して,提案手法は性能を著しく向上することがわかった。
論文参考訳（メタデータ） (2020-07-21T13:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。