論文の概要: Design of an basis-projected layer for sparse datasets in deep learning training using gc-ms spectra as a case study

• arxiv url: http://arxiv.org/abs/2403.09188v1
• Date: Thu, 14 Mar 2024 09:03:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-15 21:16:56.412096
• Title: Design of an basis-projected layer for sparse datasets in deep learning training using gc-ms spectra as a case study
• Title（参考訳）: gc-msスペクトルを用いた深層学習におけるスパースデータセットのベースプロジェクション層の設計
• Authors: Yu Tang Chang, Shih Fang Chen,
• Abstract要約: ディープラーニング(DL)モデルは、ビッグデータから複雑なパターンを学ぶことができる。 すべてのデータは、DLモデルを効果的にトレーニングするために、最初は適切な形式に格納されるわけではない。 これらのデータセットは一般に多くのゼロ値を含む。 スパースデータを高密度表現に変換するために基底投影層(BPL)が提案された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Deep learning (DL) models encompass millions or even billions of parameters and learn complex patterns from big data. However, not all data are initially stored in a suitable formation to effectively train a DL model, e.g., gas chromatography-mass spectrometry (GC-MS) spectra and DNA sequence. These datasets commonly contain many zero values, and the sparse data formation causes difficulties in optimizing DL models. A DL module called the basis-projected layer (BPL) was proposed to mitigate the issue by transforming the sparse data into a dense representation. The transformed data is expected to facilitate the gradient calculation and finetuned process in a DL training process. The dataset, example of a sparse dataset, contained 362 specialty coffee odorant spectra detected from GC-MS. The BPL layer was placed at the beginning of the DL model. The tunable parameters in the layer were learnable projected axes that were the bases of a new representation space. The layer rotated these bases when its parameters were updated. When the number of the bases was the same as the original dimension, the increasing percentage of the F1 scores was 8.56%. Furthermore, when the number was set as 768 (the original dimension was 490), the increasing percentage of the F1 score was 11.49%. The layer not only maintained the model performance and even constructed a better representation space in analyzing sparse datasets.
• Abstract（参考訳）: ディープラーニング(DL)モデルは、数百万から数十億のパラメータを包含し、ビッグデータから複雑なパターンを学ぶ。 しかし、当初は全てのデータがDLモデル、例えばガスクロマトグラフィー質量分析法(GC-MS)やDNA配列を効果的に訓練するために適切な形態で保存されているわけではない。 これらのデータセットは一般に多くのゼロ値を含み、スパースデータ生成はDLモデルの最適化に困難を引き起こす。 スパースデータを高密度表現に変換することで問題を緩和するため,BPLと呼ばれるDLモジュールが提案された。 変換されたデータは、DLトレーニングプロセスにおける勾配計算と微調整プロセスを容易にすることが期待されている。 データセットはスパースデータセットの例で、GC-MSから検出された362の特別なコーヒー臭気スペクトルを含んでいた。 BPL層はDLモデルの初めに配置された。 層内の調整可能なパラメータは、新しい表現空間の基底となる学習可能な射影軸である。 レイヤはパラメータが更新されたときにこれらのベースを回転させた。 ベース数が元の寸法と同じ場合、F1スコアの増加率は8.56%であった。 さらに、番号が768(当初の寸法は490)と設定された場合、F1スコアの増加率は11.49%であった。 このレイヤはモデルのパフォーマンスを維持できるだけでなく、スパースデータセットの分析において、より良い表現空間を構築した。

関連論文リスト

• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Scaling Retrieval-Based Language Models with a Trillion-Token Datastore [85.4310806466002]
  検索ベースLMが使用するデータストアのサイズを増大させることで,言語モデリングや下流タスクを一元的に改善できることがわかった。 データストア、モデル、事前学習データサイズで計算最適スケーリング曲線をプロットすることにより、より大きなデータストアを使用することで、同じトレーニング計算予算のモデル性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-07-09T08:27:27Z)
• SpectralGPT: Spectral Remote Sensing Foundation Model [60.023956954916414]
  SpectralGPTという名前のユニバーサルRS基盤モデルは、新しい3D生成事前学習変換器(GPT)を用いてスペクトルRS画像を処理するために構築されている。 既存の基礎モデルと比較して、SpectralGPTは、様々なサイズ、解像度、時系列、領域をプログレッシブトレーニング形式で対応し、広範なRSビッグデータのフル活用を可能にする。 我々の評価では、事前訓練されたスペクトルGPTモデルによる顕著な性能向上が強調され、地球科学分野におけるスペクトルRSビッグデータ応用の進展に有意な可能性を示唆している。
  論文  参考訳（メタデータ） (2023-11-13T07:09:30Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• LD-GAN: Low-Dimensional Generative Adversarial Network for Spectral Image Generation with Variance Regularization [72.4394510913927]
  ディープラーニング法はスペクトル画像(SI)計算タスクの最先端技術である。 GANは、データ分散から学習およびサンプリングすることで、多様な拡張を可能にする。 この種のデータの高次元性は、GANトレーニングの収束を妨げるため、GANベースのSI生成は困難である。 本稿では, オートエンコーダ訓練における低次元表現分散を制御し, GANで生成されたサンプルの多様性を高めるための統計正則化を提案する。
  論文  参考訳（メタデータ） (2023-04-29T00:25:02Z)
• HLSDataset: Open-Source Dataset for ML-Assisted FPGA Design using High Level Synthesis [1.7795190822602627]
  本稿では,HLSを用いたML支援FPGA設計のためのデータセットであるHLSDatasetを提案する。 データセットはPolybench、Machsuite、CHStone、Rossettaなど、広く使用されているHLS Cベンチマークから生成される。 生成されたVerilogサンプルの総数はFPGAタイプあたり9000近い。
  論文  参考訳（メタデータ） (2023-02-17T17:00:12Z)
• Classification of Quasars, Galaxies, and Stars in the Mapping of the Universe Multi-modal Deep Learning [0.0]
  Sloan Digital Sky Survey (SDSS-4)の第4バージョンであるData Release 16データセットは、SDSSデータセットを、マシンラーニングとディープラーニングアーキテクチャを使用して、銀河、星、クエーサーに分類するために使用された。 我々は、新しいマルチモーダルアーキテクチャを構築し、最先端の結果を得る。
  論文  参考訳（メタデータ） (2022-05-22T05:17:31Z)
• Variational Auto Encoder Gradient Clustering [0.0]
  近年,ディープニューラルネットワークモデルを用いたクラスタリングが広く研究されている。 本稿では、より良いクラスタリングを実現するために確率関数勾配上昇を使用してデータを処理する方法を検討する。 DBSCANクラスタリングアルゴリズムに基づいて,データに適したクラスタ数を調べるための簡便かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2021-05-11T08:00:36Z)
• Generating synthetic photogrammetric data for training deep learning based 3D point cloud segmentation models [0.0]
  I/ITSEC 2019で著者らは、3Dフォトグラムのポイントクラウド/ミームをセグメント化し、オブジェクト情報を抽出する、完全に自動化されたワークフローを発表した。 最終的な目標は、現実的な仮想環境を作成し、シミュレーションに必要な情報を提供することである。
  論文  参考訳（メタデータ） (2020-08-21T18:50:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。