Fugu-MT 論文翻訳(概要): AstroMAE: Redshift Prediction Using a Masked Autoencoder with a Novel Fine-Tuning Architecture

論文の概要: AstroMAE: Redshift Prediction Using a Masked Autoencoder with a Novel Fine-Tuning Architecture

arxiv url: http://arxiv.org/abs/2409.01825v1
Date: Tue, 3 Sep 2024 12:12:37 GMT
ステータス: 処理完了
システム内更新日: 2024-09-06 01:47:58.116437
Title: AstroMAE: Redshift Prediction Using a Masked Autoencoder with a Novel Fine-Tuning Architecture
Title（参考訳）: AstroMAE: 新しいファインチューニングアーキテクチャを用いたマスク付きオートエンコーダによる赤方偏移予測
Authors: Amirreza Dolatpour Fathkouhi, Geoffrey Charles Fox,
Abstract要約: AstroMAEは,マスク付きオートエンコーダ法を用いて視覚変換器エンコーダを事前訓練する革新的な手法である。この技術により、エンコーダはラベルに頼ることなく、データ内のグローバルパターンをキャプチャできる。我々は,様々な視覚変換器アーキテクチャとCNNベースのモデルに対して,我々のモデルを評価する。
参考スコア（独自算出の注目度）: 0.6906005491572401
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Redshift prediction is a fundamental task in astronomy, essential for understanding the expansion of the universe and determining the distances of astronomical objects. Accurate redshift prediction plays a crucial role in advancing our knowledge of the cosmos. Machine learning (ML) methods, renowned for their precision and speed, offer promising solutions for this complex task. However, traditional ML algorithms heavily depend on labeled data and task-specific feature extraction. To overcome these limitations, we introduce AstroMAE, an innovative approach that pretrains a vision transformer encoder using a masked autoencoder method on Sloan Digital Sky Survey (SDSS) images. This technique enables the encoder to capture the global patterns within the data without relying on labels. To the best of our knowledge, AstroMAE represents the first application of a masked autoencoder to astronomical data. By ignoring labels during the pretraining phase, the encoder gathers a general understanding of the data. The pretrained encoder is subsequently fine-tuned within a specialized architecture tailored for redshift prediction. We evaluate our model against various vision transformer architectures and CNN-based models, demonstrating the superior performance of AstroMAEs pretrained model and fine-tuning architecture.
Abstract（参考訳）: 赤偏移予測は天文学の基本的な課題であり、宇宙の膨張を理解し、天体の距離を決定するのに不可欠である。正確な赤方偏移予測は、宇宙の知識を前進させる上で重要な役割を果たす。機械学習(ML)メソッドは、精度とスピードで知られており、この複雑なタスクに対して有望なソリューションを提供する。しかし、従来のMLアルゴリズムはラベル付きデータとタスク固有の特徴抽出に大きく依存している。これらの制限を克服するために,Sloan Digital Sky Survey (SDSS) 画像のマスク付きオートエンコーダ法を用いて視覚変換器エンコーダを事前訓練する革新的なアプローチである AstroMAE を導入する。この技術により、エンコーダはラベルに頼ることなく、データ内のグローバルパターンをキャプチャできる。我々の知る限りでは、AstroMAEは天体データに対するマスク付きオートエンコーダの最初の応用である。事前学習フェーズ中にラベルを無視することにより、エンコーダはデータの一般的な理解を集める。事前訓練されたエンコーダは、その後、レッドシフト予測用に調整された特別なアーキテクチャ内で微調整される。我々は,様々な視覚変換器アーキテクチャとCNNモデルに対して評価を行い,アストロマエの事前学習モデルと微調整アーキテクチャの優れた性能を実証した。

関連論文リスト

Understanding Encoder-Decoder Structures in Machine Learning Using Information Measures [10.066310107046084]
機械学習(ML)におけるエンコーダデコーダ設計の役割をモデル化し理解するための新しい結果を提案する。我々は、機械学習における予測構造を表現するために、情報満足度(IS)と相互情報損失(MIL)という2つの主要な情報概念を用いる。
論文参考訳（メタデータ） (2024-05-30T19:58:01Z)
MaeFuse: Transferring Omni Features with Pretrained Masked Autoencoders for Infrared and Visible Image Fusion via Guided Training [57.18758272617101]
MaeFuseは、赤外線および可視画像融合(IVIF)用に設計された新しいオートエンコーダモデルである提案モデルでは,MAE(Masked Autoencoders)の事前訓練エンコーダを用いて,低レベル再構成と高レベル視覚タスクのためのオムニ特徴抽出機能を備えている。 MaeFuseは、融合技術という領域で新しい視点を導入するだけでなく、様々な公開データセットで顕著なパフォーマンスで際立っている。
論文参考訳（メタデータ） (2024-04-17T02:47:39Z)
A brief introduction to a framework named Multilevel Guidance-Exploration Network [23.794585834150983]
本稿では,Multilevel Guidance-Exploration Network(MGENet)と呼ばれる新しいフレームワークを提案する。具体的には、まず骨格キーポイントを入力とし、RGBエンコーダを誘導する学習済み正規化フローを用いて、未知のRGBフレームを入力として取り込んで、動作遅延特徴を探索する。提案手法は,上海技術とUBnormalデータセット上での最先端性能を実現する。
論文参考訳（メタデータ） (2023-12-07T08:20:07Z)
Regress Before Construct: Regress Autoencoder for Point Cloud Self-supervised Learning [18.10704604275133]
Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。我々は、ポイントクラウド自己教師型学習のための回帰オートエンコーダの新しいスキーム、Point Regress AutoEncoder (Point-RAE)を提案する。本手法は, 各種下流タスクの事前学習において効率よく, 一般化可能である。
論文参考訳（メタデータ） (2023-09-25T17:23:33Z)
ARFA: An Asymmetric Receptive Field Autoencoder Model for Spatiotemporal Prediction [55.30913411696375]
本稿では,非対称な受容場オートエンコーダ (ARFA) モデルを提案する。エンコーダでは,大域的時間的特徴抽出のための大規模なカーネルモジュールを提案し,デコーダでは局所的時間的再構成のための小さなカーネルモジュールを開発する。降水予測のための大規模レーダエコーデータセットであるRainBenchを構築し,その領域における気象データの不足に対処する。
論文参考訳（メタデータ） (2023-09-01T07:55:53Z)
Think Twice before Driving: Towards Scalable Decoders for End-to-End Autonomous Driving [74.28510044056706]
既存のメソッドは通常、分離されたエンコーダ-デコーダパラダイムを採用する。本研究は,この問題を2つの原則で緩和することを目的としている。まず、エンコーダの特徴に基づいて、粗い将来の位置と行動を予測する。そして、その位置と動作を条件に、将来のシーンを想像して、それに従って運転した場合にその影響を確認する。
論文参考訳（メタデータ） (2023-05-10T15:22:02Z)
MAPLE: Masked Pseudo-Labeling autoEncoder for Semi-supervised Point Cloud Action Recognition [160.49403075559158]
本稿では,Pseudo-Labeling autoEncoder (textbfMAPLE) フレームワークを提案する。特に、MAPLEのバックボーンとして、新規で効率的なtextbfDecoupled textbfspatial-textbftemporal TranstextbfFormer(textbfDestFormer)を設計する。 MAPLEは3つの公開ベンチマークにおいて優れた結果を得て、MSR-Action3の精度を8.08%向上させる。
論文参考訳（メタデータ） (2022-09-01T12:32:40Z)
Context Autoencoder for Self-Supervised Representation Learning [64.63908944426224]
符号化された表現空間で予測を行うことにより、符号化器を事前訓練する。ネットワークはエンコーダ/レグレッサ/デコーダアーキテクチャである。下流タスクにおける転送性能の向上によるCAEの有効性を実証する。
論文参考訳（メタデータ） (2022-02-07T09:33:45Z)
Sparsity and Sentence Structure in Encoder-Decoder Attention of Summarization Systems [38.672160430296536]
トランスフォーマーモデルは、要約を含む幅広いNLPタスクにおいて最先端の結果を得た。これまでの研究は、エンコーダの二次的自己保持機構という、重要なボトルネックに重点を置いてきた。この研究はトランスのエンコーダ・デコーダのアテンション機構に焦点を当てている。
論文参考訳（メタデータ） (2021-09-08T19:32:42Z)
Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
論文参考訳（メタデータ） (2020-10-07T21:02:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。