論文の概要: STRADAViT: Towards a Foundational Model for Radio Astronomy through Self-Supervised Transfer

• arxiv url: http://arxiv.org/abs/2603.29660v1
• Date: Tue, 31 Mar 2026 12:22:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-01 15:25:03.638467
• Title: STRADAViT: Towards a Foundational Model for Radio Astronomy through Self-Supervised Transfer
• Title（参考訳）: STRADAViT:自己監督移動による電波天文学の基礎モデルを目指して
• Authors: Andrea DeMarco, Ian Fenech Conti, Hayley Camilleri, Ardiana Bushi, Simone Riggi,
• Abstract要約: STRADAViTは移動可能な電波天文学画像エンコーダのフレームワークである。 電波天文学を意識したビュー生成は、アウト・オブ・ザ・ボックス・ビジョン・トランスフォーマーよりも強力な出発点を提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Next-generation radio astronomy surveys are producing millions of resolved sources, but robust morphology analysis remains difficult across heterogeneous telescopes and imaging pipelines. We present STRADAViT, a self-supervised Vision Transformer continued-pretraining framework for transferable radio astronomy image encoders. STRADAViT combines a mixed-survey pretraining dataset, radio astronomy-aware view generation, and controlled continued pretraining through reconstruction-only, contrastive-only, and two-stage branches. Pretraining uses 512x512 radio astronomy cutouts from MeerKAT, ASKAP, LOFAR/LoTSS, and SKA data. We evaluate transfer with linear probing and fine-tuning on three morphology benchmarks: MiraBest, LoTSS DR2, and Radio Galaxy Zoo. Relative to the initialization used for continued pretraining, the best two-stage STRADAViT models improve Macro-F1 in all reported linear-probe settings and in most fine-tuning settings, with the largest gain on RGZ DR1. Relative to strong DINOv2 baselines, gains are selective but remain positive on LoTSS DR2 and RGZ DR1 under linear probing, and on MiraBest and RGZ DR1 under fine-tuning. A targeted DINOv2-initialized HCL ablation further shows that the adaptation recipe is not specific to a single starting point. The released STRADAViT checkpoint remains the preferred model because it offers competitive transfer at lower token count and downstream cost than the DINOv2-based alternative. These results show that radio astronomy-aware view generation and staged continued pretraining provide a stronger starting point than out-of-the-box Vision Transformers for radio astronomy transfer.
• Abstract（参考訳）: 次世代の電波天文学調査は何百万もの解決された情報源を生み出しているが、頑健な形態解析は異種望遠鏡や撮像パイプラインで難しいままである。 本稿では、移動可能な電波天文学画像エンコーダのための自己監督型ビジョントランスフォーマーSTRADAViTについて述べる。 STRADAViTは、混合サーベイ事前トレーニングデータセット、電波天文学対応ビュー生成と、再構成のみ、コントラストのみ、および2段階のブランチを通じて継続事前トレーニングを制御する。 Pretrainingは、MeerKAT、ASKAP、LOFAR/LoTSS、SKAデータから512x512個の電波天文学をカットアウトする。 我々は,MiraBest,LoTSS DR2,Radio Galaxy Zooの3つの形態素ベンチマークを用いて,線形探索と微調整による移動を評価する。 継続事前トレーニングに使用される初期化に関連して、最高の2段階のSTRADAViTモデルは、報告されたすべての線形プローブ設定およびほとんどの微調整設定においてマクロF1を改善し、RGZ DR1で最大の利益を得た。 強いDINOv2塩基性に対してゲインは選択的であるが、リニアプローブ下ではLOTSS DR2とRGZ DR1、微調整時にはMiraBestとRGZ DR1に陽性である。 標的とするDINOv2初期化HCLアブレーションは、適応レシピが単一開始点に特異的でないことをさらに示している。 リリースされたSTRADAViTチェックポイントは、DINOv2ベースの代替品よりも低いトークン数とダウンストリームコストで競合転送を提供するため、依然として好まれるモデルである。 これらの結果から,電波天文学を意識した視線生成と段階的事前訓練が,電波天文学の移動に使用する視線変換器よりも強力な出発点となることが示唆された。

関連論文リスト

• Prediction of Major Solar Flares Using Interpretable Class-dependent Reward Framework with Active Region Magnetograms and Domain Knowledge [4.3863289127101455]
  クラス依存報酬(CDR)を用いた教師付き分類フレームワークを初めて開発し,24時間以内に$geq$MMのフレアを予測する。 我々は3つのディープラーニングモデル(CNN、CNN-BiLSTM、Transformer)と3つのCDRモデル(CDR-CNN、CDR-CNN-BiLSTM、CDR-Transformer)を適用する。 我々は、LOS磁場パラメータとTransformerの重要性を分析し、その性能をLOSのみ、ベクトルのみ、および複合磁界パラメータを用いて比較する。
  論文  参考訳（メタデータ） (2026-02-18T08:30:02Z)
• The Path Not Taken: RLVR Provably Learns Off the Principals [85.41043469428365]
  スパーシティはモデル条件の最適化バイアスの表面積であることを示す。 我々はこれらの力学を三ゲージ理論で機械的に説明する。 本稿では,RLVRの学習力学のパラメータレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-11-11T18:49:45Z)
• STAR-R1: Spatial TrAnsformation Reasoning by Reinforcing Multimodal LLMs [49.41782982417187]
  MLLM(Multimodal Large Language Models)は、様々なタスクにまたがる顕著な能力を示すが、空間的推論において人間よりもはるかに遅れている。 このギャップを変換駆動型視覚推論(TVR)を用いて検討する。 本稿では,STAR-R1を提案する。STAR-R1は単一ステージのRLパラダイムとTVRに適した微細な報酬機構を統合した新しいフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T17:57:38Z)
• Self-supervised learning for radio-astronomy source classification: a benchmark [7.242380808853482]
  近日発売のスクエア・キロメーター・アレイ(SKA)望遠鏡は、電波天文学において重要な一歩を踏み出した。 光写真画像に事前訓練された従来の視覚モデルは、電波干渉画像では最適に動作しない可能性がある。 本研究では,ラジオ天文学へのセルフ・スーパーバイザード・ラーニングの適用について検討する。
  論文  参考訳（メタデータ） (2024-11-21T12:43:19Z)
• ExPLoRA: Parameter-Efficient Extended Pre-Training to Adapt Vision Transformers under Domain Shifts [52.1635661239108]
  本稿では,事前学習された視覚変換器(ViT)のドメインシフト下での伝達学習を改善するために,ExPLoRAを提案する。 我々の実験は、衛星画像の最先端の成果を実証し、完全な事前学習や微調整のViTよりも優れています。
  論文  参考訳（メタデータ） (2024-06-16T15:14:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。