論文の概要: Building 6G Radio Foundation Models with Transformer Architectures

• arxiv url: http://arxiv.org/abs/2411.09996v1
• Date: Fri, 15 Nov 2024 07:01:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-18 15:37:17.688171
• Title: Building 6G Radio Foundation Models with Transformer Architectures
• Title（参考訳）: トランスフォーマーアーキテクチャによる6Gラジオファンデーションモデルの構築
• Authors: Ahmed Aboulfotouh, Ashkan Eshaghbeigi, Hatem Abou-Zeid,
• Abstract要約: 基礎深層学習(DL)モデルは、対象とするモダリティの一般的な、堅牢で適応可能な表現を学習するために設計されている。 これらのモデルは、自己教師付き学習(SSL)を使用して、大規模でラベルのないデータセットで事前訓練される スペクトログラム学習のための無線基礎モデルとして視覚変換器(ViT)を提案する。
• 参考スコア（独自算出の注目度）: 6.70088826174291
• License:
• Abstract: Foundation deep learning (DL) models are general models, designed to learn general, robust and adaptable representations of their target modality, enabling finetuning across a range of downstream tasks. These models are pretrained on large, unlabeled datasets using self-supervised learning (SSL). Foundation models have demonstrated better generalization than traditional supervised approaches, a critical requirement for wireless communications where the dynamic environment demands model adaptability. In this work, we propose and demonstrate the effectiveness of a Vision Transformer (ViT) as a radio foundation model for spectrogram learning. We introduce a Masked Spectrogram Modeling (MSM) approach to pretrain the ViT in a self-supervised fashion. We evaluate the ViT-based foundation model on two downstream tasks: Channel State Information (CSI)-based Human Activity sensing and Spectrogram Segmentation. Experimental results demonstrate competitive performance to supervised training while generalizing across diverse domains. Notably, the pretrained ViT model outperforms a four-times larger model that is trained from scratch on the spectrogram segmentation task, while requiring significantly less training time, and achieves competitive performance on the CSI-based human activity sensing task. This work demonstrates the effectiveness of ViT with MSM for pretraining as a promising technique for scalable foundation model development in future 6G networks.
• Abstract（参考訳）: Foundation Deep Learning(DL)モデルは、汎用モデルであり、ターゲットのモダリティの汎用的で堅牢で適応可能な表現を学習し、下流のタスクを微調整できるように設計されている。 これらのモデルは、自己教師付き学習(SSL)を使用して、大規模でラベルなしのデータセットで事前トレーニングされる。 ファンデーションモデルは、動的環境がモデル適応性を必要とする無線通信において重要な要件である、従来の教師付きアプローチよりも優れた一般化を実証してきた。 本研究では、スペクトログラム学習のための無線基礎モデルとして、視覚変換器(ViT)の有効性を提案し、実証する。 本稿では,MSM(Masked Spectrogram Modeling)アプローチを導入し,ViTを自己教師型で事前訓練する。 本稿では、チャネル状態情報(CSI)に基づくヒューマンアクティビティセンシングとスペクトログラムセグメンテーションという2つの下流タスクに基づいて、ViTベースの基礎モデルを評価する。 様々な領域にまたがって一般化しながら、教師あり訓練に対する競争力を示す実験結果が得られた。 特に、事前トレーニングされたViTモデルは、スペクトル分割タスクにおいて、スクラッチからトレーニングされる4倍の大きなモデルよりも優れ、トレーニング時間を大幅に削減し、CSIベースの人間活動検知タスク上での競争性能を達成する。 本研究は、将来の6Gネットワークにおけるスケーラブル基盤モデル開発のための有望な技術として、MSMによる事前学習の有効性を示す。

関連論文リスト

• Specialized Foundation Models Struggle to Beat Supervised Baselines [60.23386520331143]
  ゲノミクス、衛星画像、時系列の3つのモードを最近のFMで調べ、それらを標準的な教師付き学習ワークフローと比較する。 最新のファンデーションモデルにマッチしたり、性能を上回るような、シンプルな教師付きモデルのトレーニングが一貫して可能であることが分かりました。
  論文  参考訳（メタデータ） (2024-11-05T04:10:59Z)
• Comparison of self-supervised in-domain and supervised out-domain transfer learning for bird species recognition [0.19183348587701113]
  別のタスクを支援するために事前訓練されたモデルの重みを移すことは、現代のディープラーニングの重要な部分となっている。 本実験は,鳥種認識のためのドメイン内モデルとデータセットの有用性を実証するものである。
  論文  参考訳（メタデータ） (2024-04-26T08:47:28Z)
• An Experimental Study on Exploring Strong Lightweight Vision Transformers via Masked Image Modeling Pre-Training [51.622652121580394]
  Masked Image Modeling (MIM) Pre-training for Large-scale Vision Transformer (ViTs) は、学習した自己教師型ViT機能に加えて、下流での有望なパフォーマンスを実現する。 本稿では,テキストテキストレメリーで軽量なViTの微調整性能が,この事前学習パラダイムの恩恵を受けるかどうかを問う。 バニラ/階層設計(5.7M$/6.5M$)による純軽量ViTの蒸留による事前トレーニングは、ImageNet-1で79.4%$/78.9%の精度で達成できる。
  論文  参考訳（メタデータ） (2024-04-18T14:14:44Z)
• MTP: Advancing Remote Sensing Foundation Model via Multi-Task Pretraining [73.81862342673894]
  ファンデーションモデルは、様々な画像解釈タスクを強化することで、リモートセンシング(RS)のランドスケープを再構築した。 事前訓練されたモデルを下流のタスクに転送することは、イメージ分類やオブジェクト識別タスクとして事前訓練の定式化によるタスクの相違に遭遇する可能性がある。 SAMRSデータセット上で、セマンティックセグメンテーション、インスタンスセグメンテーション、回転オブジェクト検出を含むマルチタスクによる事前トレーニングを行う。 我々のモデルは、シーン分類、水平・回転物体検出、セマンティックセグメンテーション、変化検出など、様々なRS下流タスクに基づいて微調整される。
  論文  参考訳（メタデータ） (2024-03-20T09:17:22Z)
• ViT2EEG: Leveraging Hybrid Pretrained Vision Transformers for EEG Data [0.0]
  画像ネット上で事前学習したハイブリッドビジョントランスフォーマー(ViT)モデルの脳波回帰タスクへの応用を実演する。 このモデルは、ImageNetの重みなしでトレーニングされた同じアーキテクチャのViTなど、他のモデルと比較して、顕著なパフォーマンス向上を示している。
  論文  参考訳（メタデータ） (2023-08-01T11:10:33Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• UViM: A Unified Modeling Approach for Vision with Learned Guiding Codes [91.24112204588353]
  我々は、幅広いコンピュータビジョンタスクをモデル化できる統一的なアプローチであるUViMを紹介する。 以前のモデルとは対照的に、UViMは全てのタスクに対して同じ機能を持つ。 多様な3つの視覚課題に対するUViMの有効性を実証する。
  論文  参考訳（メタデータ） (2022-05-20T17:47:59Z)
• How to train your ViT? Data, Augmentation, and Regularization in Vision Transformers [74.06040005144382]
  ビジョントランスフォーマー(ViT)は、幅広いビジョンアプリケーションにおいて高い競争力を発揮することが示されている。 我々は,トレーニングデータの量,AugReg,モデルサイズ,計算予算の相互作用をよりよく理解するために,体系的な実証的研究を行う。 私たちは、パブリックなImageNet-21kデータセットでさまざまなサイズのViTモデルをトレーニングします。
  論文  参考訳（メタデータ） (2021-06-18T17:58:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。