論文の概要: Large Model for Small Data: Foundation Model for Cross-Modal RF Human Activity Recognition

• arxiv url: http://arxiv.org/abs/2410.19766v1
• Date: Sun, 13 Oct 2024 03:43:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-03 08:19:39.289204
• Title: Large Model for Small Data: Foundation Model for Cross-Modal RF Human Activity Recognition
• Title（参考訳）: 小型データの大規模モデル:クロスモーダルRFヒューマンアクティビティ認識のための基礎モデル
• Authors: Yuxuan Weng, Guoquan Wu, Tianyue Zheng, Yanbing Yang, Jun Luo,
• Abstract要約: 我々は、RFベースのHARシステムを強化するために、視覚ベースのFMの知識を翻訳するクロスモーダルフレームワークであるFM-Fiを紹介する。 FM-Fiは、RFエンコーダがFMの解釈力を引き継ぐことができる新しいクロスモーダルコントラストな知識蒸留機構を含んでいる。 また、FMとRFの本質的な能力を利用して、2つのモード間のアライメントを改善するために外在的な特徴を取り除いている。
• 参考スコア（独自算出の注目度）: 7.351361666395708
• License:
• Abstract: Radio-Frequency (RF)-based Human Activity Recognition (HAR) rises as a promising solution for applications unamenable to techniques requiring computer visions. However, the scarcity of labeled RF data due to their non-interpretable nature poses a significant obstacle. Thanks to the recent breakthrough of foundation models (FMs), extracting deep semantic insights from unlabeled visual data become viable, yet these vision-based FMs fall short when applied to small RF datasets. To bridge this gap, we introduce FM-Fi, an innovative cross-modal framework engineered to translate the knowledge of vision-based FMs for enhancing RF-based HAR systems. FM-Fi involves a novel cross-modal contrastive knowledge distillation mechanism, enabling an RF encoder to inherit the interpretative power of FMs for achieving zero-shot learning. It also employs the intrinsic capabilities of FM and RF to remove extraneous features for better alignment between the two modalities. The framework is further refined through metric-based few-shot learning techniques, aiming to boost the performance for predefined HAR tasks. Comprehensive evaluations evidently indicate that FM-Fi rivals the effectiveness of vision-based methodologies, and the evaluation results provide empirical validation of FM-Fi's generalizability across various environments.
• Abstract（参考訳）: RF(Radio-Frequency)ベースのヒューマンアクティビティ認識(HAR)は、コンピュータビジョンを必要とする技術では実現不可能なアプリケーションのための有望なソリューションである。 しかし、その非解釈性に起因するラベル付きRFデータの不足は大きな障害となる。 近年のファンデーションモデル(FM)のブレークスルーにより、ラベルのないビジュアルデータから深いセマンティックな洞察を抽出することは可能になったが、これらのビジョンベースのFMは小さなRFデータセットに適用すると不足する。 このギャップを埋めるために、RFベースのHARシステムを強化するためのビジョンベースのFMの知識を翻訳するために設計された、革新的なクロスモーダルフレームワークであるFM-Fiを導入する。 FM-Fiは、新しいクロスモーダルなコントラスト的な知識蒸留機構を備えており、RFエンコーダは、ゼロショット学習を達成するためにFMの解釈力を継承することができる。 また、FMとRFの本質的な能力を利用して、2つのモード間のアライメントを改善するために外在的な特徴を取り除いている。 このフレームワークは、事前に定義されたHARタスクのパフォーマンス向上を目的として、メトリックベースの数ショット学習技術によってさらに洗練されている。 包括的評価は、FM-Fiが視覚に基づく手法の有効性に匹敵していることを示し、評価結果は様々な環境におけるFM-Fiの一般化可能性の実証的検証を提供する。

関連論文リスト

• Brain Network Diffusion-Driven fMRI Connectivity Augmentation for Enhanced Autism Spectrum Disorder Diagnosis [12.677178802864029]
  fMRIデータ取得とラベル付けのコストが高いため、fMRIデータの量は少ないことが多い。 生成モデル、特に拡散モデルの増加に伴い、実際のデータ分布に近い現実的なサンプルを生成する能力は、データ拡張に広く利用されている。
  論文  参考訳（メタデータ） (2024-09-11T08:02:57Z)
• NeRF-DetS: Enhancing Multi-View 3D Object Detection with Sampling-adaptive Network of Continuous NeRF-based Representation [60.47114985993196]
  NeRF-Detは、新しいビュー演算と3D知覚のタスクを統一する。 我々は,新しい3次元知覚ネットワーク構造であるNeRF-DetSを導入する。 NeRF-DetSはScanNetV2データセット上で競合するNeRF-Detより優れている。
  論文  参考訳（メタデータ） (2024-04-22T06:59:03Z)
• RF-Diffusion: Radio Signal Generation via Time-Frequency Diffusion [15.175370227353406]
  RF信号の時間・周波数・複素値領域における情報入力を可能にするため,新しい時間周波数拡散理論を導入する。 RF拡散(RF-Diffusion)は、多種多様な高品質かつ時系列のRFデータを生成する汎用的なソリューションである。 また、5Gネットワークにおいて、Wi-Fiセンシングシステムを強化し、チャネル推定を行う上で、RF拡散の汎用性を示す。
  論文  参考訳（メタデータ） (2024-04-14T04:56:05Z)
• Foundation Model Sherpas: Guiding Foundation Models through Knowledge and Reasoning [23.763256908202496]
  ファンデーションモデル(FM)は、さまざまなタスクにおいて顕著なパフォーマンスを示すことによって、AIの分野に革命をもたらした。 FMは、多くの現実世界システムで広く採用されるのを防ぐために、多くの制限を課している。 エージェントがFMと対話できる様々なモードをカプセル化する概念的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-02-02T18:00:35Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• Robust and Communication-Efficient Federated Domain Adaptation via Random Features [9.97347047837426]
  フェデレートされたドメイン適応(FDA)は、この課題に対処するための強力なアプローチとして現れます。 RF-TCAは、理論的および経験的性能を損なうことなく計算を著しく高速化する標準転送成分分析手法の拡張である。 我々は,FedRF-TCAの優れた性能とロバスト性(ネットワーク状態への)を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-11-08T13:46:58Z)
• Learn From Model Beyond Fine-Tuning: A Survey [78.80920533793595]
  Learn From Model (LFM) は、モデルインターフェースに基づいた基礎モデル(FM)の研究、修正、設計に焦点を当てている。 LFM技術の研究は、モデルチューニング、モデル蒸留、モデル再利用、メタラーニング、モデル編集の5つの分野に大別できる。 本稿では, LFM の観点から, FM に基づく現在の手法を概観する。
  論文  参考訳（メタデータ） (2023-10-12T10:20:36Z)
• The Role of Federated Learning in a Wireless World with Foundation Models [59.8129893837421]
  ファンデーションモデル(FM)は汎用人工知能(AI)モデルである。 現在、FMと連邦学習(FL)の相互作用の探索はまだ初期段階にある。 本稿では、FMが無線ネットワークよりもFLに適した範囲について検討し、その研究課題と機会について概観する。
  論文  参考訳（メタデータ） (2023-10-06T04:13:10Z)
• Boosting Factorization Machines via Saliency-Guided Mixup [125.15872106335692]
  我々は、MixupにインスパイアされたMixFMを紹介し、ファクトリゼーションマシン(FM)を強化するための補助的なトレーニングデータを生成する。 また、Saliency-Guided Mixup(SMFM)を利用した新しいファクトリゼーションマシンも提案した。
  論文  参考訳（メタデータ） (2022-06-17T09:49:00Z)
• Model-based Deep Learning Receiver Design for Rate-Splitting Multiple Access [65.21117658030235]
  本研究では,モデルベース深層学習(MBDL)に基づく実用的なRSMA受信機の設計を提案する。 MBDL受信機は、符号なしシンボル誤り率(SER)、リンクレベルシミュレーション(LLS)によるスループット性能、平均トレーニングオーバーヘッドの観点から評価される。 その結果,MBDLはCSIRが不完全なSIC受信機よりも優れていた。
  論文  参考訳（メタデータ） (2022-05-02T12:23:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。