論文の概要: WiFi2Cap: Semantic Action Captioning from Wi-Fi CSI via Limb-Level Semantic Alignment

• arxiv url: http://arxiv.org/abs/2603.22690v1
• Date: Tue, 24 Mar 2026 01:30:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-25 19:53:37.238508
• Title: WiFi2Cap: Semantic Action Captioning from Wi-Fi CSI via Limb-Level Semantic Alignment
• Title（参考訳）: WiFi2Cap:Limb-LevelセマンティックアライメントによるWi-Fi CSIからのセマンティックアクションキャプション
• Authors: Tzu-Ti Wei, Chu-Yu Huang, Yu-Chee Tseng, Jen-Jee Chen,
• Abstract要約: WiFi2Capは、Wi-Fi CSIから直接アクションキャプションを生成するためのフレームワークである。 視覚言語教師は、同期されたビデオテキストペアから転送可能な監督を学習する。 CSIの学生は、教師の視覚空間とテキストの埋め込みに整列しています。
• 参考スコア（独自算出の注目度）: 9.839080085440274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Privacy-preserving semantic understanding of human activities is important for indoor sensing, yet existing Wi-Fi CSI-based systems mainly focus on pose estimation or predefined action classification rather than fine-grained language generation. Mapping CSI to natural-language descriptions remains challenging because of the semantic gap between wireless signals and language and direction-sensitive ambiguities such as left/right limb confusion. We propose WiFi2Cap, a three-stage framework for generating action captions directly from Wi-Fi CSI. A vision-language teacher learns transferable supervision from synchronized video-text pairs, and a CSI student is aligned to the teacher's visual space and text embeddings. To improve direction-sensitive captioning, we introduce a Mirror-Consistency Loss that reduces mirrored-action and left-right ambiguities during cross-modal alignment. A prefix-tuned language model then generates action descriptions from CSI embeddings. We also introduce the WiFi2Cap Dataset, a synchronized CSI-RGB-sentence benchmark for semantic captioning from Wi-Fi signals. Experimental results show that WiFi2Cap consistently outperforms baseline methods on BLEU-4, METEOR, ROUGE-L, CIDEr, and SPICE, demonstrating effective privacy-friendly semantic sensing.
• Abstract（参考訳）: プライバシ保護による人間活動の意味理解は屋内センシングにおいて重要であるが,既存のWi-Fi CSIベースのシステムは,詳細な言語生成ではなく,ポーズ推定や事前定義された行動分類に重点を置いている。 CSIを自然言語記述にマッピングするのは、無線信号と言語間の意味的ギャップと、左右手足の混乱のような方向感受性の曖昧さのためである。 我々はWi-Fi CSIから直接アクションキャプションを生成する3段階フレームワークであるWiFi2Capを提案する。 視覚言語教師は、同期されたビデオテキストペアから転送可能な監督を学習し、CSI学生は教師の視覚空間とテキスト埋め込みに整列する。 方向感性キャプションを改善するために,ミラー・コンシスタンス・ロスを導入し,クロスモーダルアライメント時のミラー・アクションや左右のあいまいさを低減させる。 プレフィックス付き言語モデルは、CSI埋め込みからアクション記述を生成する。 また、Wi-Fi信号からのセマンティックキャプションを同期化するためのCSI-RGB-SentenceベンチマークであるWiFi2Cap Datasetを導入する。 実験の結果,WiFi2CapはBLEU-4, METEOR, ROUGE-L, CIDEr, SPICEのベースライン手法を一貫して上回り, 効果的なプライバシーフレンドリなセマンティックセンシングを実証している。

関連論文リスト

• Unifying Heterogeneous Multi-Modal Remote Sensing Detection Via Language-Pivoted Pretraining [59.2578488860426]
  不均一なマルチモーダルリモートセンシングオブジェクト検出は、多様なセンサからオブジェクトを正確に検出することを目的としている。 既存のアプローチでは、下流の微調整中にモーダリティアライメントとタスク固有の最適化が絡み合う遅延アライメントパラダイムが採用されている。 本稿では,下流のタスク学習からモダリティアライメントを明確に分離する,統一型言語パイロット事前学習フレームワークであるBabelRSを提案する。
  論文  参考訳（メタデータ） (2026-03-02T11:38:12Z)
• MobiDiary: Autoregressive Action Captioning with Wearable Devices and Wireless Signals [20.30554810750095]
  スマートホームにおけるヒューマンアクティビティ認識(HAR)は、健康モニタリングと補助的生活に不可欠である。 本研究では,異種物理信号から直接日常活動の自然言語記述を生成するフレームワークMobiDiaryを提案する。
  論文  参考訳（メタデータ） (2026-01-13T04:16:17Z)
• Constrained Prompt Enhancement for Improving Zero-Shot Generalization of Vision-Language Models [57.357091028792325]
  ウェブスケールのデータに基づいて事前訓練された視覚言語モデル(VLM)は、ゼロショットの一般化を約束するが、しばしば意味的ミスアライメントに悩まされる。 視覚・テクストアライメントを改善するために,制約付きプロンプトエンハンスメント(CPE)法を提案する。 提案手法はTGSSG(Topology-Guided Synonymous Semantic Generation)とCADRS(Calegory-Agnostic Discriminative Region Selection)の2つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-08-24T15:45:22Z)
• Data-Efficient Generalization for Zero-shot Composed Image Retrieval [67.46975191141928]
  ZS-CIRは、トレーニングのために配布する三つ子を必要とせず、参照画像とテキスト記述に基づいて対象画像を検索することを目的としている。 1つの一般的なアプローチは、マッピングネットワークを用いてテキスト埋め込み空間内の擬似ワードトークンに画像埋め込みを転送するビジョン言語事前学習パラダイムである。 テキスト・サプリメント(TS)モジュールとセマンティック・セット(S-Set)という2つの新しい設計を含む,データ効率の一般化(DeG)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-07T07:49:31Z)
• CSI-BERT2: A BERT-inspired Framework for Efficient CSI Prediction and Classification in Wireless Communication and Sensing [19.12026243010111]
  CSI予測と分類タスクのための統合フレームワークCSI-BERT2を提案する。 このフレームワークはBERTに適応し、双方向の自己認識機構を通じてCSI配列間の複雑な関係をキャプチャする。 CSI-BERT2は、すべてのタスクで最先端のパフォーマンスを達成することを実証している。
  論文  参考訳（メタデータ） (2024-12-09T06:44:04Z)
• FILS: Self-Supervised Video Feature Prediction In Semantic Language Space [11.641926922266347]
  本稿では,セマンティックビデオ表現を学習するための自己教師型アプローチを示す。 本稿では,意味言語空間における特徴予測手法であるFILSについて述べる。
  論文  参考訳（メタデータ） (2024-06-05T16:44:06Z)
• CgT-GAN: CLIP-guided Text GAN for Image Captioning [48.276753091051035]
  本稿では,CLIP-Guided text GAN (CgT-GAN) を提案する。 我々は,外部テキストコーパスのフレーズを模倣するために,CgT-GANの教育に逆行訓練を用いる。 CgT-GANは、すべてのメトリクスで最先端のメソッドを著しく上回る。
  論文  参考訳（メタデータ） (2023-08-23T10:25:37Z)
• ABINet++: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Spotting [121.11880210592497]
  言語モデルの限られた能力は,1)暗黙的な言語モデリング,2)一方向の特徴表現,3)雑音入力を伴う言語モデルから生じる。 シーンテキストスポッティングのための自律的で双方向かつ反復的なABINet++を提案する。
  論文  参考訳（メタデータ） (2022-11-19T03:50:33Z)
• WiFi-based Spatiotemporal Human Action Perception [53.41825941088989]
  SNN(End-to-end WiFi signal Neural Network)は、Wi-Fiのみのセンシングを可能にするために提案されている。 特に、3D畳み込みモジュールはWiFi信号の時間的連続性を探索することができ、特徴自己保持モジュールは支配的な特徴を明示的に維持することができる。
  論文  参考訳（メタデータ） (2022-06-20T16:03:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。