論文の概要: Closing the Modality Gap in Zero-Shot HAR: Contrastive Training and Separability-Optimized Prototypes on IMU Data

• arxiv url: http://arxiv.org/abs/2606.10789v1
• Date: Tue, 09 Jun 2026 12:39:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.495484
• Title: Closing the Modality Gap in Zero-Shot HAR: Contrastive Training and Separability-Optimized Prototypes on IMU Data
• Title（参考訳）: ゼロショットHARにおけるモダリティギャップの閉鎖:IMUデータに基づくコントラストトレーニングと分離性最適化プロトタイプ
• Authors: Anik Ghosh,
• Abstract要約: PAMAP2データセット上で,3つの推論手法と2つのトレーニングパイプラインを組み合わせた7つの構成を評価する。 モダリティギャップは,目的によって支配される訓練時間現象であることがわかった。 また、テストセットのクラス分布が不均衡である場合、全体的な精度が誤解を招く一次指標であることを実証する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Zero-shot learning (ZSL) for inertial measurement unit (IMU)-based human activity recognition (HAR) faces a central challenge: bridging the gap between sensor embeddings and semantic class representations. We systematically evaluate seven configurations combining three inference methods with two training pipelines on the PAMAP2 dataset, using 14 seen and 4 unseen activity classes with subjects 108 and 109 held out for testing. We find that the modality gap is a training-time phenomenon governed by the encoder objective. A temporal convolutional network (TCN) trained with cross-entropy over label-name Sentence- BERT prototypes yields sensor embeddings with a mean cosine similarity of 0.30 to the corresponding text prototypes, while replacing the label-name prototype targets with discriminative activity descriptions raises this to 0.69. This alignment improvement transfers consistently across all three inference methods. The strongest result combines contrastive training with inverted softmax correction, achieving 73.2% accuracy and 0.583 macro F1 on unseen classes, compared to 58.3% accuracy and 0.34 macro F1 for the label-name baseline. A secondary finding is that richer text descriptions reduce inter-prototype separability in Sentence-BERT space, because shared biomechanical vocabulary causes the language model to compress the prototype cloud. This effect does not negate the benefits of contrastive alignment provided prototype descriptions retain sufficient discriminative vocabulary. We also demonstrate that overall accuracy is a misleading primary metric when test-set class distributions are imbalanced, and recommend macro-averaged F1 as the standard reporting metric for ZSL-HAR benchmarks.
• Abstract（参考訳）: 慣性測定ユニット(IMU)に基づくヒューマンアクティビティ認識(HAR)のためのゼロショット学習(ZSL)は、センサ埋め込みとセマンティッククラス表現のギャップを埋めることという、中心的な課題に直面している。 PAMAP2データセット上での3つの推論手法と2つのトレーニングパイプラインを組み合わせた7つの構成を,被験者108と被験者109を対象とし,14の未知のアクティビティクラスと4の未知のアクティビティクラスを用いて体系的に評価した。 モダリティギャップはエンコーダの目的によって支配される訓練時間現象であることがわかった。 ラベル名 Sentence-BERT のプロトタイプよりもクロスエントロピーで訓練された時間畳み込みネットワーク(TCN)は、対応するテキストプロトタイプと平均コサイン類似度 0.30 のセンサー埋め込みを出力し、ラベル名のプロトタイプターゲットを識別的アクティビティ記述に置き換えることで、これを 0.69 に引き上げる。 このアライメント改善は、3つの推論方法すべてに一貫して移行する。 最強の結果は、コントラストトレーニングと逆ソフトマックス補正を組み合わせ、73.2%の精度と0.583のマクロF1を未確認のクラスで達成し、58.3%の精度と0.34のマクロF1をラベル名ベースラインで達成した。 二次的な発見として、よりリッチなテキスト記述は、バイオメカニカルな語彙を共有することによって、プロトタイプクラウドを圧縮するため、Sentence-BERT空間におけるプロトタイプ間セパビリティを低下させる。 この効果は、プロトタイプ記述が十分な差別的な語彙を保持するならば、対照的なアライメントの利点を否定するものではない。 また,ZSL-HARベンチマークの標準評価基準として,テストセットのクラス分布が不均衡である場合に,総合的精度が誤解を招く主指標であることを示し,マクロ平均F1を推奨する。

関連論文リスト

• CMAP: Cross-Modal Adaptive Prompting for Multi-Domain Task-Incremental Learning [3.1368611610608856]
  テキスト空間のタスクルーティングは、凍結されたCLIPテキストプロトタイプとコサイン類似のビジュアルガウスマッチングを置き換える。 視覚テキストの信頼度は、単一ガウスのクラスモデリングをK平均視覚プロトタイプとタスク校正しきい値の下でのクロスモーダルアライメントスコアに置き換える。 MTILベンチマークは118.7%と1201のクラスで74.2%のTransfer、80.5%のAverage、そして8のLast Under Order-Iを達成した。
  論文  参考訳（メタデータ） (2026-05-25T11:09:48Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• SegRAG: Training-Free Retrieval-Augmented Semantic Segmentation [13.665861251747144]
  SegRAGは、トレーニング不要の検索拡張セグメンテーションフレームワークである。 SAM3には、DINOv3機能バンクから派生したクラス固有のポイントプロンプトがある。 4つの標準ベンチマークでは、SegRAGはテキストのみのベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-05-17T19:51:32Z)
• Bilingual Text-to-Motion Generation: A New Benchmark and Baselines [52.71312720094036]
  LLMアノテーションと厳密な手動修正によって構築されたバイリンガルテキスト・モーション・ベンチマークであるBiHumanML3Dを紹介する。 また,CLA(Cross-Lingual Alignment)を用いたバイリンガルモーション拡散合成(BiMD)を提案する。 CLA を用いた BiMD は 0.045 対 0.169 対 R@3 対 80.8% の FID を達成し、単言語拡散モデルと BiHumanML3D の翻訳ベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2026-03-26T08:48:27Z)
• OrgForge-IT: A Verifiable Synthetic Benchmark for LLM-Based Insider Threat Detection [0.0]
  本稿では,決定論的シミュレーションエンジンが基底真理を維持し,言語モデルが表面の散文のみを生成する検証可能な合成ベンチマークを提案する。 コーパスは51日の模擬日、2,904回のテレメトリ記録を96.4%のノイズレートで記録し、単面と単日のトリアージ戦略を破るために設計された4つの検出シナリオをカバーしている。
  論文  参考訳（メタデータ） (2026-03-23T19:03:53Z)
• Binary Token-Level Classification with DeBERTa for All-Type MWE Identification: A Lightweight Approach with Linguistic Enhancement [1.8429656136522097]
  本稿では,バイナリトークンレベルの分類,言語的特徴の統合,データ拡張を組み合わせた,MWE識別のための包括的アプローチを提案する。 我々のDeBERTa-v3大規模モデルは、CoAMデータセット上で69.8%のF1を達成し、このデータセットで最高の結果(Qwen-72B, 57.8% F1)を12ポイント上回り、パラメータは165倍少ない。
  論文  参考訳（メタデータ） (2026-01-27T08:42:54Z)
• Data-Efficient American Sign Language Recognition via Few-Shot Prototypical Networks [0.0]
  孤立手話認識は、難聴者と難聴者(DHH)コミュニティと聴覚世界との間のコミュニケーションギャップを埋めるために重要である。 骨格型エンコーダに適応したFew-Shot Prototypeal Networkフレームワークを提案する。 提案手法は,記号が動的クラスプロトタイプに近接して分類される意味的距離空間の学習に,韻律的学習を利用する。
  論文  参考訳（メタデータ） (2025-12-11T11:50:03Z)
• SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator [65.62084602011596]
  大規模言語モデル(LLM)は、自然言語処理タスクの範囲で例外的な性能を示した。 特定の意味のないセパレータトークン(句読点)は意味的に意味のあるトークンと比較して注意点に不均等に寄与する。 SepLLMは,これらのセグメントを圧縮し,冗長なトークンを除去することによって推論を高速化する,プラグアンドプレイフレームワークである。
  論文  参考訳（メタデータ） (2024-12-16T18:58:57Z)
• HuBERT: Self-Supervised Speech Representation Learning by Masked Prediction of Hidden Units [81.53783563025084]
  本稿では、BERTのような予測損失に対して、アライメントされたターゲットラベルを提供するオフラインクラスタリングステップを提案する。 提案手法の重要な要素は,マスク領域にのみ予測損失を適用することである。 HuBERTは、より困難なdev-otherおよびtest-other評価サブセットに対して、最大19%と13%の相対的なWER削減を示す。
  論文  参考訳（メタデータ） (2021-06-14T14:14:28Z)
• Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
  SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。 ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。 SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
  論文  参考訳（メタデータ） (2021-05-16T09:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。