論文の概要: Transformer-Based Contrastive Meta-Learning For Low-Resource Generalizable Activity Recognition

• arxiv url: http://arxiv.org/abs/2412.20290v1
• Date: Sat, 28 Dec 2024 21:57:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:07:41.962784
• Title: Transformer-Based Contrastive Meta-Learning For Low-Resource Generalizable Activity Recognition
• Title（参考訳）: トランスフォーマーを用いた低音源一般化型アクティビティ認識のためのコントラストメタラーニング
• Authors: Junyao Wang, Mohammad Abdullah Al Faruque,
• Abstract要約: 一般化可能なHARのためのトランスフォーマーに基づくコントラストメタラーニング手法であるTACOを提案する。 TACOは、モデルの一般化可能性を明確に考慮したトレーニングにおいて、仮想ターゲットドメインを合成することでDSに対処する。 評価の結果,TACOは様々な低リソースDSシナリオにおいて顕著に優れた性能を発揮することが示された。
• 参考スコア（独自算出の注目度）: 14.434647668734184
• License:
• Abstract: Deep learning has been widely adopted for human activity recognition (HAR) while generalizing a trained model across diverse users and scenarios remains challenging due to distribution shifts. The inherent low-resource challenge in HAR, i.e., collecting and labeling adequate human-involved data can be prohibitively costly, further raising the difficulty of tackling DS. We propose TACO, a novel transformer-based contrastive meta-learning approach for generalizable HAR. TACO addresses DS by synthesizing virtual target domains in training with explicit consideration of model generalizability. Additionally, we extract expressive feature with the attention mechanism of Transformer and incorporate the supervised contrastive loss function within our meta-optimization to enhance representation learning. Our evaluation demonstrates that TACO achieves notably better performance across various low-resource DS scenarios.
• Abstract（参考訳）: ディープラーニングはヒューマンアクティビティ認識(HAR)に広く採用されている一方で、多様なユーザやシナリオにわたってトレーニングされたモデルを一般化することは、分散シフトのために難しいままである。 HARにおける固有の低リソースの課題、すなわち適切な人間関係データの収集とラベル付けは、費用がかからず、DSに取り組むことの難しさを高めることができる。 一般化可能なHARのための新しいトランスフォーマーに基づくコントラストメタラーニング手法であるTACOを提案する。 TACOは、モデルの一般化可能性を明確に考慮したトレーニングにおいて、仮想ターゲットドメインを合成することでDSに対処する。 さらに,Transformerの注意機構を付加した表現的特徴を抽出し,メタ最適化に教師付きコントラスト損失関数を組み込んで表現学習を強化する。 評価の結果,TACOは様々な低リソースDSシナリオにおいて顕著に優れた性能を発揮することが示された。

関連論文リスト

• Salience-Invariant Consistent Policy Learning for Generalization in Visual Reinforcement Learning [0.0]
  見えないシナリオにポリシーを一般化することは、視覚的強化学習において重要な課題である。 目に見えない環境では、不注意なピクセルがエージェントにタスク関連情報を含む表現を抽出させる可能性がある。 ゼロショット一般化のための効率的なフレームワークであるSalience-Invariant Consistent Policy Learningアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-02-12T12:00:16Z)
• Variance-Covariance Regularization Improves Representation Learning [28.341622247252705]
  我々は,分散共分散正規化(VCReg)を導入して,自己教師型学習規則化手法を教師型学習コンテキストに適用する。 我々は、VCRegが画像やビデオの転送学習を大幅に強化し、多数のタスクやデータセットで最先端のパフォーマンスを達成することを実証した。 要約すると、VCRegは、転送学習を大幅に進歩させ、勾配飢餓、神経崩壊、特徴伝達可能性の間の接続を強調する、普遍的に適用可能な正規化フレームワークを提供する。
  論文  参考訳（メタデータ） (2023-06-23T05:01:02Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Generalizable Low-Resource Activity Recognition with Diverse and Discriminative Representation Learning [24.36351102003414]
  HAR(Human Activity Recognition)は、人間のセンサーの読み取りから動作パターンを特定することに焦点を当てた時系列分類タスクである。 一般化可能な低リソースHARのためのDDLearn(Diverse and Discriminative Expression Learning)という新しい手法を提案する。 平均精度は9.5%向上した。
  論文  参考訳（メタデータ） (2023-05-25T08:24:22Z)
• Implicit Counterfactual Data Augmentation for Robust Learning [24.795542869249154]
  本研究では, 突発的相関を除去し, 安定した予測を行うために, インプリシト・カウンセショナル・データ拡張法を提案する。 画像とテキストのデータセットをカバーする様々なバイアス付き学習シナリオで実験が行われてきた。
  論文  参考訳（メタデータ） (2023-04-26T10:36:40Z)
• Improving GANs with A Dynamic Discriminator [106.54552336711997]
  我々は、オンザフライで調整可能な判別器は、そのような時間変化に適応できると論じる。 総合的な実証研究により、提案したトレーニング戦略がDynamicDと呼ばれ、追加のコストやトレーニング目標を発生させることなく、合成性能を向上させることが確認された。
  論文  参考訳（メタデータ） (2022-09-20T17:57:33Z)
• Weakly Supervised Disentangled Representation for Goal-conditioned Reinforcement Learning [15.698612710580447]
  本稿では,サンプル効率の向上と政策一般化を目的としたスキル学習フレームワークDR-GRLを提案する。 本稿では,解釈可能かつ制御可能な表現を学習するための空間変換オートエンコーダ(STAE)を提案する。 DR-GRLは, 試料効率と政策一般化において, 従来の手法よりも有意に優れていたことを実証的に実証した。
  論文  参考訳（メタデータ） (2022-02-28T09:05:14Z)
• Adaptive Discrete Communication Bottlenecks with Dynamic Vector Quantization [76.68866368409216]
  入力に条件付けされた離散化の厳密度を動的に選択する学習を提案する。 コミュニケーションボトルネックの動的に変化する厳密さは、視覚的推論や強化学習タスクにおけるモデル性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-02-02T23:54:26Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• Towards Accurate Knowledge Transfer via Target-awareness Representation Disentanglement [56.40587594647692]
  本稿では,TRED(Target-Awareness Representation Disentanglement)の概念を取り入れた新しいトランスファー学習アルゴリズムを提案する。 TREDは、対象のタスクに関する関連する知識を元のソースモデルから切り離し、ターゲットモデルを微調整する際、レギュレータとして使用する。 各種実世界のデータセットを用いた実験により,本手法は標準微調整を平均2%以上安定的に改善することが示された。
  論文  参考訳（メタデータ） (2020-10-16T17:45:08Z)
• Guided Variational Autoencoder for Disentanglement Learning [79.02010588207416]
  本稿では,潜在表現非絡み合い学習を行うことで,制御可能な生成モデルを学習できるアルゴリズム,Guided-VAEを提案する。 我々は、ガイド-VAEにおける教師なし戦略と教師なし戦略を設計し、バニラVAE上でのモデリングと制御能力の強化を観察する。
  論文  参考訳（メタデータ） (2020-04-02T20:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。