論文の概要: Scaled and Inter-token Relation Enhanced Transformer for Sample-restricted Residential NILM

• arxiv url: http://arxiv.org/abs/2410.12861v2
• Date: Fri, 06 Dec 2024 19:24:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:51:19.396067
• Title: Scaled and Inter-token Relation Enhanced Transformer for Sample-restricted Residential NILM
• Title（参考訳）: 試料拘束型NiLM用スケール・トケリレーション強化変圧器
• Authors: Minhajur Rahman, Yasir Arafat,
• Abstract要約: 本稿では,2つの革新点を持つトランスフォーマーアーキテクチャを提案する。 提案手法をREDDデータセット上で検証し, 各種アプライアンスに対してF1スコアを10～15%向上させる結果を得た。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Transformers have demonstrated exceptional performance across various domains due to their self-attention mechanism, which captures complex relationships in data. However, training on smaller datasets poses challenges, as standard attention mechanisms can over-smooth attention scores and overly prioritize intra-token relationships, reducing the capture of meaningful inter-token dependencies critical for tasks like Non-Intrusive Load Monitoring (NILM). To address this, we propose a novel transformer architecture with two key innovations: inter-token relation enhancement and dynamic temperature tuning. The inter-token relation enhancement mechanism removes diagonal entries in the similarity matrix to improve attention focus on inter-token relations. The dynamic temperature tuning mechanism, a learnable parameter, adapts attention sharpness during training, preventing over-smoothing and enhancing sensitivity to token relationships. We validate our method on the REDD dataset and show that it outperforms the original transformer and state-of-the-art models by 10-15\% in F1 score across various appliance types, demonstrating its efficacy for training on smaller datasets.
• Abstract（参考訳）: トランスフォーマーは、データ内の複雑な関係をキャプチャする自己アテンションメカニズムのために、さまざまな領域で例外的なパフォーマンスを示してきた。 しかし、より小さなデータセットでのトレーニングは、標準の注意機構が過度にスムースな注意スコアを達成し、トークン内関係を過度に優先順位付けし、非侵入的負荷監視(NILM)のようなタスクに不可欠な意味のある相互依存関係のキャプチャを削減できるため、課題となる。 そこで本研究では,相互関係の強化と動的温度調整という,2つの重要なイノベーションを持つトランスフォーマーアーキテクチャを提案する。 対角関係強化機構は類似性行列の対角成分を除去し、対角関係に注意を向ける。 動的温度調整機構は学習可能なパラメータであり、トレーニング中の注意の鋭さに適応し、過度なスムース化を防止し、トークン関係に対する感度を高める。 提案手法をREDDデータセット上で検証し,F1スコアの10～15倍の精度で元のトランスフォーマーモデルと最先端モデルより優れており,より小さなデータセットでのトレーニングの有効性を実証している。

関連論文リスト

• CARE Transformer: Mobile-Friendly Linear Visual Transformer via Decoupled Dual Interaction [77.8576094863446]
  本稿では,新しいdetextbfCoupled dutextbfAl-interactive lineatextbfR atttextbfEntion (CARE) 機構を提案する。 まず,非対称な特徴分離戦略を提案し,非対称的に学習プロセスを局所帰納バイアスと長距離依存に分解する。 分離学習方式を採用し,特徴間の相補性を完全に活用することにより,高い効率性と精度を両立させることができる。
  論文  参考訳（メタデータ） (2024-11-25T07:56:13Z)
• Efficient Diffusion Transformer with Step-wise Dynamic Attention Mediators [83.48423407316713]
  本稿では,クエリとキーを別々に扱うために,追加の仲介者トークンを組み込んだ新しい拡散トランスフォーマーフレームワークを提案する。 本モデルでは, 正確な非曖昧な段階を呈し, 詳細に富んだ段階へと徐々に遷移する。 本手法は,最近のSiTと統合した場合に,最先端のFIDスコア2.01を達成する。
  論文  参考訳（メタデータ） (2024-08-11T07:01:39Z)
• Attention as Robust Representation for Time Series Forecasting [23.292260325891032]
  多くの実用化には時系列予測が不可欠である。 トランスフォーマーの重要な特徴、注意機構、データ表現を強化するために動的に埋め込みを融合させ、しばしば注意重みを副産物の役割に還元する。 提案手法は,時系列の主表現として注目重みを高くし,データポイント間の時間的関係を利用して予測精度を向上させる。
  論文  参考訳（メタデータ） (2024-02-08T03:00:50Z)
• Computation and Parameter Efficient Multi-Modal Fusion Transformer for Cued Speech Recognition [48.84506301960988]
  Cued Speech (CS) は、聴覚障害者が使用する純粋視覚符号化法である。 自動CS認識(ACSR)は、音声の視覚的手がかりをテキストに書き起こそうとする。
  論文  参考訳（メタデータ） (2024-01-31T05:20:29Z)
• Correlated Attention in Transformers for Multivariate Time Series [22.542109523780333]
  本稿では,特徴量依存を効率的に捕捉し,既存のトランスフォーマーのエンコーダブロックにシームレスに統合できる新しいアテンション機構を提案する。 特に、関連性のある注意は、特徴チャネルを横断して、クエリとキー間の相互共分散行列をラグ値で計算し、サブシリーズレベルで選択的に表現を集約する。 このアーキテクチャは、瞬時だけでなく、ラタグされた相互相関の発見と表現の学習を容易にすると同時に、本質的に時系列の自動相関をキャプチャする。
  論文  参考訳（メタデータ） (2023-11-20T17:35:44Z)
• Associative Transformer [26.967506484952214]
  本稿では,少人数の入力パッチ間の関連性を高めるために,Associative Transformer (AiT)を提案する。 AiTはVision Transformerよりもはるかに少ないパラメータとアテンション層を必要とする。
  論文  参考訳（メタデータ） (2023-09-22T13:37:10Z)
• DAT++: Spatially Dynamic Vision Transformer with Deformable Attention [87.41016963608067]
  Deformable Attention Transformer (DAT++)を提案する。 DAT++は、85.9%のImageNet精度、54.5および47.0のMS-COCOインスタンスセグメンテーションmAP、51.5のADE20KセマンティックセグメンテーションmIoUで、様々なビジュアル認識ベンチマークで最先端の結果を達成している。
  論文  参考訳（メタデータ） (2023-09-04T08:26:47Z)
• Miti-DETR: Object Detection based on Transformers with Mitigatory Self-Attention Convergence [17.854940064699985]
  本稿では,緩和的自己認識機構を備えたトランスフォーマーアーキテクチャを提案する。 Miti-DETRは、各注意層の入力をそのレイヤの出力に予約し、「非注意」情報が注意伝播に関与するようにします。 Miti-DETRは、既存のDETRモデルに対する平均検出精度と収束速度を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-12-26T03:23:59Z)
• Relational Self-Attention: What's Missing in Attention for Video Understanding [52.38780998425556]
  リレーショナル・セルフアテンション(RSA)と呼ばれるリレーショナル・フィーチャー・トランスフォーメーションを導入する。 我々の実験およびアブレーション研究により、RSAネットワークは、畳み込みや自己意図的ネットワークよりも大幅に優れていることが示された。
  論文  参考訳（メタデータ） (2021-11-02T15:36:11Z)
• Domain Adaptive Robotic Gesture Recognition with Unsupervised Kinematic-Visual Data Alignment [60.31418655784291]
  本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。 ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。 その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
  論文  参考訳（メタデータ） (2021-03-06T09:10:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。