論文の概要: BERT-PIN: A BERT-based Framework for Recovering Missing Data Segments in Time-series Load Profiles

• arxiv url: http://arxiv.org/abs/2310.17742v1
• Date: Thu, 26 Oct 2023 19:30:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-30 15:46:40.637383
• Title: BERT-PIN: A BERT-based Framework for Recovering Missing Data Segments in Time-series Load Profiles
• Title（参考訳）: BERT-PIN: 時系列ロードプロファイルの欠落データセグメントを復元するBERTベースのフレームワーク
• Authors: Yi Hu, Kai Ye, Hyeonjin Kim and Ning Lu
• Abstract要約: BERT-PIN (BERT-PIN) は、トランスフォーマーによるプロファイル・インペインティング・ネットワークの双方向表現である。 ロードと温度の時系列プロファイルを入力として、複数の欠落データセグメント(MDS)を復元する。 MDSsリカバリと需要応答ベースライン推定という2つの応用のための実世界のデータセットを用いたBERT-PINの開発と評価を行った。
• 参考スコア（独自算出の注目度）: 10.57410710111382
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Inspired by the success of the Transformer model in natural language processing and computer vision, this paper introduces BERT-PIN, a Bidirectional Encoder Representations from Transformers (BERT) powered Profile Inpainting Network. BERT-PIN recovers multiple missing data segments (MDSs) using load and temperature time-series profiles as inputs. To adopt a standard Transformer model structure for profile inpainting, we segment the load and temperature profiles into line segments, treating each segment as a word and the entire profile as a sentence. We incorporate a top candidates selection process in BERT-PIN, enabling it to produce a sequence of probability distributions, based on which users can generate multiple plausible imputed data sets, each reflecting different confidence levels. We develop and evaluate BERT-PIN using real-world dataset for two applications: multiple MDSs recovery and demand response baseline estimation. Simulation results show that BERT-PIN outperforms the existing methods in accuracy while is capable of restoring multiple MDSs within a longer window. BERT-PIN, served as a pre-trained model, can be fine-tuned for conducting many downstream tasks, such as classification and super resolution.
• Abstract（参考訳）: 本稿では、自然言語処理とコンピュータビジョンにおけるTransformerモデルの成功に触発されて、BERTを用いた双方向エンコーダ表現であるBERT-PINを紹介する。 BERT-PINは、負荷と温度の時系列プロファイルを入力として、複数の欠落データセグメント(MDS)を復元する。 プロファイルインペインティングのための標準トランスモデル構造を採用するために,負荷と温度プロファイルを線分に分割し,各セグメントを単語として,各プロファイルを文として扱う。 BERT-PINにはトップ候補選択プロセスが組み込まれており、ユーザが複数の信頼性レベルを反映した複数の有意なインプットデータセットを生成可能な確率分布列を生成することができる。 我々は,複数のMDSの回復と要求応答ベースライン推定という,実世界のデータセットを用いたBERT-PINの開発と評価を行った。 シミュレーションの結果、BERT-PINは既存の手法よりも精度が高く、より長いウィンドウ内で複数のMDSを復元できることがわかった。 BERT-PINは、事前訓練されたモデルとして機能し、分類や超解像といった多くの下流タスクを実行するために微調整することができる。

関連論文リスト

• MADTP: Multimodal Alignment-Guided Dynamic Token Pruning for Accelerating Vision-Language Transformer [66.71930982549028]
  VLT(Vision-Language Transformer)は近年大きな成功を収めている。 各種VLTの高速化を目的としたマルチモーダルアライメント誘導動的トーケンプルーニング(MADTP)という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-05T14:13:50Z)
• CMFDFormer: Transformer-based Copy-Move Forgery Detection with Continual Learning [52.72888626663642]
  コピーモーブ偽造検出は、疑わしい偽画像中の重複領域を検出することを目的としている。 深層学習に基づく複写偽造検出手法が最上位にある。 CMFDFormer という名称の Transformer-style copy-move forgery ネットワークを提案する。 また、CMFDFormerが新しいタスクを処理できるように、新しいPCSD連続学習フレームワークを提供する。
  論文  参考訳（メタデータ） (2023-11-22T09:27:46Z)
• Breaking the Token Barrier: Chunking and Convolution for Efficient Long Text Classification with BERT [0.0]
  変換器ベースのモデル、特にBERTは様々なNLPタスクの研究を推進している。 BERTモデルは512トークンの最大トークン制限に制限されているため、長い入力で実際に適用するのは簡単ではない。 本稿では,任意の事前学習したモデルを任意に長文で推論できるような,比較的単純なBanilla BERTアーキテクチャであるChunkBERTを提案する。
  論文  参考訳（メタデータ） (2023-10-31T15:41:08Z)
• CLMFormer: Mitigating Data Redundancy to Revitalize Transformer-based Long-Term Time Series Forecasting System [46.39662315849883]
  時系列予測(LTSF)は,様々な応用において重要な役割を担っている。 既存のTransformerベースのモデルであるFedformerやInformerは、いくつかのエポックの後、検証セット上で最高のパフォーマンスを達成することが多い。 本稿では,カリキュラム学習とメモリ駆動デコーダの導入により,この問題に対処する新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-07-16T04:05:15Z)
• Transferring BERT-like Transformers' Knowledge for Authorship Verification [8.443350618722562]
  著者確認作業におけるBERT様変圧器の有効性について検討した。 我々はPAN-2020の新しいスプリットを提供し、不連続なトピックや著者からトレーニングデータとテストデータをサンプリングする。 これらの分割は、新しい、かなり異なるデータセット上で知識を伝達するモデルの能力を高めることができることを示す。
  論文  参考訳（メタデータ） (2021-12-09T18:57:29Z)
• TR-BERT: Dynamic Token Reduction for Accelerating BERT Inference [54.791572981834435]
  既存の訓練済み言語モデル(PLM)は推論において計算コストがかかることが多い。 TR-BERT と呼ばれる PLM の推論を高速化する動的トークン削減手法を提案する。 TR-BERTは、トークン削減プロセスを多段階のトークン選択問題として定式化し、強化学習を通じて選択戦略を自動的に学習する。
  論文  参考訳（メタデータ） (2021-05-25T02:28:51Z)
• VisBERT: Hidden-State Visualizations for Transformers [66.86452388524886]
  VisBERTは,複数の質問応答のタスクに対して,BERT内のコンテキストトークン表現を可視化するツールである。 VisBERTは、モデルの内部状態に関する洞察を得て、推論ステップや潜在的な欠点を探索することを可能にする。
  論文  参考訳（メタデータ） (2020-11-09T15:37:43Z)
• MMFT-BERT: Multimodal Fusion Transformer with BERT Encodings for Visual Question Answering [68.40719618351429]
  視覚質問応答(VQA)を解決するためのMMFT-BERT (MultiModal Fusion Transformer with BERT encodings)を提案する。 提案手法は,BERTエンコーディングを個別に採用したマルチモーダルデータを処理し,新しいトランスフォーマーベースの融合法を用いて融合する。
  論文  参考訳（メタデータ） (2020-10-27T06:34:14Z)
• Incorporating BERT into Parallel Sequence Decoding with Adapters [82.65608966202396]
  本稿では,2種類のBERTモデルをエンコーダとデコーダとして取り出し,シンプルで軽量なアダプタモジュールを導入し,それらを微調整する。 我々は、ソース側およびターゲット側BERTモデルに含まれる情報を協調的に活用できるフレキシブルで効率的なモデルを得る。 我々のフレームワークは、BERTの双方向および条件独立性を考慮した、Mask-Predictという並列シーケンス復号アルゴリズムに基づいている。
  論文  参考訳（メタデータ） (2020-10-13T03:25:15Z)
• What BERT Sees: Cross-Modal Transfer for Visual Question Generation [21.640299110619384]
  補足データを用いた事前学習を回避して,BERTのアウト・オブ・ザ・ボックスの視覚能力について検討した。 テキスト生成のためのBERTベースのアーキテクチャであるBERT-genを導入する。
  論文  参考訳（メタデータ） (2020-02-25T12:44:36Z)
• TwinBERT: Distilling Knowledge to Twin-Structured BERT Models for Efficient Retrieval [11.923682816611716]
  本稿では,効率的な検索のためのTwinBERTモデルを提案する。 クエリとドキュメントをそれぞれ表現するBERTライクなエンコーダがツイン構造化されている。 ドキュメントの埋め込みはオフラインでプリコンパイルされ、メモリにキャッシュされる。
  論文  参考訳（メタデータ） (2020-02-14T22:44:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。