論文の概要: Towards Comparability in Non-Intrusive Load Monitoring: On Data and
Performance Evaluation
- arxiv url: http://arxiv.org/abs/2001.07708v1
- Date: Mon, 20 Jan 2020 10:13:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-08 05:49:01.210290
- Title: Towards Comparability in Non-Intrusive Load Monitoring: On Data and
Performance Evaluation
- Title（参考訳）: 非侵入的負荷モニタリングにおける比較可能性:データと性能評価について
- Authors: Christoph Klemenjak, Stephen Makonin and Wilfried Elmenreich
- Abstract要約: 非侵入負荷モニタリング(Non-Intrusive Load Monitoring, NILM)は、家庭や工業施設のエネルギー消費に関する洞察を提供する一連の技術である。
分解技術に関する進歩にもかかわらず、性能評価とコンパラビリティはオープンな研究課題である。
NILM関連研究において, プリプロセスやデータクリーニング方法, 統一性能報告の重要性, 負荷分散における複雑性対策の必要性について, 詳細な情報が必要であることが確認された。
- 参考スコア（独自算出の注目度）: 1.0312968200748116
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Non-Intrusive Load Monitoring (NILM) comprises of a set of techniques that
provide insights into the energy consumption of households and industrial
facilities. Latest contributions show significant improvements in terms of
accuracy and generalisation abilities. Despite all progress made concerning
disaggregation techniques, performance evaluation and comparability remains an
open research question. The lack of standardisation and consensus on evaluation
procedures makes reproducibility and comparability extremely difficult. In this
paper, we draw attention to comparability in NILM with a focus on highlighting
the considerable differences amongst common energy datasets used to test the
performance of algorithms. We divide discussion on comparability into data
aspects, performance metrics, and give a close view on evaluation processes.
Detailed information on pre-processing as well as data cleaning methods, the
importance of unified performance reporting, and the need for complexity
measures in load disaggregation are found to be the most urgent issues in
NILM-related research. In addition, our evaluation suggests that datasets
should be chosen carefully. We conclude by formulating suggestions for future
work to enhance comparability.
- Abstract（参考訳）: 非侵入負荷モニタリング(Non-Intrusive Load Monitoring, NILM)は、家庭や工業施設のエネルギー消費に関する洞察を提供する一連の技術である。
最新のコントリビューションでは、正確性と一般化能力の面で大幅に改善されている。
分解技術に関するあらゆる進歩にもかかわらず、性能評価とコンパラビリティはオープンな研究課題である。
評価手順の標準化とコンセンサスの欠如は再現性とコンパラビリティを極めて困難にしている。
本稿では、アルゴリズムの性能をテストするために使用される共通エネルギーデータセットのかなりの差異に注目しながら、nilmのコンパラビリティに注目する。
比較可能性に関する議論を、データ面やパフォーマンス指標に分割し、評価プロセスに関する詳細な見解を示します。
NILM関連研究において, プリプロセスやデータクリーニング方法, 統一性能報告の重要性, 負荷分散における複雑性対策の必要性について, 詳細な情報が必要であることが確認された。
さらに,評価の結果から,データセットを慎重に選択すべきであることが示唆された。
コンパラビリティを高めるための今後の作業の提案を定式化する。
関連論文リスト
- Beyond the Numbers: Transparency in Relation Extraction Benchmark Creation and Leaderboards [5.632231145349045]
本稿では,NLPにおけるベンチマーク作成の透明性と,NLPの進捗測定におけるリーダボードの利用について検討する。
既存の関係抽出ベンチマークは、ドキュメントが不十分で重要な詳細が欠如していることが多い。
議論の中心はREベンチマークとリーダボードの透明性ですが、議論する観察は他のNLPタスクにも広く適用できます。
論文 参考訳（メタデータ） (2024-11-07T22:36:19Z) - OCDB: Revisiting Causal Discovery with a Comprehensive Benchmark and Evaluation Framework [21.87740178652843]
因果発見は透明性と信頼性を改善するための有望なアプローチを提供する。
本稿では,因果構造と因果効果の違いを評価するための指標を用いたフレキシブルな評価フレームワークを提案する。
実データに基づくOpen Causal Discovery Benchmark (OCDB)を導入し、公正な比較を促進し、アルゴリズムの最適化を促進する。
論文 参考訳（メタデータ） (2024-06-07T03:09:22Z) - VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。
既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。
対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
論文 参考訳（メタデータ） (2024-04-22T04:49:22Z) - Rectified Max-Value Entropy Search for Bayesian Optimization [54.26984662139516]
我々は、相互情報の概念に基づいて、修正されたMES取得関数を開発する。
その結果、RMESは、いくつかの合成関数ベンチマークと実世界の最適化問題において、MESよりも一貫した改善を示している。
論文 参考訳（メタデータ） (2022-02-28T08:11:02Z) - QAFactEval: Improved QA-Based Factual Consistency Evaluation for
Summarization [116.56171113972944]
QAベースのメトリクスのコンポーネントを慎重に選択することは、パフォーマンスにとって重要であることを示す。
提案手法は,最良性能のエンテーメントに基づく測定値を改善し,最先端の性能を実現する。
論文 参考訳（メタデータ） (2021-12-16T00:38:35Z) - A Two-Stage Feature Selection Approach for Robust Evaluation of
Treatment Effects in High-Dimensional Observational Data [1.4710887888397084]
我々は,OAENet(Outcome Adaptive Elastic Net)と呼ばれる新しい2段階特徴選択手法を提案する。
OAENetは、マッチング技術を用いて堅牢な因果推論決定を行うように設計されている。
シミュレーションデータに関する数値実験により、OAENetは最先端の手法を大きく上回っていることが示された。
論文 参考訳（メタデータ） (2021-11-27T02:54:30Z) - SAIS: Supervising and Augmenting Intermediate Steps for Document-Level
Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。
そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文 参考訳（メタデータ） (2021-09-24T17:37:35Z) - Doing Great at Estimating CATE? On the Neglected Assumptions in
Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。
異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。
ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
論文 参考訳（メタデータ） (2021-07-28T13:21:27Z) - Evaluation of Unsupervised Entity and Event Salience Estimation [17.74208462902158]
Salience Estimationは、文書における用語の重要性を予測することを目的としている。
過去の研究は通常、評価のための疑似根拠の真実を生成します。
本研究では,軽量で実用的な実体とイベントサリエンス評価プロトコルを提案する。
論文 参考訳（メタデータ） (2021-04-14T15:23:08Z) - Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
データ管理の統合コンポーネントにおける公平性について検討する。
本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
論文 参考訳（メタデータ） (2020-06-10T20:20:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。