論文の概要: Causal fault localisation in dataflow systems

• arxiv url: http://arxiv.org/abs/2304.11987v1
• Date: Mon, 24 Apr 2023 10:40:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 15:22:19.348574
• Title: Causal fault localisation in dataflow systems
• Title（参考訳）: データフローシステムにおける因果断層定位
• Authors: Andrei Paleyes and Neil D. Lawrence
• Abstract要約: 最新の3つのデータフローエンジンを用いた複数のシナリオにおいて,因果推論を用いてソフトウェアバグやデータシフトを検出する方法を示す。 我々は,最新の3つのデータフローエンジンを用いた複数のシナリオにおいて,因果推論を用いてソフトウェアバグやデータシフトを検出する方法を示す。
• 参考スコア（独自算出の注目度）: 13.028266926645113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dataflow computing was shown to bring significant benefits to multiple niches of systems engineering and has the potential to become a general-purpose paradigm of choice for data-driven application development. One of the characteristic features of dataflow computing is the natural access to the dataflow graph of the entire system. Recently it has been observed that these dataflow graphs can be treated as complete graphical causal models, opening opportunities to apply causal inference techniques to dataflow systems. In this demonstration paper we aim to provide the first practical validation of this idea with a particular focus on causal fault localisation. We provide multiple demonstrations of how causal inference can be used to detect software bugs and data shifts in multiple scenarios with three modern dataflow engines.
• Abstract（参考訳）: データフローコンピューティングは、システム工学の複数のニッチに多大な利点をもたらし、データ駆動アプリケーション開発の汎用パラダイムとなる可能性を秘めている。 データフローコンピューティングの特徴の1つは、システム全体のデータフローグラフへの自然なアクセスである。 近年,これらのデータフローグラフは完全なグラフィカル因果モデルとして扱うことができ,因果推論手法をデータフローシステムに適用する機会が開かれた。 本論文は, 因果断層の局所化に着目した最初の実用的検証を行うことを目的としている。 我々は,最新の3つのデータフローエンジンを備えた複数のシナリオにおいて,因果推論を用いてソフトウェアバグやデータシフトを検出する方法を示す。

関連論文リスト

• Root Causing Prediction Anomalies Using Explainable AI [3.970146574042422]
  本稿では,機械学習モデルにおける根源的性能劣化に対する説明可能なAI(XAI)の新たな応用法を提案する。 単一機能の破損は、カスケード機能、ラベル、コンセプトドリフトを引き起こす可能性がある。 我々は、パーソナライズされた広告に使用されるモデルの信頼性を向上させるために、この手法をうまく応用した。
  論文  参考訳（メタデータ） (2024-03-04T19:38:50Z)
• Learning Cyclic Causal Models from Incomplete Data [13.69726643902085]
  周期因果グラフを部分的に欠落したデータから学習するための新しいフレームワークであるMissNODAGSを提案する。 付加雑音モデルの下では、MissNODAGSは、欠落したデータを入力し、データの可視部分のログ類似度を最大化することで、因果グラフを学習する。 本研究では、最先端の計算技術を用いた場合と比較して、部分的に欠落した介入データに対する因果学習による性能向上を実証した。
  論文  参考訳（メタデータ） (2024-02-23T22:03:12Z)
• Advancing Reacting Flow Simulations with Data-Driven Models [50.9598607067535]
  マルチ物理問題における機械学習ツールの効果的な利用の鍵は、それらを物理モデルとコンピュータモデルに結合することである。 本章では, 燃焼システムにおけるデータ駆動型低次モデリングの適用可能性について概説する。
  論文  参考訳（メタデータ） (2022-09-05T16:48:34Z)
• Lightweight Automated Feature Monitoring for Data Streams [1.4658400971135652]
  そこで本稿では,データドリフトを検出するFM(Feature Monitoring)システムを提案する。 システムは、システムによって使用されるすべての機能を監視し、アラームが発生するたびにランク付けされる解釈可能な機能を提供します。 これは、FMが特定のタイプの問題を検出するためにカスタムシグナルを追加する必要をなくし、利用可能な機能の空間を監視するのに十分であることを示している。
  論文  参考訳（メタデータ） (2022-07-18T14:38:11Z)
• Flurry: a Fast Framework for Reproducible Multi-layered Provenance Graph Representation Learning [0.44040106718326594]
  Flurryは、サイバー攻撃をシミュレートするエンドツーエンドのデータパイプラインである。 複数のシステムとアプリケーション層におけるこれらの攻撃からのデータをキャプチャし、これらの攻撃からの監査ログをデータプロファイランスグラフに変換し、このデータをディープニューラルネットワークのトレーニングフレームワークに組み込む。 複数のシステム攻撃からのデータを処理し,グラフ分類による異常検出を行うことで,このパイプラインを実証する。
  論文  参考訳（メタデータ） (2022-03-05T13:52:11Z)
• Federated Causal Discovery [74.37739054932733]
  本稿では,DAG-Shared Federated Causal Discovery (DS-FCD) という勾配学習フレームワークを開発する。 ローカルデータに直接触れることなく因果グラフを学習し、データの不均一性を自然に扱うことができる。 合成および実世界の両方のデータセットに対する大規模な実験により,提案手法の有効性が検証された。
  論文  参考訳（メタデータ） (2021-12-07T08:04:12Z)
• Robust and Transferable Anomaly Detection in Log Data using Pre-Trained Language Models [59.04636530383049]
  クラウドのような大規模コンピュータシステムにおける異常や障害は、多くのユーザに影響を与える。 システム情報の主要なトラブルシューティングソースとして,ログデータの異常検出のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-23T09:17:05Z)
• Graph Embedding with Data Uncertainty [113.39838145450007]
  スペクトルベースのサブスペース学習は、多くの機械学習パイプラインにおいて、一般的なデータ前処理ステップである。 ほとんどの部分空間学習法は、不確実性の高いデータにつながる可能性のある測定の不正確さやアーティファクトを考慮していない。
  論文  参考訳（メタデータ） (2020-09-01T15:08:23Z)
• Focus of Attention Improves Information Transfer in Visual Features [80.22965663534556]
  本稿では,真のオンライン環境下での視覚情報伝達のための教師なし学習に焦点を当てた。 エントロピー項の計算は、エントロピー項のオンライン推定を行う時間的プロセスによって行われる。 入力確率分布をよりよく構成するために,人間のような注目モデルを用いる。
  論文  参考訳（メタデータ） (2020-06-16T15:07:25Z)
• How Training Data Impacts Performance in Learning-based Control [67.7875109298865]
  本稿では,トレーニングデータの密度と制御性能の関係を考察する。 データセットの品質尺度を定式化し、$rho$-gap と呼ぶ。 フィードバック線形化制御法に$rho$-gapを適用する方法を示す。
  論文  参考訳（メタデータ） (2020-05-25T12:13:49Z)
• Fast-Fourier-Forecasting Resource Utilisation in Distributed Systems [10.219353459640137]
  本稿では,分散コンピューティングシステムのための通信効率の高いデータ収集機構を提案する。 また,複雑なGated Recurrent Unitを用いて資源利用予測を行うディープラーニングアーキテクチャを提案する。 提案手法は,資源供給フレームワークで発生する課題を解決し,他の予測問題にも適用できる。
  論文  参考訳（メタデータ） (2020-01-13T14:31:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。