論文の概要: Data+Shift: Supporting visual investigation of data distribution shifts by data scientists

• arxiv url: http://arxiv.org/abs/2204.14025v1
• Date: Fri, 29 Apr 2022 11:50:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-02 15:06:13.982570
• Title: Data+Shift: Supporting visual investigation of data distribution shifts by data scientists
• Title（参考訳）: データ+シフト:データサイエンティストによるデータ分散シフトの視覚的調査を支援する
• Authors: Jo\~ao Palmeiro, Beatriz Malveiro, Rita Costa, David Polido, Ricardo Moreira, Pedro Bizarro
• Abstract要約: Data+Shiftは、データ機能のシフトの根底にある要因を調査するタスクにおいて、データサイエンティストをサポートするビジュアル分析ツールである。 我々は、データサイエンティストが不正検出のユースケースにこのツールを使用したシンクオード実験で、我々のアプローチを検証した。
• 参考スコア（独自算出の注目度）: 1.6311150636417262
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Machine learning on data streams is increasingly more present in multiple domains. However, there is often data distribution shift that can lead machine learning models to make incorrect decisions. While there are automatic methods to detect when drift is happening, human analysis, often by data scientists, is essential to diagnose the causes of the problem and adjust the system. We propose Data+Shift, a visual analytics tool to support data scientists in the task of investigating the underlying factors of shift in data features in the context of fraud detection. Design requirements were derived from interviews with data scientists. Data+Shift is integrated with JupyterLab and can be used alongside other data science tools. We validated our approach with a think-aloud experiment where a data scientist used the tool for a fraud detection use case.
• Abstract（参考訳）: データストリーム上の機械学習は、複数のドメインにますます存在する。 しかし、しばしばデータ分散シフトがあり、機械学習モデルが誤った判断を下す可能性がある。 ドリフトの発生を自動で検出する方法はあるが、人間の分析は、しばしばデータ科学者によって、問題の原因を診断し、システムを調整するために不可欠である。 我々は,不正検出の文脈におけるデータ特徴の変化の根本的な要因を調査する作業において,データサイエンティストを支援する視覚分析ツールであるData+Shiftを提案する。 設計要件はデータサイエンティストとのインタビューから導き出された。 Data+ShiftはJupyterLabに統合されており、他のデータサイエンスツールと併用することができる。 我々は、データサイエンティストが不正検出のユースケースにこのツールを使用したシンクオード実験で、我々のアプローチを検証した。

関連論文リスト

• D3A-TS: Denoising-Driven Data Augmentation in Time Series [0.0]
  本研究は,分類と回帰問題に対する時系列におけるデータ拡張のための異なる手法の研究と分析に焦点をあてる。 提案手法は拡散確率モデルを用いており、近年画像処理の分野で成功している。 その結果、この手法が、分類と回帰モデルを訓練するための合成データを作成する上で、高い有用性を示している。
  論文  参考訳（メタデータ） (2023-12-09T11:37:07Z)
• Adversarial Learning for Feature Shift Detection and Correction [45.65548560695731]
  機能シフトは、複数のセンサデータ、一部のセンサが機能不全である、あるいは構造化データ、欠陥のある標準化とデータ処理パイプラインが誤った機能につながる、など、多くのデータセットで起こりうる。 そこで本研究では,2つの分布を区別するために訓練された複数の識別器から得られる情報を用いて,破損した特徴を検知し,それらを修正することにより,データセット間の分布シフトを除去する。
  論文  参考訳（メタデータ） (2023-12-07T18:58:40Z)
• Binary Quantification and Dataset Shift: An Experimental Investigation [54.14283123210872]
  量子化は教師付き学習タスクであり、未学習データの集合のクラス有病率の予測器を訓練する。 定量化と他のタイプのデータセットシフトの関係は、いまだ大きく、未調査のままである。 本稿では,これらのシフトに影響を受けるデータセットの生成プロトコルを確立することにより,データセットシフトの種類を詳細に分類する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-06T20:11:27Z)
• Data-Copilot: Bridging Billions of Data and Humans with Autonomous Workflow [49.724842920942024]
  金融、気象学、エネルギーといった産業は毎日大量のデータを生み出している。 本研究では,データ分析エージェントであるData-Copilotを提案する。
  論文  参考訳（メタデータ） (2023-06-12T16:12:56Z)
• A Vision for Semantically Enriched Data Science [19.604667287258724]
  ドメイン知識の活用やデータセマンティクスといった重要な分野は、ほとんど自動化されていない分野です。 データサイエンスの自動化のための新しいツールと組み合わせて、データに対する“セマンティック”な理解と推論を活用することが、一貫性と説明可能なデータ拡張と変換にどのように役立つか、私たちは考えています。
  論文  参考訳（メタデータ） (2023-03-02T16:03:12Z)
• Time-Varying Propensity Score to Bridge the Gap between the Past and Present [104.46387765330142]
  本稿では,データ分布の段階的変化を検出するための時間変化確率スコアを提案する。 実装のさまざまな方法を示し、さまざまな問題について評価する。
  論文  参考訳（メタデータ） (2022-10-04T07:21:49Z)
• A unified framework for dataset shift diagnostics [2.449909275410288]
  教師付き学習技術は典型的には、訓練データが標的人口に由来すると仮定する。 しかし、データセットのシフトが頻繁に発生し、適切に考慮しなければ、予測器の性能が低下する可能性がある。 我々は、複数のデータセットシフトの定量化とテストを行うTectorShiftという、新しいフレキシブルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-17T13:34:45Z)
• DataLab: A Platform for Data Analysis and Intervention [96.75253335629534]
  DataLabは統一されたデータ指向プラットフォームであり、ユーザはデータの特徴をインタラクティブに分析することができる。 ツールネームには、データセットレコメンデーションとグローバルビジョン分析のための機能がある。 これまでのところ、DataLabは1,715のデータセットと3,583の変換バージョンをカバーしている。
  論文  参考訳（メタデータ） (2022-02-25T18:32:19Z)
• MedShift: identifying shift data for medical dataset curation [2.4236602474594635]
  データのシフトやばらつきを検出する方法は、あまり研究されていない。 トップレベルのシフトサンプルを検出するために,MedShiftという統合パイプラインを提案する。 筋骨格X線写真(MU)と胸部X線データを用いたMedShiftの有効性を検討した。
  論文  参考訳（メタデータ） (2021-12-27T20:06:23Z)
• DAE : Discriminatory Auto-Encoder for multivariate time-series anomaly detection in air transportation [68.8204255655161]
  識別オートエンコーダ(DAE)と呼ばれる新しい異常検出モデルを提案する。 通常のLSTMベースのオートエンコーダのベースラインを使用するが、いくつかのデコーダがあり、それぞれ特定の飛行フェーズのデータを取得する。 その結果,DAEは精度と検出速度の両方で良好な結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-09-08T14:07:55Z)
• Hidden Biases in Unreliable News Detection Datasets [60.71991809782698]
  データ収集中の選択バイアスがデータセットの望ましくないアーティファクトにつながることを示す。 クリーンスプリットでテストされたすべてのモデルに対して,列車/テストソースの重なりが無く,精度が大幅に低下した(>10%)。 将来的なデータセット生成には、困難/バイアスプローブとしての単純なモデルと、クリーンな非重複サイトと日付分割を使用する将来のモデル開発が含まれることを提案する。
  論文  参考訳（メタデータ） (2021-04-20T17:16:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。