論文の概要: dashi: A Python library for Dataset Shift Characterization to Support Trustworthy AI Development and Deployment
- arxiv url: http://arxiv.org/abs/2605.31360v1
- Date: Fri, 29 May 2026 14:33:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.667165
- Title: dashi: A Python library for Dataset Shift Characterization to Support Trustworthy AI Development and Deployment
- Title（参考訳）: dashi: 信頼できるAI開発とデプロイメントをサポートするためのデータセットシフト評価のためのPythonライブラリ
- Abstract要約: 私たちは、データセットシフトの探索、定量化、キャラクタリゼーションのために設計されたオープンソースのPythonライブラリであるdashiを紹介します。
シミュレーションおよび実世界の3つの健康AIケーススタディにおけるダシの有用性を実証する。
- 参考スコア（独自算出の注目度）: 0.4982315103487453
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Artificial Intelligence (AI) life cycle requires a thorough understanding of the underlying data dynamics for robust, safe and cost-effective AI development and use. Dataset shifts are defined as changes between train and test data distributions. Whether occurring over time (temporal) or across different sites (multi-source), they can severely degrade model performance and compromise data quality. This is particularly important in health AI, where the safety and fundamental rights of patients can be severely affected by uncontrolled shifts both at training and operational stages. While the theoretical foundations of covariate, prior, and concept shifts are well established, there is a lack of accessible and comprehensive software tools to perform their analysis. We introduce dashi, an open-source Python library designed for the exploration, quantification, and characterization of dataset shifts. dashi provides a dual approach: an unsupervised approach that leverages information geometry and non-parametric statistical manifolds to data variability characterization and analysis (e.g., Information Geometric Temporal plots and Multi-Source Variability metrics like Global Probabilistic Deviation and Source Probabilistic Outlyingness), and a supervised approach that quantifies and characterizes model performance degradation. Both unsupervised and supervised approaches work across user-defined temporal and domain/source batches. We demonstrate the utility of dashi on three simulated and real-world health AI case studies on gestational diabetes mellitus, COVID-19 and emergency medical dispatch. By providing interactive visual analytics and variability metrics, dashi supports trustworthiness of AI life cycle stages enabling robust and safe machine learning pipelines through the assessment of data coherence and AI performance.
- Abstract（参考訳）: AI(Artificial Intelligence)ライフサイクルは、堅牢で安全で費用対効果の高いAI開発と使用のために、基礎となるデータダイナミクスの徹底的な理解を必要とする。
データセットのシフトは、トレインとテストデータの分散の変化として定義される。
時間的(時間的)に発生するか,あるいは異なるサイト(複数ソース)にわたって発生するかに関わらず,モデルのパフォーマンスを著しく低下させ,データ品質を損なうことができる。
これは、患者の安全と基本的権利が、トレーニングと運用段階の両方において制御不能なシフトによって深刻な影響を受けることができる健康AIにおいて特に重要である。
共変量、先行、概念シフトの理論的基盤は十分に確立されているが、解析を行うためのアクセス可能で包括的なソフトウェアツールが欠如している。
私たちは、データセットシフトの探索、定量化、キャラクタリゼーションのために設計されたオープンソースのPythonライブラリであるdashiを紹介します。
dashiは2つのアプローチを提供する:情報幾何学と非パラメトリック統計多様体をデータ変数の特徴付けと分析(例えば、情報幾何学的時間プロットと、グローバル確率的偏差やソース確率的アウトリーニングネスのようなマルチソース変数メトリクス)に活用する教師なしのアプローチと、モデルの性能劣化を定量化し特徴付ける教師付きアプローチ。
教師なしと教師なしの両方のアプローチは、ユーザ定義の時間的およびドメイン/ソースのバッチで動作します。
本研究は, 妊娠糖尿病, COVID-19, 救急医療提供のシミュレーションおよび実世界の3つのAIケーススタディにおけるダシの有用性を実証した。
インタラクティブなビジュアル分析と可変性メトリクスを提供することで、データコヒーレンスとAIパフォーマンスの評価を通じて、堅牢で安全な機械学習パイプラインを実現するAIライフサイクルステージの信頼性をサポートする。
関連論文リスト
- TimeLAVA: Learning-Agnostic Data Valuation for Time Series [48.76711740818533]
TimeLAVAは、評価データと参照データの間の分布差を最小限に抑えるために、時間セグメントを限界貢献によって評価する学習非依存のフレームワークである。
モデルに依存しない一般化にバリュエーションをリンクする理論的保証を提供し、汚染に対する有界感度を証明する。
論文 参考訳（メタデータ） (2026-06-17T06:16:16Z) - What's the next frontier for Data-centric AI? Data Savvy Agents [71.76058707995398]
我々は、エージェントシステムの設計において、データに精通する能力が最優先すべきであると主張している。
本稿では,このビジョンを実現するための4つの重要な機能を提案する。プロアクティブデータ取得,ソフシフィケートデータ処理,インタラクティブテストデータ合成,連続的適応。
論文 参考訳（メタデータ） (2025-11-02T17:09:29Z) - From Physics to Machine Learning and Back: Part II - Learning and Observational Bias in PHM [52.64097278841485]
物理インフォームドモデリングとデータストラテジーによる学習と観察バイアスの導入は、モデルを物理的に一貫した信頼性のある予測へと導くことができるかを検討する。
メタラーニングや少数ショットラーニングなどの高速適応手法をドメイン一般化手法とともに検討する。
論文 参考訳（メタデータ） (2025-09-25T14:15:43Z) - Towards proactive self-adaptive AI for non-stationary environments with dataset shifts [1.1045045527359925]
本稿では,AIパラメータの時間的・軌跡をモデル化する,プロアクティブな自己適応型AIアプローチを提案する。
この研究は、動的で非定常な環境に対する適応型AI研究の基礎を築いた。
論文 参考訳（メタデータ） (2025-04-30T12:09:59Z) - Detecting Dataset Bias in Medical AI: A Generalized and Modality-Agnostic Auditing Framework [8.017827642932746]
データセットに対する一般属性ユーティリティと検出可能性によるバイアステスト(G-AUDIT)は、モダリティに依存しないデータセット監査フレームワークである。
本手法は,患者属性を含むデータ特性とタスクレベルのアノテーションの関係について検討する。
G-AUDITは、従来の定性的手法で見過ごされる微妙な偏見をうまく識別する。
論文 参考訳（メタデータ） (2025-03-13T02:16:48Z) - Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models [79.2162092822111]
我々は,一連のナビゲーションタスクにおいて,強化学習(RL)と制御に基づく手法を体系的に評価する。
我々は、JEPA(Joint Embedding Predictive Architecture)を使用して、潜在ダイナミクスモデルを使用し、それを計画に使用します。
その結果,モデルベースプランニングではレイアウトが不明瞭になるのに対して,モデルフリーのRLは高品質なデータから恩恵を受けることがわかった。
論文 参考訳（メタデータ） (2025-02-20T18:39:41Z) - CAAT-EHR: Cross-Attentional Autoregressive Transformer for Multimodal Electronic Health Record Embeddings [0.0]
本稿では,タスク非依存の縦埋め込みを生のEHRデータから生成する新しいアーキテクチャであるCAAT-EHRを紹介する。
自己回帰デコーダは、事前訓練中に将来の時刻データを予測してエンコーダを補完し、その結果の埋め込みが時間的整合性と整合性を維持する。
論文 参考訳（メタデータ） (2025-01-31T05:00:02Z) - SAVAE: Leveraging the variational Bayes autoencoder for survival
analysis [10.0060346233449]
SAVAE(Survival Analysis Variational Autoencoder)は,変分オートエンコーダに基づく新しい手法である。
サボエは、生存分析のための調整されたELBOの定式化を導入することにより、この分野に大きく貢献する。
様々な測定値に対して一貫して優れた性能を発揮し、異なる実験を通して頑健さと安定性を実証する一般的な方法を提供する。
論文 参考訳（メタデータ） (2023-12-22T12:36:50Z) - Clairvoyance: A Pipeline Toolkit for Medical Time Series [95.22483029602921]
時系列学習は、データ駆動の*クリニカルな意思決定支援のパンとバターである*
Clairvoyanceは、ソフトウェアツールキットとして機能する、統合されたエンドツーエンドのオートMLフレンドリなパイプラインを提案する。
Clairvoyanceは、臨床時系列MLのための包括的で自動化可能なパイプラインの生存可能性を示す最初のものである。
論文 参考訳（メタデータ） (2023-10-28T12:08:03Z) - Generative Modeling of Regular and Irregular Time Series Data via Koopman VAEs [50.25683648762602]
モデルの新しい設計に基づく新しい生成フレームワークであるKoopman VAEを紹介する。
クープマン理論に触発され、線形写像を用いて潜在条件事前力学を表現する。
KoVAEは、いくつかの挑戦的な合成および実世界の時系列生成ベンチマークにおいて、最先端のGANおよびVAEメソッドより優れている。
論文 参考訳（メタデータ） (2023-10-04T07:14:43Z) - Data Quality in Imitation Learning [15.939363481618738]
ロボット工学のオフライン学習では、インターネットのスケールデータがないだけで、高品質なデータセットが必要なのです。
これは特に、専門家によるデモンストレーションを用いたロボット学習のためのサンプル効率のよいパラダイムである模倣学習(IL)において当てはまる。
本研究では,分散シフトのレンズによる模倣学習のためのデータ品質の形式化に向けた第一歩を踏み出す。
論文 参考訳（メタデータ） (2023-06-04T18:48:32Z) - Towards Handling Uncertainty-at-Source in AI -- A Review and Next Steps
for Interval Regression [6.166295570030645]
本稿では,近年の成長領域である区間値データの線形回帰に着目した。
我々は,最先端手法の詳細な分析を行い,特性の異なるデータセットに適用した場合の動作,利点,落とし穴を明らかにする。
論文 参考訳（メタデータ） (2021-04-15T05:31:10Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。