論文の概要: Detecting Interpretable Subgroup Drifts

• arxiv url: http://arxiv.org/abs/2408.14682v1
• Date: Mon, 26 Aug 2024 23:13:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-28 15:24:16.440274
• Title: Detecting Interpretable Subgroup Drifts
• Title（参考訳）: 解釈可能なサブグループドリフトの検出
• Authors: Flavio Giobergia, Eliana Pastor, Luca de Alfaro, Elena Baralis,
• Abstract要約: データ分散の変化を検出し、適応する能力は、機械学習モデルの正確性と信頼性を維持するために不可欠である。 サブグループの粒度がより細かいときにドリフトを観測する方法を提案する。 実験結果から,我々のサブグループレベルのドリフト解析では,(粗い)グローバルデータセットレベルでは示さないドリフトが検出された。
• 参考スコア（独自算出の注目度）: 13.916984628784766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to detect and adapt to changes in data distributions is crucial to maintain the accuracy and reliability of machine learning models. Detection is generally approached by observing the drift of model performance from a global point of view. However, drifts occurring in (fine-grained) data subgroups may go unnoticed when monitoring global drift. We take a different perspective, and introduce methods for observing drift at the finer granularity of subgroups. Relevant data subgroups are identified during training and monitored efficiently throughout the model's life. Performance drifts in any subgroup are detected, quantified and characterized so as to provide an interpretable summary of the model behavior over time. Experimental results confirm that our subgroup-level drift analysis identifies drifts that do not show at the (coarser) global dataset level. The proposed approach provides a valuable tool for monitoring model performance in dynamic real-world applications, offering insights into the evolving nature of data and ultimately contributing to more robust and adaptive models.
• Abstract（参考訳）: データ分散の変化を検出し、適応する能力は、機械学習モデルの正確性と信頼性を維持するために不可欠である。 検出は一般的に,グローバルな視点からモデル性能のドリフトを観察することによって行われる。 しかし、(きめ細かい)データサブグループで発生するドリフトは、グローバルドリフトを監視する際には気づかないかもしれない。 異なる視点を採り、サブグループのより微細な粒度で漂流を観察する手法を導入する。 関連するデータサブグループはトレーニング中に識別され、モデルの生涯を通して効率的に監視される。 任意のサブグループの性能ドリフトを検出し、定量化し、時間とともにモデル動作の解釈可能な要約を提供するように特徴付ける。 実験結果から,我々のサブグループレベルのドリフト解析では,(粗い)グローバルデータセットレベルでは示さないドリフトが検出された。 提案されたアプローチは、動的現実世界のアプリケーションにおけるモデルパフォーマンスを監視し、進化するデータの性質に関する洞察を提供し、最終的にはより堅牢で適応的なモデルに寄与する、貴重なツールを提供する。

関連論文リスト

• SUDS: A Strategy for Unsupervised Drift Sampling [0.5437605013181142]
  監視された機械学習は、データ分散が時間とともに変化するコンセプトドリフトに遭遇し、パフォーマンスが低下する。 本稿では,既存のドリフト検出アルゴリズムを用いて,同種サンプルを選択する新しい手法であるドリフトサンプリング戦略(SUDS)を提案する。 本研究は, 動的環境におけるラベル付きデータ利用の最適化におけるSUDSの有効性を示すものである。
  論文  参考訳（メタデータ） (2024-11-05T10:55:29Z)
• Complementary Learning for Real-World Model Failure Detection [15.779651238128562]
  そこでは、異なる訓練パラダイムから学習特性を用いてモデルエラーを検出する。 我々は,制御的かつ自己管理的な方法で,点群における意味的および予測的動作ラベルを学習することにより,我々のアプローチを実証する。 大規模定性解析を行い、ライダー点雲にラベル付き異常を持つ最初のデータセットであるLidarCODAを提示する。
  論文  参考訳（メタデータ） (2024-07-19T13:36:35Z)
• Generalized Face Forgery Detection via Adaptive Learning for Pre-trained Vision Transformer [54.32283739486781]
  適応学習パラダイムの下で,textbfForgery-aware textbfAdaptive textbfVision textbfTransformer(FA-ViT)を提案する。 FA-ViTは、クロスデータセット評価において、Celeb-DFおよびDFDCデータセット上で93.83%と78.32%のAUCスコアを達成する。
  論文  参考訳（メタデータ） (2023-09-20T06:51:11Z)
• Uncovering Drift in Textual Data: An Unsupervised Method for Detecting and Mitigating Drift in Machine Learning Models [9.035254826664273]
  機械学習におけるドリフト(drift)とは、モデルが動作しているデータやコンテキストの統計的性質が時間とともに変化し、性能が低下する現象を指す。 提案手法では, 目標分布として生産データのサンプルを符号化し, モデルトレーニングデータを基準分布として符号化する。 また,ドリフトの根本原因である生産データのサブセットも同定する。 これらの高ドリフトサンプルを用いて再トレーニングしたモデルでは、オンライン顧客エクスペリエンスの品質指標のパフォーマンスが改善された。
  論文  参考訳（メタデータ） (2023-09-07T16:45:42Z)
• Consistency Regularization for Generalizable Source-free Domain Adaptation [62.654883736925456]
  ソースフリードメイン適応(source-free domain adapt, SFDA)は、ソースデータセットにアクセスすることなく、十分にトレーニングされたソースモデルを未学習のターゲットドメインに適応することを目的としている。 既存のSFDAメソッドは、ターゲットのトレーニングセット上で適用されたモデルを評価し、目に見えないが同一の分散テストセットからデータを無視する。 より一般化可能なSFDA法を開発するための整合正則化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:45:53Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• Reliable and Interpretable Drift Detection in Streams of Short Texts [2.4603302139672008]
  データドリフトは、機械学習モデルの性能劣化につながる重要な要因の1つだ。 本稿では,大規模タスク指向対話システムにおけるモデルに依存しない変更点の検出と解釈のためのエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-28T15:14:54Z)
• Representation Matters: Assessing the Importance of Subgroup Allocations in Training Data [85.43008636875345]
  訓練データにおける多様な表現は,サブグループのパフォーマンス向上と集団レベルの目標達成の鍵である。 分析と実験は、データセット構成がパフォーマンスにどのように影響するかを説明し、既存のデータにおけるトレンドとドメイン知識を用いて、意図的かつ客観的なデータセット設計を導くのに役立つ構成結果を提供する。
  論文  参考訳（メタデータ） (2021-03-05T00:27:08Z)
• Negative Data Augmentation [127.28042046152954]
  負のデータ拡張サンプルは、データ分散のサポートに関する情報を提供することを示す。 我々は、NDAを識別器の合成データの追加源として利用する新しいGAN訓練目標を提案する。 実験により,本手法で訓練したモデルでは,異常検出能力の向上とともに条件付き・条件付き画像生成の改善を実現している。
  論文  参考訳（メタデータ） (2021-02-09T20:28:35Z)
• Concept Drift Monitoring and Diagnostics of Supervised Learning Models via Score Vectors [2.7716102039510564]
  我々は,概念ドリフトの検出,監視,診断のための包括的かつ計算効率の高いフレームワークを開発した。 具体的には,適合モデルの対数類似度勾配として定義されるフィッシャースコアベクトルをモニターする。 一般的なエラーベース手法よりもパフォーマンス上のメリットは大きいが,従来は概念ドリフトモニタリングではスコアベースのアプローチが考慮されていなかった。
  論文  参考訳（メタデータ） (2020-12-12T22:52:45Z)
• BREEDS: Benchmarks for Subpopulation Shift [98.90314444545204]
  本研究では,人口変動に対するモデルのロバスト性を評価する手法を開発した。 既存のデータセットの基盤となるクラス構造を利用して、トレーニングとテストの分散を構成するデータサブポピュレーションを制御する。 この手法をImageNetデータセットに適用し、様々な粒度のサブポピュレーションシフトベンチマークスイートを作成する。
  論文  参考訳（メタデータ） (2020-08-11T17:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。