論文の概要: Synthetic Benchmarks for Scientific Research in Explainable Machine Learning

• arxiv url: http://arxiv.org/abs/2106.12543v1
• Date: Wed, 23 Jun 2021 17:10:21 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-24 15:35:37.683995
• Title: Synthetic Benchmarks for Scientific Research in Explainable Machine Learning
• Title（参考訳）: 説明可能な機械学習における科学研究のための合成ベンチマーク
• Authors: Yang Liu, Sujay Khandagale, Colin White, Willie Neiswanger
• Abstract要約: 我々はXAI-Benchをリリースした。XAI-Benchは、合成データセットと、特徴属性アルゴリズムをベンチマークするためのライブラリである。 実世界のデータセットとは異なり、合成データセットは条件付き期待値の効率的な計算を可能にする。 いくつかの評価指標にまたがって一般的な説明可能性手法をベンチマークし、一般的な説明者にとっての障害モードを特定することで、ライブラリのパワーを実証する。
• 参考スコア（独自算出の注目度）: 14.172740234933215
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As machine learning models grow more complex and their applications become more high-stakes, tools for explaining model predictions have become increasingly important. Despite the widespread use of explainability techniques, evaluating and comparing different feature attribution methods remains challenging: evaluations ideally require human studies, and empirical evaluation metrics are often computationally prohibitive on real-world datasets. In this work, we address this issue by releasing XAI-Bench: a suite of synthetic datasets along with a library for benchmarking feature attribution algorithms. Unlike real-world datasets, synthetic datasets allow the efficient computation of conditional expected values that are needed to evaluate ground-truth Shapley values and other metrics. The synthetic datasets we release offer a wide variety of parameters that can be configured to simulate real-world data. We demonstrate the power of our library by benchmarking popular explainability techniques across several evaluation metrics and identifying failure modes for popular explainers. The efficiency of our library will help bring new explainability methods from development to deployment.
• Abstract（参考訳）: 機械学習モデルがより複雑になり、アプリケーションがよりハイテイクになるにつれて、モデル予測を説明するツールがますます重要になっている。 説明可能性技術が広く使われているにもかかわらず、異なる特徴帰属法の評価と比較は依然として困難である: 評価は理想的には人間の研究を必要とし、経験的評価メトリクスは実世界のデータセットでは計算的に禁止されることが多い。 本稿では,XAI-Benchという合成データセットのスイートと,特徴属性アルゴリズムをベンチマークするライブラリのリリースによってこの問題に対処する。 実世界のデータセットとは異なり、合成データセットは、地味なShapley値やその他のメトリクスを評価するのに必要な条件付き期待値の効率的な計算を可能にする。 私たちがリリースした合成データセットは、現実世界のデータをシミュレートするように構成できる幅広いパラメータを提供します。 我々は,いくつかの評価指標にまたがる一般的な説明可能性手法をベンチマークし,一般的な説明者の障害モードを特定することで,図書館のパワーを実証する。 ライブラリの効率は、開発からデプロイまで、新しい説明可能性メソッドをもたらすのに役立つでしょう。

関連論文リスト

• EBES: Easy Benchmarking for Event Sequences [17.277513178760348]
  イベントシーケンスは、ヘルスケア、ファイナンス、ユーザインタラクションログなど、さまざまな現実世界のドメインにおける一般的なデータ構造である。 時間データモデリング技術の進歩にもかかわらず、イベントシーケンスのパフォーマンスを評価するための標準ベンチマークは存在しない。 標準化された評価シナリオとプロトコルを備えた総合的なベンチマークツールであるEBESを紹介する。
  論文  参考訳（メタデータ） (2024-10-04T13:03:43Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• SynthEval: A Framework for Detailed Utility and Privacy Evaluation of Tabular Synthetic Data [3.360001542033098]
  SynthEvalは、合成データのための新しいオープンソース評価フレームワークである。 特別な種類の前処理ステップを仮定することなく、分類的および数値的な属性を同等のケアで扱う。 我々のツールは統計的および機械学習技術を利用して、合成データの忠実度とプライバシー保護の整合性を包括的に評価する。
  論文  参考訳（メタデータ） (2024-04-24T11:49:09Z)
• Massively Annotated Datasets for Assessment of Synthetic and Real Data in Face Recognition [0.2775636978045794]
  実データと合成データを用いて学習したモデルの性能のドリフトについて検討する。 属性集合上の実データと合成データセットの差について検討する。 興味深いことに、我々は実際のサンプルが合成分布を説明するのに十分であるにもかかわらず、その逆はもはや真実ではないことを検証した。
  論文  参考訳（メタデータ） (2024-04-23T17:10:49Z)
• Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark [56.8042116967334]
  合成データは、機械学習モデルのトレーニングの代替となる。 合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。 本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
  論文  参考訳（メタデータ） (2023-10-25T20:32:02Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)
• Detection and Evaluation of Clusters within Sequential Data [58.720142291102135]
  Block Markov Chainsのクラスタリングアルゴリズムは理論的最適性を保証する。 特に、私たちのシーケンシャルデータは、ヒトのDNA、テキスト、動物運動データ、金融市場から派生しています。 ブロックマルコフ連鎖モデルの仮定は、実際に探索データ解析において有意義な洞察を得られることが判明した。
  論文  参考訳（メタデータ） (2022-10-04T15:22:39Z)
• Is Synthetic Dataset Reliable for Benchmarking Generalizable Person Re-Identification? [1.1041211464412568]
  最近の大規模合成データセット ClonedPerson は実世界のデータセットと統計的に同じGPReIDのベンチマークに確実に使用できることを示す。 本研究では、ソーストレーニングセットとターゲットテストセットの両方に合成データセットを使用することを保証する。
  論文  参考訳（メタデータ） (2022-09-12T06:54:54Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Foundations of Bayesian Learning from Synthetic Data [1.6249267147413522]
  我々はベイズパラダイムを用いて、合成データから学習する際のモデルパラメータの更新を特徴付ける。 ベイジアン・アップデートの最近の成果は、決定理論に基づく新しい、堅牢な合成学習のアプローチを支持している。
  論文  参考訳（メタデータ） (2020-11-16T21:49:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。