Fugu-MT 論文翻訳(概要): Active Fourier Auditor for Estimating Distributional Properties of ML Models

論文の概要: Active Fourier Auditor for Estimating Distributional Properties of ML Models

arxiv url: http://arxiv.org/abs/2410.08111v1
Date: Thu, 10 Oct 2024 16:57:01 GMT
ステータス: 処理完了
システム内更新日: 2024-10-31 05:15:31.508432
Title: Active Fourier Auditor for Estimating Distributional Properties of ML Models
Title（参考訳）: MLモデルの分布特性推定のためのアクティブフーリエオーディタ
Authors: Ayoub Ajarra, Bishwamittra Ghosh, Debabrota Basu,
Abstract要約: 堅牢性、個人的公正性、グループ的公正性という3つの特性に注目します。我々は,監査下のMLモデルのフーリエ係数の観点から,異なる特性を定量化する新しいフレームワークを開発する。我々は、AFAの推定値に基づいて高い確率誤差境界を導出し、サンプルの複雑さに関する最悪の低い境界を検査するために導出する。
参考スコア（独自算出の注目度）: 10.581140430698103
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: With the pervasive deployment of Machine Learning (ML) models in real-world applications, verifying and auditing properties of ML models have become a central concern. In this work, we focus on three properties: robustness, individual fairness, and group fairness. We discuss two approaches for auditing ML model properties: estimation with and without reconstruction of the target model under audit. Though the first approach is studied in the literature, the second approach remains unexplored. For this purpose, we develop a new framework that quantifies different properties in terms of the Fourier coefficients of the ML model under audit but does not parametrically reconstruct it. We propose the Active Fourier Auditor (AFA), which queries sample points according to the Fourier coefficients of the ML model, and further estimates the properties. We derive high probability error bounds on AFA's estimates, along with the worst-case lower bounds on the sample complexity to audit them. Numerically we demonstrate on multiple datasets and models that AFA is more accurate and sample-efficient to estimate the properties of interest than the baselines.
Abstract（参考訳）: 機械学習(ML)モデルを現実世界のアプリケーションに広く展開することにより、MLモデルの検証と監査が中心的な関心事となっている。本研究では、ロバスト性、個人的公正性、グループ的公正性という3つの性質に焦点を当てる。本稿では,MLモデル特性を監査する2つの手法について論じる。第1のアプローチは文献で研究されているが、第2のアプローチはまだ解明されていない。本研究では,監査対象のMLモデルのフーリエ係数から異なる特性を定量化するフレームワークを開発したが,パラメトリックな再構成は行わない。本稿では,MLモデルのフーリエ係数に応じてサンプル点を問合せし,さらに特性を推定するActive Fourier Auditor (AFA)を提案する。我々は、AFAの推定値に基づいて高い確率誤差境界を導出し、サンプルの複雑さに関する最悪の低い境界を検査するために導出する。数値解析により、AFAがベースラインよりも興味のある特性を推定するために、より正確でサンプル効率のよい複数のデータセットとモデルについて示す。

関連論文リスト

MM-SpuBench: Towards Better Understanding of Spurious Biases in Multimodal LLMs [38.93090238335506]
非意味な入力属性と予測対象変数の急激な相関を利用する傾向にあるスパースバイアスは、単一のモダリティデータに基づいて訓練されたディープラーニングモデルに深刻な落とし穴があることを明らかにした。本稿では,9つの異なる相関関係のカテゴリに対するMLLMの信頼度を評価するために,包括的視覚質問応答(VQA)ベンチマークであるMM-SpuBenchを紹介する。以上の結果から,これらのモデルからの素因相関への依存の持続性を明らかにし,素因バイアスを緩和する新たな手法の必要性を浮き彫りにした。
論文参考訳（メタデータ） (2024-06-24T20:29:16Z)
Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文参考訳（メタデータ） (2024-04-04T15:36:53Z)
ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文参考訳（メタデータ） (2023-10-19T06:37:32Z)
Towards Better Modeling with Missing Data: A Contrastive Learning-based Visual Analytics Perspective [7.577040836988683]
データ不足は機械学習(ML)モデリングの課題となる可能性がある。現在のアプローチは、特徴計算とラベル予測に分類される。本研究は、観測データに欠落した値でモデル化するコントラスト学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-09-18T13:16:24Z)
A Bayesian Framework on Asymmetric Mixture of Factor Analyser [0.0]
本稿では、スキュー正規(無制限)一般化双曲型(SUNGH)分布のリッチで柔軟なクラスを持つMFAモデルを提案する。 SUNGHファミリーは、様々な方向の歪みをモデル化する柔軟性と、重み付きデータを可能にする。因子分析モデルを考慮すると、SUNGHファミリーは誤差成分と因子スコアの両方の歪みと重みを許容する。
論文参考訳（メタデータ） (2022-11-01T20:19:52Z)
Sparse MoEs meet Efficient Ensembles [49.313497379189315]
このようなモデルの2つの一般的なクラス、すなわちニューラルネットワークのアンサンブルと専門家のスパースミックス(スパースMoE)の相互作用について研究する。 Efficient Ensemble of Experts (E$3$)は、両モデルのクラスを最大限に活用するスケーラブルでシンプルなMoEのアンサンブルであり、深いアンサンブルよりも最大45%少ないFLOPを使用する。
論文参考訳（メタデータ） (2021-10-07T11:58:35Z)
Reducing Unintended Bias of ML Models on Tabular and Textual Data [5.503546193689538]
我々は、より公平なモデルを構築するために、"無意識によるフェアネス"アプローチにインスパイアされたフレームワークであるFixOutを再考する。 FixOutのパラメータの選択を自動化するなど、いくつかの改善点を紹介します。我々は、FixOutが異なる分類設定におけるプロセスの公平性を改善することを示す実験結果をいくつか提示する。
論文参考訳（メタデータ） (2021-08-05T14:55:56Z)
How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
論文参考訳（メタデータ） (2021-02-17T18:25:30Z)
Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文参考訳（メタデータ） (2020-10-25T18:51:15Z)
Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。その結果,我々のモデルは最先端の性能を達成できることがわかった。
論文参考訳（メタデータ） (2020-10-12T03:27:07Z)
Data and Model Dependencies of Membership Inference Attack [13.951470844348899]
我々は、データとMLモデル特性の両方がMIAに対するML手法の脆弱性に与える影響を実証分析する。この結果から,MIAの精度とデータセットの特性と使用中のトレーニングモデルとの関係が明らかになった。我々は,これらのデータとモデル特性をレギュレータとして利用し,MLモデルをMIAに対して保護することを提案する。
論文参考訳（メタデータ） (2020-02-17T09:35:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。