論文の概要: Automatic Causal Fairness Analysis with LLM-Generated Reporting
- arxiv url: http://arxiv.org/abs/2604.27011v1
- Date: Wed, 29 Apr 2026 10:31:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-01 16:31:53.719549
- Title: Automatic Causal Fairness Analysis with LLM-Generated Reporting
- Title(参考訳): LLM-Generated Reporting による因果フェアネスの自動解析
- Authors: Alessia Berarducci, Eric Rossetto, Alessandro Antonucci, Marco Zaffalon,
- Abstract要約: 我々は,データセットレベルでの公正度分析の自動化を目的としたソフトウェアプロトタイプであるtextscFairMindを紹介する。
我々は、最近Pleko と Bareinboim によって提案された Emphstandard fairness model の仮定に頼ってこれを達成した。
- 参考スコア(独自算出の注目度): 39.645183687562806
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AutoML, intended as the process of automating the application of machine learning to real-world problems, is a key step for AI popularisation. Most AutoML frameworks are not accounting for the potential lack of fairness in the training data and in the corresponding predictions. We introduce \textsc{FairMind}, a software prototype aiming to automatise fairness analysis at the dataset level. We achieve that by resorting to the assumptions of the \emph{standard fairness model}, recently proposed by Plečko and Bareinboim. This allows for a sound fairness evaluation in terms of causal effects, based on \emph{counterfactual} queries involving the target, possibly confounders and mediators, and the different values of an input feature we regard as \emph{protected}. After the necessary data preprocessing, the tool implements a closed-form computation of the effects. LLMs are consequently exploited to generate accurate reports on the fairness levels detected in the training dataset. We achieve that in a zero-shot setup and show by examples the expected advantages with respect to a direct analysis performed by the LLM. To favour applications, extensions to ordinal protected variable and continuous targets and novel decomposition results are also discussed.
- Abstract(参考訳): AutoMLは、現実世界の問題への機械学習の応用を自動化するプロセスを目的としたもので、AIの普及の重要なステップである。
ほとんどのAutoMLフレームワークは、トレーニングデータとそれに対応する予測における公正性の潜在的な欠如を考慮していない。
本稿では,データセットレベルでの公正度分析の自動化を目的としたソフトウェアプロトタイプである‘textsc{FairMind} を紹介する。
我々は、最近Plečko と Bareinboim によって提案された \emph{standard fairness model} の仮定に頼ってこれを達成した。
これにより、ターゲット、おそらくは共同設立者と仲介者を含む \emph{counterfactual} クエリと、我々が \emph{protected} とみなす入力機能の異なる値に基づいて、因果効果の観点からの健全性の評価が可能になる。
必要なデータ前処理の後、ツールは効果のクローズドフォーム計算を実装する。
LLMは結果として、トレーニングデータセットで検出された公平度レベルに関する正確なレポートを生成するために利用される。
ゼロショット設定で実現し、LLMによる直接解析に対して期待される利点を例によって示す。
応用を優先するために、順序付き保護された変数および連続目標への拡張や、新しい分解結果についても論じる。
関連論文リスト
- Exploring the impact of fairness-aware criteria in AutoML [0.5156484100374058]
フェアネスをAutoMLフレームワークの最適化コンポーネントに直接組み込むことの影響について検討する。
我々の研究は、最適化中に様々な公正の次元を捉えるために相補的公正度メトリクスを取り入れています。
9.4%の予測能力の低下にもかかわらず、平均フェアネスは14.5%向上し、データ使用量は35.7%減少した。
論文 参考訳(メタデータ) (2026-04-11T14:15:15Z) - Context-Adaptive Requirements Defect Prediction through Human-LLM Collaboration [1.4499356176178066]
本稿では,欠陥予測を静的な分類タスクではなく適応プロセスとして扱うHuman-LLM Collaboration(HLC)アプローチを提案する。
メルセデス・ベンツの要求条件である1,266のQuREベンチマークの弱い単語の匂いを用いて,本手法の評価を行った。
論文 参考訳(メタデータ) (2026-01-05T10:00:14Z) - Learned Hallucination Detection in Black-Box LLMs using Token-level Entropy Production Rate [0.19676943624884313]
大きな言語モデル(LLM)における幻覚は、質問回答タスクの出力が現実世界の信頼性を著しく損なう。
本稿では,データアクセスに制限のあるシナリオに特化して設計された,ロバストでワンショットの幻覚検出のための応用手法を提案する。
提案手法は,非グリーディ復号時に生成したこれらのログ確率から直接不確実性指標を導出する。
論文 参考訳(メタデータ) (2025-09-01T13:34:21Z) - Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。
我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。
提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
論文 参考訳(メタデータ) (2024-10-24T17:56:08Z) - Debiasing Text Safety Classifiers through a Fairness-Aware Ensemble [2.1450827490014865]
クローズドソーステキストセーフティ分類器における対実フェアネスを緩和する軽量後処理法を提案する。
モデルの有効性を評価するためのしきい値に依存しない2つの指標を導入し、これらの指標をFDW(Fair Data Reweighting)と組み合わせることでバイアスを軽減できることを示す。
提案手法は, モデル性能に最小限の影響を伴って, 対実的公正性の向上を図っている。
論文 参考訳(メタデータ) (2024-09-05T14:35:35Z) - ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
本稿では,LLMベースのフレームワークであるReEvalについて述べる。
本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。
我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。