論文の概要: Extracting PAC Decision Trees from Black Box Binary Classifiers: The Gender Bias Study Case on BERT-based Language Models

• arxiv url: http://arxiv.org/abs/2412.10513v1
• Date: Fri, 13 Dec 2024 19:14:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:00:33.144043
• Title: Extracting PAC Decision Trees from Black Box Binary Classifiers: The Gender Bias Study Case on BERT-based Language Models
• Title（参考訳）: ブラックボックス二項分類器からPAC決定木を抽出する:BERTに基づく言語モデルにおけるジェンダーバイアス研究事例
• Authors: Ana Ozaki, Roberto Confalonieri, Ricardo Guimarães, Anders Imenes,
• Abstract要約: 決定木は一般的な機械学習手法であり、その固有の説明可能性で知られている。 説明可能なAIでは、決定木は複雑なブラックボックスAIモデルのサロゲートモデルや、そのようなモデルの部品の近似として使用することができる。 本稿では,AIモデルから抽出した決定ツリーの忠実度を理論的に保証するために,確率的近似(PAC)フレームワークを用いて検討する。
• 参考スコア（独自算出の注目度）: 7.94649144127614
• License:
• Abstract: Decision trees are a popular machine learning method, known for their inherent explainability. In Explainable AI, decision trees can be used as surrogate models for complex black box AI models or as approximations of parts of such models. A key challenge of this approach is determining how accurately the extracted decision tree represents the original model and to what extent it can be trusted as an approximation of their behavior. In this work, we investigate the use of the Probably Approximately Correct (PAC) framework to provide a theoretical guarantee of fidelity for decision trees extracted from AI models. Based on theoretical results from the PAC framework, we adapt a decision tree algorithm to ensure a PAC guarantee under certain conditions. We focus on binary classification and conduct experiments where we extract decision trees from BERT-based language models with PAC guarantees. Our results indicate occupational gender bias in these models.
• Abstract（参考訳）: 決定木は一般的な機械学習手法であり、その固有の説明可能性で知られている。 説明可能なAIでは、決定木は複雑なブラックボックスAIモデルのサロゲートモデルや、そのようなモデルの部品の近似として使用することができる。 このアプローチの重要な課題は、抽出された決定木が元のモデルをどのように正確に表現し、その振る舞いの近似としてどの程度まで信頼できるかを決定することである。 本研究では,AIモデルから抽出した決定木に対する理論的信頼性を保証するために,確率的近似(PAC)フレームワークを用いて検討する。 PACフレームワークの理論的結果に基づいて,ある条件下でのPAC保証を保証するために決定木アルゴリズムを適用する。 PAC保証付きBERTに基づく言語モデルから決定木を抽出する二分分類と実行実験に着目する。 以上の結果から,これらのモデルにおける職業性バイアスが示唆された。

関連論文リスト

• Decision Trees for Interpretable Clusters in Mixture Models and Deep Representations [5.65604054654671]
  混合モデルに対する説明可能性-雑音比の概念を導入する。 本研究では,混合モデルを入力として,データに依存しない時間に適切な木を構築するアルゴリズムを提案する。 結果の決定ツリーの誤り率について,上と下の境界を証明した。
  論文  参考訳（メタデータ） (2024-11-03T14:00:20Z)
• Learning Deep Tree-based Retriever for Efficient Recommendation: Theory and Method [76.31185707649227]
  効率的なレコメンデーションのために,Deep Tree-based Retriever (DTR)を提案する。 DTRは、トレーニングタスクを、同じレベルでツリーノード上のソフトマックスベースのマルチクラス分類としてフレーム化している。 非リーフノードのラベル付けによって引き起こされる準最適性を緩和するため、損失関数の補正法を提案する。
  論文  参考訳（メタデータ） (2024-08-21T05:09:53Z)
• Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
  本稿では,大規模言語モデル(LLM)を用いて,効率的な特徴生成ルールを同定するフレームワークを提案する。 我々は、自然言語で容易に表現できるため、この推論情報を伝達するために決定木を使用します。 OCTreeは様々なベンチマークで様々な予測モデルの性能を継続的に向上させる。
  論文  参考訳（メタデータ） (2024-06-12T08:31:34Z)
• Learning accurate and interpretable decision trees [27.203303726977616]
  我々は、同じドメインから繰り返しデータにアクセスして決定木学習アルゴリズムを設計するためのアプローチを開発する。 本研究では,ベイズ決定木学習における事前パラメータのチューニングの複雑さについて検討し,その結果を決定木回帰に拡張する。 また、学習した決定木の解釈可能性について検討し、決定木を用いた説明可能性と精度のトレードオフを最適化するためのデータ駆動型アプローチを提案する。
  論文  参考訳（メタデータ） (2024-05-24T20:10:10Z)
• An Interpretable Client Decision Tree Aggregation process for Federated Learning [7.8973037023478785]
  本稿では,フェデレート学習シナリオを対象とした解釈可能なクライアント決定木集約プロセスを提案する。 このモデルは、決定ツリーの複数の決定パスの集約に基づいており、ID3やCARTなど、さまざまな決定ツリータイプで使用することができる。 4つのデータセットで実験を行い、分析により、モデルで構築された木が局所モデルを改善し、最先端のモデルより優れていることが示された。
  論文  参考訳（メタデータ） (2024-04-03T06:53:56Z)
• Modeling Boundedly Rational Agents with Latent Inference Budgets [56.24971011281947]
  エージェントの計算制約を明示的にモデル化する潜在推論予算モデル(L-IBM)を導入する。 L-IBMは、最適なアクターの多様な集団のデータを使ってエージェントモデルを学ぶことができる。 我々は,L-IBMが不確実性の下での意思決定のボルツマンモデルに適合しているか,あるいは上回っていることを示す。
  論文  参考訳（メタデータ） (2023-12-07T03:55:51Z)
• Provably Efficient UCB-type Algorithms For Learning Predictive State Representations [55.00359893021461]
  逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である 本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。 PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
  論文  参考訳（メタデータ） (2023-07-01T18:35:21Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Genetic Adversarial Training of Decision Trees [6.85316573653194]
  遺伝的アルゴリズムに基づく決定木のアンサンブルに関する新しい学習手法を提案し、その精度と敵対的な摂動に対する堅牢性を最大化するための決定木を訓練することができる。 本アルゴリズムをMeta-Silvae (MS) というツールに実装し, 対人訓練に用いる参照データセットを用いて実験的に評価した。
  論文  参考訳（メタデータ） (2020-12-21T14:05:57Z)
• Rectified Decision Trees: Exploring the Landscape of Interpretable and Effective Machine Learning [66.01622034708319]
  我々は,reDT(rerectified decision tree)と呼ばれる知識蒸留に基づく決定木拡張を提案する。 我々は,ソフトラベルを用いたトレーニングを可能にする標準決定木の分割基準と終了条件を拡張した。 次に,教師モデルから抽出したソフトラベルに基づいて,新しいジャックニフェ法を用いてReDTを訓練する。
  論文  参考訳（メタデータ） (2020-08-21T10:45:25Z)
• ENTMOOT: A Framework for Optimization over Ensemble Tree Models [57.98561336670884]
  ENTMOOTは、ツリーモデルをより大きな最適化問題に統合するためのフレームワークである。 ENTMOOTは、ツリーモデルの意思決定とブラックボックス最適化への単純な統合を可能にしていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T14:34:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。