論文の概要: A Framework for Task-Agnostic Counterfactual Fairness in Transformers through Activation Steering
- arxiv url: http://arxiv.org/abs/2611.00298v1
- Date: Fri, 30 Oct 2026 19:22:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 02:06:22.591159
- Title: A Framework for Task-Agnostic Counterfactual Fairness in Transformers through Activation Steering
- Title(参考訳): アクティベーションステアリングによる変圧器のタスク非依存の対実フェアネスの枠組み
- Abstract要約: トランスフォーマーベースのモデルにおけるバイアスは、これらのアーキテクチャが自動意思決定システムでより一般的になるにつれて、ますます懸念される。
機械的解釈可能性(英語:Mechanistic Interpretability、MI)は、モデル出力に対するアクティベーションの有意義な因果効果を測定する、成長する仕事の体系である。
我々は、MIツールを用いてCF制約を変換器のアクティベーションの観点から再構成する、MICF(Mechanistic Interpretability for Counterfactual Fairness)フレームワークを提案する。
- 参考スコア(独自算出の注目度): 6.414387479434971
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bias in transformer-based models is a growing concern as these architectures become more prevalent in automated decision-making systems, such as prediction models for hiring, lending, and clinical treatment recommendation. Mechanistic interpretability (MI) is a growing body of work that measures meaningful causal effects of activations on model output by identifying human-interpretable features encoded in model activations. When such features correspond to sensitive attributes, they provide a direct way to quantify the bias those attributes introduce and to causally intervene to mitigate it. However, counterfactual fairness (CF) methods have not been systematically adapted to this setting of intervening on interpretable mechanisms in transformers. We propose a framework, Mechanistic Interpretability for Counterfactual Fairness (MICF), that utilizes MI tools to reformulate CF constraints in terms of transformer activations, unifying former approaches into a single pipeline for fairness analysis in transformers. MICF does not require a prior causal model or specific transformer architecture. We evaluate MICF on real-world tabular data and show that CF can be improved across different prediction tasks.
- Abstract(参考訳): トランスフォーマーベースのモデルにおけるバイアスは、雇用、貸与、臨床治療の推奨といった自動意思決定システムにおいて、これらのアーキテクチャがより普及するにつれて、懸念が高まる。
機械的解釈可能性(英語:Mechanistic Interpretability、MI)は、モデルアクティベーションに符号化された人間の解釈可能な特徴を特定することによって、モデル出力に対するアクティベーションの有意義な因果効果を測定する、成長する研究の分野である。
このような特徴がセンシティブな属性に対応する場合、それらの属性がもたらすバイアスを定量化し、それを緩和するために因果的に介入する直接的な方法を提供する。
しかし, 逆ファクトフェアネス法(CF法)は, 変圧器の解釈機構に介入するというこの設定に体系的に適応していない。
我々は、MIツールを用いて、変換器のアクティベーションの観点からCF制約を再構成し、変換器のフェアネス解析のために、従来のアプローチを単一のパイプラインに統合する、MICF(Mechanistic Interpretability for Counterfactual Fairness)フレームワークを提案する。
MICFは、事前の因果モデルや特定のトランスフォーマーアーキテクチャを必要としない。
実世界の表表データ上でMICFを評価し,様々な予測タスクにおいてCFを改善可能であることを示す。
関連論文リスト
- Efficient and Interpretable Transformer for Counterfactual Fairness [0.0]
この研究は、公正性理論と機械学習モデルの間に重要なギャップを埋める。
ハイテイクで高度に規制されたドメインにおいて、責任あるAIのための実践的なフレームワークを提供する。
論文 参考訳(メタデータ) (2026-04-29T00:20:22Z) - FISformer: Replacing Self-Attention with a Fuzzy Inference System in Transformer Models for Time Series Forecasting [3.542013483233134]
FISFormerはファジィ推論システム駆動トランスフォーマーで、従来の注意をFISインタラクションメカニズムに置き換える。
FISFormerは、最先端のTransformer変種と比較して予測精度、ノイズの堅牢性、解釈性に優れる。
論文 参考訳(メタデータ) (2026-03-23T09:12:47Z) - Diffusion-Inspired Reconfiguration of Transformers for Uncertainty Calibration [52.017716672255524]
プレトレーニングトランスにおける不確実性校正は、リスクに敏感なアプリケーションへの信頼性の高い展開において重要である。
本稿では,各特徴変換ブロックを確率的写像としてモデル化したトランスフォーマの拡散インスピレーションによる再構成を提案する。
本手法は既存の不確実性認識変換器と比較してキャリブレーションと予測精度が優れている。
論文 参考訳(メタデータ) (2026-02-09T17:24:47Z) - Feature-Weighted MMD-CORAL for Domain Adaptation in Power Transformer Fault Diagnosis [2.7898966850590625]
本研究では,最大平均離散度(MMD)と相関アライメント(CORAL)と特徴特化重み付け(MCW)を組み合わせた特徴重み付きドメイン適応手法を提案する。
MMD-CORAL (MC) よりも7.9%改善し、2.2%改善した電力変圧器用データセットの実験的評価により,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2025-05-20T20:44:35Z) - Model Hemorrhage and the Robustness Limits of Large Language Models [119.46442117681147]
大規模言語モデル(LLM)は、自然言語処理タスク全体で強力なパフォーマンスを示すが、デプロイメント用に修正された場合、大幅なパフォーマンス低下を経験する。
この現象をモデル出血(パラメータ変更とアーキテクチャ変更によるパフォーマンス低下)と定義する。
論文 参考訳(メタデータ) (2025-03-31T10:16:03Z) - Partial Transportability for Domain Generalization [56.37032680901525]
本稿では, 部分的同定と輸送可能性の理論に基づいて, 対象分布の関数値の有界化に関する新たな結果を紹介する。
我々の貢献は、輸送可能性問題に対する最初の一般的な評価手法を提供することである。
本稿では,スケーラブルな推論を実現するための勾配に基づく最適化手法を提案する。
論文 参考訳(メタデータ) (2025-03-30T22:06:37Z) - Attention Mechanisms Don't Learn Additive Models: Rethinking Feature Importance for Transformers [12.986126243018452]
変換器は、特徴属性に使用される線形または付加的な代理モデルを表現することができず、構造的に不可能である。
我々は,変圧器フレームワークに特化して設計された新しい代理モデルであるSoftmax-Linked Additive Log Odds Model (SLALOM)を紹介する。
SLALOMが競合する代理モデルよりもはるかに高い忠実さで説明できることを示すことで、SLALOMの独特な効率品質曲線を強調した。
論文 参考訳(メタデータ) (2024-05-22T11:14:00Z) - A Theoretical Analysis of Self-Supervised Learning for Vision Transformers [66.08606211686339]
マスク付きオートエンコーダ(MAE)とコントラスト学習(CL)は異なる種類の表現をキャプチャする。
我々は,MAEとCLの両目的に対して,一層ソフトマックス型視覚変換器(ViT)のトレーニングダイナミクスについて検討した。
論文 参考訳(メタデータ) (2024-03-04T17:24:03Z) - Transformers for prompt-level EMA non-response prediction [62.41658786277712]
エコロジー・モメンタリー・アセスメント(Ecological Momentary Assessments、EMA)は、認知状態、影響、行動、環境要因を測定するための重要な心理的データ源である。
参加者がEMAプロンプトに反応しない非応答は、内因性問題である。
非応答を正確に予測できる能力は、EMAのデリバリを改善し、コンプライアンスの介入を開発するために利用することができる。
論文 参考訳(メタデータ) (2021-11-01T18:38:47Z) - Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。
本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2021-02-09T10:55:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。