論文の概要: Toward Localizing and Repairing Bias in Transformer Attention Heads

• arxiv url: http://arxiv.org/abs/2607.12863v1
• Date: Tue, 14 Jul 2026 15:15:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-15 17:08:30.182423
• Title: Toward Localizing and Repairing Bias in Transformer Attention Heads
• Title（参考訳）: 変圧器用アテンションヘッドにおけるバイアスの局所化と修復に向けて
• Abstract要約: 本稿では,対象の推論時間による介入により,注目頭部の局所化と修復が可能であるかを検討する。 ROBINは,アテンションヘッドをフェアネスプローブの感度でランク付けし,選択したヘッド出力から小さなバイアス部分空間を除去する,ホワイトボックスのヘッドレベルのフェアネスデバッグ手法である。
• 参考スコア（独自算出の注目度）: 0.8883733362171032
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer language models are increasingly used as software components, yet biased outputs remain difficult to localize and repair inside the model. Existing fairness testing and repair methods largely operate at the input-output or retraining level, while recent work suggests that bias-related behavior can concentrate in a small set of attention heads. This paper studies whether attention heads can be localized and repaired through a targeted inference-time intervention. We introduce ROBIN, a white-box head-level fairness debugging method that ranks attention heads using sensitivity to fairness probes and removes a small bias subspace from selected head outputs. In a four-model pilot study, ROBIN reduces the measured WinoBias gap across all models while preserving language-modeling quality better than whole-head zeroing. These preliminary results suggest that head-level bias repair should consider not only which heads are selected, but also how selected heads are modified.
• Abstract（参考訳）: トランスフォーマー言語モデルは、ソフトウェアコンポーネントとしてますます使われているが、バイアスのある出力は、モデル内のローカライズと修復が難しいままである。 既存のフェアネステストと修復手法は入出力レベルや再訓練レベルにおいて主に機能するが、最近の研究はバイアスに関連した振る舞いが注意の小さなセットに集中できることを示唆している。 本稿では,対象の推論時間による介入により,注目頭部の局所化と修復が可能であるかを検討する。 ROBINは,アテンションヘッドをフェアネスプローブの感度でランク付けし,選択したヘッド出力から小さなバイアス部分空間を除去する,ホワイトボックスのヘッドレベルフェアネスデバッギング手法である。 ROBINは、全てのモデル間で測定されたWinoBiasギャップを減らし、言語モデリングの品質を全頭ゼロよりも良く保っている。 これらの予備的な結果は、頭部偏差補正は、どの頭部が選択されたかだけでなく、どのように選択された頭部が修正されたかを考慮すべきであることを示している。

関連論文リスト

• Locating Demographic Bias at the Attention-Head Level in CLIP's Vision Encoder [5.240228994459652]
  本稿では,残差ストリーム分解,ゼロショット概念活性化ベクトル,バイアス増分テキストスパン解析を組み合わせたメカニスティックフェアネス監査を提案する。 このパイプラインを、FACETベンチマークの42の専門クラスであるCLIP ViT-L-14エンコーダに適用し、性別と年齢の偏りを検査する。
  論文  参考訳（メタデータ） (2026-03-12T10:54:26Z)
• Missingness Bias Calibration in Feature Attribution Explanations [10.789973215750862]
  モデルの出力空間の表層的アーティファクトとして,欠陥バイアスを扱えることを示す。 凍結ベースモデルの出力に単純な線形ヘッドを微調整することで、このバイアスを補正する軽量なポストホック法であるMCalを導入する。
  論文  参考訳（メタデータ） (2026-03-05T05:29:09Z)
• Scaling Reasoning Hop Exposes Weaknesses: Demystifying and Improving Hop Generalization in Large Language Models [66.36240676392502]
  CoT(Chain-of- Thought)推論は、LLM(Large Language Models)が複雑な問題を解決するための標準パラダイムとなっている。 近年の研究では、ホップ一般化シナリオの推論性能が急落している。 推論過程におけるEPヘッドを動的に識別・非活性化する軽量な介入法である推論の試験時間補正を提案する。
  論文  参考訳（メタデータ） (2026-01-29T03:24:32Z)
• HeadHunt-VAD: Hunting Robust Anomaly-Sensitive Heads in MLLM for Tuning-Free Video Anomaly Detection [9.217348688177298]
  ビデオ異常検出(VAD)は、ビデオの通常のパターンから逸脱するイベントを見つけることを目的としている。 MLLM(Multimodal Large Language Models)に基づく最近のチューニング不要な手法は、豊かな世界の知識を活用することで、有望な代替手段を提供する。 本稿では,ロバストな異常に敏感な内部アテンションヘッドを直接追尾することにより,テキスト生成を回避できる新しいチューニング不要なVADパラダイムであるHeadHunt-VADを提案する。
  論文  参考訳（メタデータ） (2025-12-19T14:07:34Z)
• Picking the Underused Heads: A Network Pruning Perspective of Attention Head Selection for Fusing Dialogue Coreference Information [50.41829484199252]
  マルチヘッド自己アテンション機構を持つトランスフォーマーベースのモデルは自然言語処理で広く利用されている。 ネットワークプルーニングの観点から,特徴注入のためのアテンションヘッドの選択と操作戦略について検討する。
  論文  参考訳（メタデータ） (2023-12-15T05:27:24Z)
• Bias A-head? Analyzing Bias in Transformer-Based Language Model Attention Heads [17.455607526521295]
  そこで本研究では,PLMの定型バイアスに寄与する少数のバイアスヘッドを探索し,同定するためのバイアス分析フレームワークを提案する。 本稿では,トランスフォーマーをベースとした2種類のPLM(エンコーダベースBERTモデル)とデコーダベース自己回帰GPTモデル(デコーダベースGPTモデル)において,英語の性差と人種バイアスについて検討する。
  論文  参考訳（メタデータ） (2023-11-17T08:56:13Z)
• Mitigating Biases for Instruction-following Language Models via Bias Neurons Elimination [54.865941973768905]
  本稿では,命令追従設定における言語モデルのバイアスニューロンを除去するための,新しい実用的なバイアス緩和手法であるCRISPRを提案する。 CRISPRは自動的にバイアス出力を決定し、バイアス出力に影響を与えるニューロンを説明可能性法を用いてバイアスニューロンに分類する。 実験により,モデルのタスク性能と既存知識を損なうことなく,ゼロショット命令追従条件下でのバイアス軽減効果が示された。
  論文  参考訳（メタデータ） (2023-11-16T07:16:55Z)
• Gender Biases and Where to Find Them: Exploring Gender Bias in Pre-Trained Transformer-based Language Models Using Movement Pruning [32.62430731115707]
  本稿では,移動プルーニングによるトランスフォーマーベース言語モデルのバイアス検査のための新しい枠組みを示す。 モデルを微調整しながらデバイアスの対象にすることで、私たちのフレームワークを実装します。 モデルのパフォーマンスが向上すればするほど、バイアスが増します。
  論文  参考訳（メタデータ） (2022-07-06T06:20:35Z)
• Differentiable Subset Pruning of Transformer Heads [71.7904179689271]
  差別化可能なサブセットプルーニングと呼ぶ新しいヘッドプルーニング手法を導入する。 分割可能なサブセットプルーニングは,スパーシリティレベルを正確に制御しながら,従来の作業と同等あるいは良好に動作可能であることを示す。
  論文  参考訳（メタデータ） (2021-08-10T13:08:34Z)
• Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation [73.11214377092121]
  我々は,各エンコーダ層の注意頭数のみを,単純な固定型(非学習型)の注意パターンに置き換えることを提案する。 異なるデータサイズと複数の言語ペアを用いた実験により、トレーニング時にトランスフォーマーのエンコーダ側でアテンションヘッドを固定することは翻訳品質に影響を与えないことが示された。
  論文  参考訳（メタデータ） (2020-02-24T13:53:06Z)
• Low-Rank Bottleneck in Multi-head Attention Models [74.83235382203604]
  現在のアーキテクチャにおけるヘッド数とヘッドサイズの間のスケーリングは、注目ヘッドの低ランクボトルネックを引き起こします。 本稿では,アテンションユニットの頭部サイズを入力シーケンス長に設定し,ヘッド数に依存しないようにすることを提案する。
  論文  参考訳（メタデータ） (2020-02-17T16:16:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。