Fugu-MT 論文翻訳(概要): Beyond the Name: Demographic Leakage in De-Identified Résumés and Evaluation Artifacts in LLM Bias Audits

論文の概要: Beyond the Name: Demographic Leakage in De-Identified Résumés and Evaluation Artifacts in LLM Bias Audits

arxiv url: http://arxiv.org/abs/2609.16501v1
Date: Tue, 15 Sep 2026 01:48:44 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-16 14:56:08.298722
Title: Beyond the Name: Demographic Leakage in De-Identified Résumés and Evaluation Artifacts in LLM Bias Audits
Title（参考訳）: 名称を超えて - LLM Bias Auditsにおける未確認論文の漏洩と評価アーティファクト
Abstract要約: 本研究では,9つのオープンウェイトモデルと620レサムモデルにおいて,言語フィールドの除去がリークを解消するか否かを検討する。 5つの民族的条件と3つのクエー・サリエンス層にまたがる非構造的散文を分離した。目標グループの回復平均は0.757であり、高塩分下では1.000で飽和する。
参考スコア（独自算出の注目度）: 4.736836688901646
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: De-identified résumé screening assumes that redacting explicit fields prevents ethnocultural inference; however, recent audits attribute residual leakage to declared languages. We investigate whether eliminating language fields resolves this leakage across nine open-weight models and 620 counterfactual résumés. By holding language attributes strictly identical, we isolate unstructured prose across five ethnocultural conditions and three cue-salience tiers. Target-group recovery averages 0.757 overall and saturates at 1.000 under high salience, demonstrating that non-language prose sustains demographic inference. Crucially, models diverge only under faint cues (0.086-0.690), establishing salience as an essential evaluation axis. Furthermore, pairwise LLM-as-a-judge outcomes are highly sensitive to evaluation design: forbidding ties yields an apparent selection-rate ratio of 0.39 alongside strong position and content effects, whereas permitting ties produces near-universal ties for most models ($\ge94\%$). Downstream scoring shows only very small between-condition differences, highlighting the need to distinguish demographic signals recoverable from résumé content from effects introduced by the evaluation protocol.
Abstract（参考訳）: 明示的なフィールドの再活性化は民族文化の推論を妨げると仮定するが、近年の監査では宣言された言語に残留するリークが報告されている。本研究は,9つのオープンウェイトモデルと620個の反ファクトレジュメにまたがるこのリークを,言語フィールドの除去が解決するかどうかを考察する。言語属性を厳密に同一にすることで,5つの民族的条件と3つのクエー・サリエンス・レベルにまたがる非構造的散文を分離する。ターゲット・グループ・リカバリの平均は0.757であり、高いサリエンスの下で1.000で飽和し、非言語による散文が人口統計学的な推測を維持できることを示した。重要な点として、モデルは希薄な手がかり(0.086-0.690)の下でのみ分散し、サリエンスを本質的な評価軸として確立する。さらに、LLM-as-a-judgeの結果は、評価設計に非常に敏感である: 禁じられた結合は、強い位置と内容効果とともに、明らかな選択率0.39の比率を得る一方、許容された結合は、ほとんどのモデルに対してほぼ普遍的な結合(\ge94\%$)を生成する。下流のスコアリングは条件間の差が非常に小さいことを示し、評価プロトコルが導入した影響からレサム内容から回復可能な人口統計信号を識別する必要性を強調している。

関連論文リスト

Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence [0.7340017786387767]
先行スコアは,文脈メタデータにのみ含まれていても,判断をアンカーし,評価を評価値に体系的にシフトすることを示す。人間のラベル付き地上真実によるカテゴリー産業データでは、アンカーされたメタデータは誤り訂正の48%をブロックし、割り当てられた間違ったラベルに対して正しい判断の10.18%をフリップする。
論文参考訳（メタデータ） (2026-08-26T14:41:24Z)
Interpretable Cross-Lingual Alignment in Small Language Models: Probing Cultural and Pragmatic Reasoning in Japanese-English Bilingual LLMs [0.0]
表面流速から4つの現象を分離する最小ペアのベンチマークであるJ-PragEval-v0を紹介する。線形プローブと教師による対数確率評価を組み合わせて、TinySwallow-1.5B内のどのコントラストがライブであるかを問う。
論文参考訳（メタデータ） (2026-08-14T21:04:21Z)
REGARD: Regional Affective Differences in Large Language Models [32.505127447635864]
ターゲット指向のValence-Arousal-Dominanceプロファイリングを用いて,LLM間での感情的フレーミングの差異について検討した。感情的および反応行動的プロファイルによる19モデルすべてのウォードリンク後のクラスタリングでは、3つの行動的クラスタが生成される。これらの結果から,VADプロファイリングは感情的フレーミングの次元である感情的強度を捉えており,従来の感情に基づく評価ではほとんど見えないことが示唆された。
論文参考訳（メタデータ） (2026-07-22T20:47:57Z)
Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。 Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
論文参考訳（メタデータ） (2026-07-21T16:15:05Z)
RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文参考訳（メタデータ） (2025-11-27T07:20:52Z)
Escaping the SpuriVerse: Can Large Vision-Language Models Generalize Beyond Seen Spurious Correlations? [37.703287009808896]
微調整は、非重要特徴とターゲットラベルの間に急激な相関を引き起こす可能性がある。実世界の視覚探索探索(VQA)ベンチマークにおいて,GPT-4oエラーを抽出してベンチマークを作成する。 SpuriVerse上で15のオープンソースLVLMを評価し、最先端のクローズドソースモデルでもかなり苦労していることを発見した。
論文参考訳（メタデータ） (2025-06-23T06:11:43Z)
STOP! Benchmarking Large Language Models with Sensitivity Testing on Offensive Progressions [6.19084217044276]
大規模言語モデル(LLM)における明示的バイアスと暗黙的バイアスの緩和は、自然言語処理の分野において重要な焦点となっている。我々は,2700のユニークな文を含む450の攻撃的進行を含む,攻撃的進行に関する感性テストデータセットを紹介した。以上の結果から,最も優れたモデルでさえバイアスを不整合に検出し,成功率は19.3%から69.8%であった。
論文参考訳（メタデータ） (2024-09-20T18:34:38Z)
"Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。本研究は,Halucination rate,Halucination rate,Halucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sr。
論文参考訳（メタデータ） (2023-12-18T17:18:04Z)
mFACE: Multilingual Summarization with Factual Consistency Evaluation [79.60172087719356]
抽象的な要約は、事前訓練された言語モデルと大規模データセットの可用性のおかげで、近年で新たな関心を集めている。有望な結果にもかかわらず、現在のモデルはいまだに現実的に矛盾した要約を生み出すことに苦しむ。事実整合性評価モデルを利用して、多言語要約を改善する。
論文参考訳（メタデータ） (2022-12-20T19:52:41Z)
Retrieval-based Disentangled Representation Learning with Natural Language Supervision [61.75109410513864]
本稿では,VDR(Vocabulary Disentangled Retrieval)を提案する。提案手法では,両エンコーダモデルを用いて語彙空間におけるデータと自然言語の両方を表現する。
論文参考訳（メタデータ） (2022-12-15T10:20:42Z)
What Can We Learn from Collective Human Opinions on Natural Language Inference Data? [88.90490998032429]
ChaosNLIは、集合HumAnオピニオンSを研究するための合計464,500のアノテーションを持つデータセットである。このデータセットは、SNLIとMNLIの3,113例とAbductive-NLIの1,532例に対して、100のアノテーションを例に集めて作成されている。
論文参考訳（メタデータ） (2020-10-07T17:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。