論文の概要: Unfair and Unsafe: Everyday Bias Triggers Emergent Misalignment

• arxiv url: http://arxiv.org/abs/2610.15961v1
• Date: Sun, 11 Oct 2026 22:31:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.276705
• Title: Unfair and Unsafe: Everyday Bias Triggers Emergent Misalignment
• Title（参考訳）: 不公平で安全でない: 毎日のバイアストリガーが過ちを犯す
• Abstract要約: 創発的ミスアライメント(EM)は、言語モデルを狭いタスクに微調整することで、無関係なタスクにミスアライメントする。 ステレオタイプに依存した丁寧な回答の微調整によって、モデルは安全が損なわれ、非関係なタスクでは真実性が低下することを示します。 公平性に関する懸念と方法は、トリガーの検索を拡大するための自然な方法である、と我々は主張する。
• 参考スコア（独自算出の注目度）: 4.264459716387757
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Emergent misalignment (EM) occurs when fine-tuning a language model to a narrow task makes it misaligned on unrelated ones. Because organizations now routinely fine-tune models on their own data, it matters which kinds of training data cause EM. So far, studies have induced EM with data containing recognized safety failures, such as insecure code or harmful advice, while biased training data is typically examined by fairness research for the bias models learn from it rather than for its effects on safety. In real-world text, much of this bias, such as demographic stereotypes, appears not as derogatory language but politely, embedded in judgments about people. We ask whether learning such polite stereotypes can itself cause EM. We find that fine-tuning on polite answers that rely on stereotypes makes models less safe and less truthful on unrelated tasks. The effect holds across four open-weight model families (7B to 12B), both gender and race stereotypes, and repeated training runs, relative to controls trained on the same questions without the stereotype. We further show that the learned stereotype has its own direction in model activations, distinct from directions for generic misaligned traits such as deception. This direction exists before fine-tuning and can both control the learned stereotype and monitor its acquisition. Existing defenses against EM improve safety while leaving the stereotype largely intact. Beyond this controlled setting, fine-tuning on political news coverage also triggers EM, apparently amplified by partisan framing, and stereotype models acting as tool-using agents can carry out harmful tasks and blame people without evidence. Our results show that biased training data is not only a fairness problem but also a safety one. We argue that EM is studied too narrowly, and that fairness concerns and methods offer a natural way to broaden the search for its triggers.
• Abstract（参考訳）: 創発的ミスアライメント(EM)は、言語モデルを狭いタスクに微調整することで、無関係なタスクにミスアライメントする。 組織は現在、独自のデータに基づいて微調整のモデルを定期的に実施しているため、どのようなトレーニングデータがEMを引き起こすかが重要です。 これまでの研究は、安全でないコードや有害なアドバイスなど、認識された安全障害を含むデータでEMを誘導してきたが、バイアス付きトレーニングデータは通常、その安全性に対する影響ではなく、そこから学習したバイアスモデルに対して公正な調査によって調べられている。 現実世界のテキストでは、人口統計学のステレオタイプのようなこのバイアスの多くは、軽蔑的な言語ではなく、礼儀正しく、人々の判断に埋め込まれているように見える。 このような丁寧なステレオタイプを学ぶことは、それ自体がEMを引き起こすかどうかを問う。 ステレオタイプに依存した丁寧な回答の微調整によって、モデルは安全が損なわれ、非関係なタスクに対する真偽が薄れてしまう。 この効果は、4つのオープンウェイトモデルファミリー(7Bから12B)、性別と人種のステレオタイプの両方、および繰り返しのトレーニング実行を、ステレオタイプなしで同じ質問で訓練されたコントロールに対して保持する。 さらに、学習されたステレオタイプがモデルアクティベーションにおいて独自の方向を持つことを示す。 この方向は微調整の前に存在し、学習したステレオタイプを制御し、その取得を監視することができる。 EMに対する既存の防御は、ステレオタイプをほとんど無傷のまま残しながら安全性を向上させる。 このコントロールされた設定以外にも、政治ニュースの微調整は、明らかにパルチザンのフレーミングによって増幅されたEMをトリガーし、ツール使用エージェントとして働くステレオタイプモデルは、有害なタスクを実行し、証拠のない人々を非難することができる。 以上の結果から,バイアス付きトレーニングデータは公平性の問題であるだけでなく,安全性の問題でもあることがわかった。 我々は、EMは狭く研究されすぎており、公平性に関する懸念と方法が引き金の探索を拡大する自然な方法を提供すると論じている。

関連論文リスト

• Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs [51.00909549291524]
  大型言語モデル(LLM)は認知バイアスを示す。 これらのバイアスはモデルによって異なり、命令チューニングによって増幅することができる。 これらのバイアスの違いが事前学習、微調整、あるいはランダムノイズに起因するかどうかは不明だ。
  論文  参考訳（メタデータ） (2025-07-09T18:01:14Z)
• Adultification Bias in LLMs and Text-to-Image Models [55.02903075972816]
  若い女性の人種やジェンダーの軸に沿った偏見について研究する。 我々は「文化バイアス」に焦点を当てており、黒人の女の子は白人の仲間よりも、より排他的で、性的に親密で、教育可能であると推定される現象である。
  論文  参考訳（メタデータ） (2025-06-08T21:02:33Z)
• Aligned but Blind: Alignment Increases Implicit Bias by Reducing Awareness of Race [14.700348476541684]
  文脈が曖昧である場合, 言語モデル(LM)は, 初期内部表現における人種概念を無視することを示す。 本稿では,初期モデル層における人種概念の表現を動機付けることによって,新たなバイアス緩和戦略を提案する。
  論文  参考訳（メタデータ） (2025-05-30T21:41:44Z)
• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• Self-Debiasing Large Language Models: Zero-Shot Recognition and Reduction of Stereotypes [73.12947922129261]
  ステレオタイピングを減らすために,大規模言語モデルのゼロショット機能を活用している。 自己嫌悪は、9つの異なる社会集団におけるステレオタイピングの度合いを著しく低下させることが示される。 この研究が、バイアス軽減のための他のゼロショット技術に関する調査をオープンにすることを願っている。
  論文  参考訳（メタデータ） (2024-02-03T01:40:11Z)
• Will the Prince Get True Love's Kiss? On the Model Sensitivity to Gender Perturbation over Fairytale Texts [80.21033860436081]
  本稿では, モデルが非現実的データ拡張を通じて, ジェンダーステレオタイプ摂動にどう反応するかを検討する。 実験結果から, 性別の摂動に直面すると, モデルの性能低下がわずかであることがわかった。 反現実的なトレーニングデータに基づいて微調整を行うと、モデルは反ステレオタイプな物語に対してより堅牢になる。
  論文  参考訳（メタデータ） (2023-10-16T22:25:09Z)
• UnQovering Stereotyping Biases via Underspecified Questions [68.81749777034409]
  未特定質問からバイアスを探索・定量化するためのフレームワークUNQOVERを提案する。 モデルスコアの素直な使用は,2種類の推論誤差による誤ったバイアス推定につながる可能性があることを示す。 我々はこの指標を用いて、性別、国籍、民族、宗教の4つの重要なステレオタイプの分析を行う。
  論文  参考訳（メタデータ） (2020-10-06T01:49:52Z)
• CrowS-Pairs: A Challenge Dataset for Measuring Social Biases in Masked Language Models [30.582132471411263]
  Crowd Stereotype Pairsベンチマーク(CrowS-Pairs)を紹介する。 CrowS-Pairsには1508の例があり、人種、宗教、年齢など9種類の偏見を扱うステレオタイプをカバーしている。 その結果, CrowS-Pairs の各カテゴリーにおいて, 広く使われている3つの文のすべてが, 実質的にステレオタイプを好んでいることがわかった。
  論文  参考訳（メタデータ） (2020-09-30T22:38:40Z)
• StereoSet: Measuring stereotypical bias in pretrained language models [24.020149562072127]
  我々は,4つの領域におけるステレオタイプバイアスを測定するために,英語の大規模自然データセットであるStereoSetを提案する。 我々は,BERT,GPT-2,RoBERTa,XLNetなどの人気モデルをデータセット上で評価し,これらのモデルが強いステレオタイプバイアスを示すことを示す。
  論文  参考訳（メタデータ） (2020-04-20T17:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。