論文の概要: How Does Alignment Tuning Shape Representations of Sycophancy and Related Cue-Induced Biases in LLMs?

• arxiv url: http://arxiv.org/abs/2607.18114v1
• Date: Mon, 20 Jul 2026 16:10:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.702612
• Title: How Does Alignment Tuning Shape Representations of Sycophancy and Related Cue-Induced Biases in LLMs?
• Title（参考訳）: LLMにおけるSycophancyと関連キュー誘導ビアーゼのアライメント調整形状はどのように表現されるか?
• Abstract要約: 本研究は, この感受性, 潜伏性および関連キュー誘発バイアスがモデル内に存在するかを研究する。 我々は、隠れた状態からバイアスごとの方向を抽出し、探索、1つのデータセットの移動、因果的介入の3つの手段によってそれを三角測量する。
• 参考スコア（独自算出の注目度）: 53.58941416780391
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Modern LLMs are alarmingly susceptible to surprisingly simple immaterial changes of input prompts: a casual hint, an incorrectly labeled few-shot example, or a fake prior assistant turn often flips an originally correct answer. We study where this susceptibility, spanning sycophancy and related cue-induced biases, lives inside the model. Across five model families and seven BCT bias types, we extract a per-bias direction from hidden states and triangulate it through three measures: probing, leave-one-dataset-out transfer, and causal intervention. The susceptibility is largely installed by alignment tuning rather than pretraining: pretrained base models barely cave to these biases, and their activations carry no cue-specific signal beyond question content. Within aligned models, each bias becomes a single coherent direction that we can both decode and steer along, recovering the unbiased answer across every family we test. The biases stay representationally distinct, however: cross-bias entanglement is model-specific rather than a property of the bias category, and even behaviorally similar biases occupy different directions. The same intervention also serves as a modest debiasing tool, recovering a meaningful share of bias-induced errors while preserving most correct answers across all instruct families. Cue-induced bias is therefore best understood not as a single flaw in LLMs but as a family of distinct, causally active directions that alignment tuning installs.
• Abstract（参考訳）: 現代のLLMは、驚くほど単純なインプットプロンプトの非物質的な変更に対して、恐ろしく影響を受けやすい。カジュアルなヒント、誤ラベルのほとんどショットの例、偽のアシスタントターンは、しばしば元の正しい答えをひっくり返す。 本研究は, この感受性, 潜伏性および関連キュー誘発バイアスがモデル内に存在するかを研究する。 5つのモデルファミリーと7つのBCTバイアスタイプにまたがって、隠れた状態からバイアスごとの方向を抽出し、探索、1つのデータ転送、因果的介入の3つの手段により三角測量する。 事前訓練されたベースモデルはこれらのバイアスをほとんど無視せず、それらのアクティベーションは質問内容以外のキュー固有の信号を持たない。 整列モデル内では、各バイアスは単一の一貫性のある方向となり、デコードとステアリングの両方が可能となり、テスト対象のすべての家族の偏りのない回答を回復します。 クロスバイアスの絡み合いは、バイアスカテゴリーの特性よりもモデル固有のものであり、行動的に類似したバイアスでさえ異なる方向を占める。 同じ介入は控えめな嫌悪ツールとしても機能し、バイアスによって引き起こされるエラーの有意義なシェアを回復し、すべてのインストラクションファミリで最も正確な回答を保存する。 したがって、キュー誘起バイアスは、LCMの単一欠陥ではなく、アライメント調整を施した、明瞭で因果的に活発な方向の族として理解されている。

関連論文リスト

• CogBias: Measuring and Mitigating Cognitive Bias in Large Language Models [8.81733256907103]
  大規模言語モデル(LLM)は、高い意思決定コンテキストにますますデプロイされている。 認知バイアスは, 判断, 情報処理, 社会的, 反応の4種類の認知バイアスのすべてに対して, 体系的に現れることを示す。 活性化ステアリングを用いてバイアスの挙動を変調し,26～32%のバイアススコアの低減を実現した。
  論文  参考訳（メタデータ） (2026-04-01T20:22:14Z)
• Emergent Misalignment is Easy, Narrow Misalignment is Hard [10.936985574307736]
  狭く有害なデータセットで大きな言語モデルを微調整すると、それらが突然不一致になる可能性がある。 本研究では,LLMにおける学習と一般化を規定する帰納的バイアスを事例研究として,創発的不適応(EM)を用いて検討する。 狭い解の線型表現も存在し、KL分散損失を導入することで学習することができる。
  論文  参考訳（メタデータ） (2026-02-08T07:50:04Z)
• Making Bias Non-Predictive: Training Robust LLM Judges via Reinforcement Learning [91.8584139564909]
  大規模言語モデル(LLM)は、ますます自動化された審査員として機能するが、認知バイアスの影響を受けやすいままである。 本稿では,重要原則に基づく強化学習フレームワークである疫学独立訓練(EIT)を提案する。 EITはバランスの取れた競合戦略を通じてこれを運用します。
  論文  参考訳（メタデータ） (2026-02-02T01:43:48Z)
• Multi Attribute Bias Mitigation via Representation Learning [5.155573439009767]
  実世界のイメージは、テクスチャ、透かし、ジェンダーメイク、シーンオブジェクトペアリングなど、複数の重なり合うバイアスを頻繁に示します。 これは、トレーニング中にのみグループラベルを必要とし、テスト時にバイアスを最小限に抑えるリーン2段階フレームワークである。 GMBMをFB CMNIST, CelebA, COCO上で検証し, 最悪のグループ精度を向上し, 多属性バイアス増幅を半減させ, SBAでは新たな低値を設定した。
  論文  参考訳（メタデータ） (2025-09-03T18:08:59Z)
• Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs [51.00909549291524]
  大型言語モデル(LLM)は認知バイアスを示す。 これらのバイアスはモデルによって異なり、命令チューニングによって増幅することができる。 これらのバイアスの違いが事前学習、微調整、あるいはランダムノイズに起因するかどうかは不明だ。
  論文  参考訳（メタデータ） (2025-07-09T18:01:14Z)
• CosFairNet:A Parameter-Space based Approach for Bias Free Learning [1.9116784879310025]
  バイアス付きデータに基づいてトレーニングされたディープニューラルネットワークは、意図しない推論ルールを不注意に学習することが多い。 本稿では,モデルのパラメータ空間内で直接バイアスに対処する新しい手法を提案する。 各種合成および実世界のデータセットにおいて,分類精度の向上と偏りの低減効果を示す。
  論文  参考訳（メタデータ） (2024-10-19T13:06:40Z)
• Mitigating Bias for Question Answering Models by Tracking Bias Influence [84.66462028537475]
  本稿では,複数選択QAモデルのバイアスを軽減するためのBMBIを提案する。 バイアスのある例から学んだ場合、モデルがよりバイアスに傾くように傾くという直感に基づいて、クエリインスタンスのバイアスレベルを測定します。 本手法は,複数のバイアスカテゴリにまたがる複数のQA定式化に適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-10-13T00:49:09Z)
• Feature-Level Debiased Natural Language Understanding [86.8751772146264]
  既存の自然言語理解(NLU)モデルは、特定のデータセットで高いパフォーマンスを達成するために、データセットバイアスに依存することが多い。 本稿では, バイアスの潜在特性を緩和し, バイアスの動的性質を無視するために, DCT(Debiasing contrastive learning)を提案する。 DCTは、ディストリビューション内のパフォーマンスを維持しながら、アウトオブディストリビューションデータセットの最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2022-12-11T06:16:14Z)
• Learning Debiased Models with Dynamic Gradient Alignment and Bias-conflicting Sample Mining [39.00256193731365]
  ディープニューラルネットワークは、堅牢性、一般化、公正性をモデル化するのに有害なデータセットバイアスに悩まされている。 難解な未知のバイアスと戦うための2段階のデバイアス方式を提案する。
  論文  参考訳（メタデータ） (2021-11-25T14:50:10Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。