論文の概要: Many Biases, One Circuit: Post-Training Tunes a Pretrained Cue-Routing Mechanism

• arxiv url: http://arxiv.org/abs/2610.22937v1
• Date: Fri, 16 Oct 2026 05:00:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-20 00:56:07.768029
• Title: Many Biases, One Circuit: Post-Training Tunes a Pretrained Cue-Routing Mechanism
• Title（参考訳）: 多くのビアーズ、1つの回路:訓練後のテューンに事前訓練されたキュールーティング機構
• Abstract要約: 言語モデルは、しばしば、プロンプトがキューを含んでいるときに正しい答えを捨てる。 このビューを慎重にテストし、これらのバイアスの背後にある注意を、2つのポストトレーニングパイプラインのステージを通して追跡する。
• 参考スコア（独自算出の注目度）: 16.926891901589226
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Language models often abandon a correct answer when the prompt contains a cue, a hint toward a wrong option such as "I think the answer is B." Sycophancy and related biases show this failure. They are often studied separately and blamed on alignment. We test this view causally, tracing the attention heads behind these biases through the stages of two post-training pipelines. In multiple-choice tests on most models, four cue types rely largely on the same few heads, a shared circuit already present in pretrained models. Most base models follow cues in plain text. Fine-tuning a base model on about 200 generic assistant examples without cues activates these heads in chat format, so cue-following can be a side effect of assistant tuning. The final reinforcement learning (RL) stage strengthens the effect of cues in almost every comparison. In Tulu-3-8B and OLMo-2-7B, we swap the attention patterns of six middle layers between the RL checkpoint and its predecessor. For suggested-answer cues, this shifts each checkpoint's cue effect most of the way to the other's level. Post-training thus seems to change when and how strongly models use this circuit. Mitigation for these multiple-choice biases could target this circuit.
• Abstract（参考訳）: 言語モデルは、しばしば「答えはBだと思う」といった間違った選択肢へのヒントとして、プロンプトがキューを含むときに正しい答えを放棄する。 症状と関連するバイアスは、この失敗を示しています。 しばしば別々に研究され、アライメントに責任を負う。 このビューを慎重にテストし、これらのバイアスの背後にある注意を、2つのポストトレーニングパイプラインのステージを通して追跡する。 ほとんどのモデルでの多重選択テストでは、4つのキュータイプは、既に事前訓練されたモデルに存在している共有回路である、ほとんど同じ少数のヘッドに依存している。 ほとんどの基本モデルは平文で手がかりに従う。 キューのない約200のジェネリックアシスタントの例でベースモデルを微調整すると、これらのヘッドがチャット形式で活性化されるため、キューフォローはアシスタントチューニングの副作用となる。 最終強化学習(RL)段階は、ほぼ全ての比較において手がかりの効果を高める。 In Tulu-3-8B and OLMo-2-7B, we swap the attention pattern of six middle layer between the RL checkpoint and its previous。 提案された問合せに対して、これは各チェックポイントのキュー効果を他のレベルにほとんどシフトさせる。 したがって、ポストトレーニングは、モデルがこの回路をいつ、どのくらい強く使用するかを変えるように思われる。 これらの多重選択バイアスの緩和は、この回路を標的にすることができる。

関連論文リスト

• Base Models Can Reason By Taking a Cue From Training Data [49.06896989304574]
  本研究では,基本モデルの応答開始時のトークンと,それに続く推論行動との関連性について検討する。 特定の開始トークンキューの修正は、数学やコーディングに関する強化学習による学習結果と、ベースモデルのパフォーマンスを競合させることがわかった。 トークンキューの研究を言語モデルの安全性に関するケーススタディで拡張し、異なるキューが異なるタイプのトレーニングデータに対応する異なる拒絶とコンプライアンスの行動を引き起こすことを発見した。
  論文  参考訳（メタデータ） (2026-10-05T17:59:52Z)
• How Does Alignment Tuning Shape Representations of Sycophancy and Related Cue-Induced Biases in LLMs? [53.58941416780391]
  本研究は, この感受性, 潜伏性および関連キュー誘発バイアスがモデル内に存在するかを研究する。 我々は、隠れた状態からバイアスごとの方向を抽出し、探索、1つのデータセットの移動、因果的介入の3つの手段によってそれを三角測量する。
  論文  参考訳（メタデータ） (2026-07-20T16:10:06Z)
• Reasoning Path Divergence: A New Metric and Curation Strategy to Unlock LLM Diverse Thinking [49.8843966537226]
  テスト時間スケーリング(TTS)は,大規模言語モデル(LLM)の推論能力向上に有効であることが証明された。 提案手法は「一問題・複数解」(1PNS)の学習パラダイムであり,モデルから妥当な推論軌跡を抽出する手法である。 Reasoning Path Divergence (RPD) を用いて、問題ごとの最大多様な解集合と微調整Qwen3-4B-Baseをキュレートする。
  論文  参考訳（メタデータ） (2025-10-30T04:08:53Z)
• Planted in Pretraining, Swayed by Finetuning: A Case Study on the Origins of Cognitive Biases in LLMs [51.00909549291524]
  大型言語モデル(LLM)は認知バイアスを示す。 これらのバイアスはモデルによって異なり、命令チューニングによって増幅することができる。 これらのバイアスの違いが事前学習、微調整、あるいはランダムノイズに起因するかどうかは不明だ。
  論文  参考訳（メタデータ） (2025-07-09T18:01:14Z)
• Are DeepSeek R1 And Other Reasoning Models More Faithful? [2.0429566123690455]
  我々は,Qwen-2.5,Gemini-2,DeepSeek-V3-Baseの3つの推論モデルを評価する。 MMLU質問に対する解答に、その解答がどう影響するかをモデルで記述できるかどうかを検証する。 推論モデルは、テストされたすべての非推論モデルよりもはるかに確実にそれらに影響を与えるキューを記述する。
  論文  参考訳（メタデータ） (2025-01-14T14:31:45Z)
• Bias-Augmented Consistency Training Reduces Biased Reasoning in Chain-of-Thought [33.32335629744919]
  CoT(Chain-of- Thought prompting)は、言語モデル推論の説明可能性を改善する可能性がある。 また、CoTはモデルの動きに影響を与える要因を体系的に誤って表すこともできる。 まず、GPT-3.5-TurboとLlama-8bモデルに影響を与える9つの異なるバイアスのデータセットを作成します。
  論文  参考訳（メタデータ） (2024-03-08T18:41:42Z)
• Relieving Long-tailed Instance Segmentation via Pairwise Class Balance [85.53585498649252]
  長い尾のインスタンスセグメンテーションは、クラス間のトレーニングサンプルの極端な不均衡のために難しいタスクである。 尾のついたものに対して、(大多数のサンプルを含む)ヘッドクラスの深刻なバイアスを引き起こす。 そこで本研究では,学習中の予測嗜好を蓄積するために,学習中に更新される混乱行列上に構築された新しいPairwise Class Balance(PCB)手法を提案する。
  論文  参考訳（メタデータ） (2022-01-08T07:48:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。