論文の概要: Consistency Training Suppresses Cue Following Without Teaching Cue Selectivity

• arxiv url: http://arxiv.org/abs/2610.25650v1
• Date: Mon, 19 Oct 2026 01:51:24 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:02:40.331987
• Title: Consistency Training Suppresses Cue Following Without Teaching Cue Selectivity
• Title（参考訳）: コンシステンシートレーニングは、選択性を教えることなくキューを抑える
• Abstract要約: 言語モデルは「私は答えがBであると信じている」などのヒントが、有効な証拠を示さないため、しばしば答えを変える。 4つの方法がこのアイデアを、トークン(BCT)、残留活性化(ACT)、注意パターン(AttCT)、サンプル回答率(RMCT)の出力に適用する。 我々は事前に記述された予測を検証し、その解答に手がかりをもたらす既知の回路を用いてモデルを検査する。
• 参考スコア（独自算出の注目度）: 16.926891901589226
• License:
• Abstract: Language models often change answers because of a cue, a hint such as "I believe the answer is B" that gives no valid evidence. Consistency training (CT) trains a model to answer the same with and without the cue. Four CT methods apply this idea to output tokens (BCT), residual activations (ACT), attention patterns (AttCT) and sampled-answer rates (RMCT). Prior work suggests some learn different solutions. We train all four on Gemma-2-2B-it and Llama-3.1-8B-Instruct with the same data. We test predictions written in advance and inspect the models with a known circuit that carries cues to the answer. All four make the trained cue less effective, and their fixes share three properties. First, correct cues lose about as much influence as wrong ones. Second, the fix is usually large for cues before the answer options, as in training, and much smaller after them. Llama RMCT depends least on position. Third, the circuit heads still carry most remaining cue-induced errors. Making BCT targets depend on the cue's correctness mostly weakens the fix. CT thus weakens the trained cue without teaching models when a cue is right. Evaluations with only wrong cues at the trained position miss the first two properties.
• Abstract（参考訳）: 言語モデルは「私はその答えがBであると信じている」などのヒントが、有効な証拠を与えていないため、しばしば答えを変える。 一貫性トレーニング(CT)は、モデルにキューを使わずに同じ回答をするよう訓練する。 4つのCT法がこのアイデアを、トークン(BCT)、残留活性化(ACT)、注意パターン(AttCT)、サンプル回答率(RMCT)の出力に適用する。 以前の研究は、いくつかの人が異なるソリューションを学ぶことを示唆している。 Gemma-2-2B-itとLlama-3.1-8B-Instructの4つのデータを同じデータでトレーニングする。 我々は事前に記述された予測を検証し、その解答に手がかりをもたらす既知の回路を用いてモデルを検査する。 4つともトレーニングされたキューの効率が悪くなり、修正は3つのプロパティを共有します。 第一に、正しい手がかりは間違ったものと同じくらいの影響力を失う。 第二に、この修正は通常、答えのオプションの前に、トレーニングのように、大きめで、そのあとはずっと小さい。 Llama RMCTは最小位置に依存している。 第3に、回路ヘッドは依然としてキューによって引き起こされるほとんどのエラーを運んでいる。 BCTの目標はキューの正しさに依存するため、主に修正が弱まる。 したがってCTは、キューが正しいときにモデルを教えることなく、訓練されたキューを弱める。 トレーニングされた位置での間違ったキューのみによる評価は、最初の2つのプロパティを見逃します。

関連論文リスト

• Many Biases, One Circuit: Post-Training Tunes a Pretrained Cue-Routing Mechanism [16.926891901589226]
  言語モデルは、しばしば、プロンプトがキューを含んでいるときに正しい答えを捨てる。 このビューを慎重にテストし、これらのバイアスの背後にある注意を、2つのポストトレーニングパイプラインのステージを通して追跡する。
  論文  参考訳（メタデータ） (2026-10-16T05:00:12Z)
• Base Models Can Reason By Taking a Cue From Training Data [49.06896989304574]
  本研究では,基本モデルの応答開始時のトークンと,それに続く推論行動との関連性について検討する。 特定の開始トークンキューの修正は、数学やコーディングに関する強化学習による学習結果と、ベースモデルのパフォーマンスを競合させることがわかった。 トークンキューの研究を言語モデルの安全性に関するケーススタディで拡張し、異なるキューが異なるタイプのトレーニングデータに対応する異なる拒絶とコンプライアンスの行動を引き起こすことを発見した。
  論文  参考訳（メタデータ） (2026-10-05T17:59:52Z)
• Measuring Reward Hacking and Reasoning-Answer Decoupling Under Position-Confounded Optimization [1.1316247605466565]
  正解が常にオプションAである数学問題に対してGRPOを用いて言語モデルを訓練し、不偏解位置を持つ未知のテストセットで評価する。 Qwen2.5、Llama 3.x、Gemma-3のモデルでは、より小さなモデルではオプションAレートが0.90を超えている。 有能なモデルは、Aを選択しながら正しい数値解に到達した推論を生成する。
  論文  参考訳（メタデータ） (2026-08-15T23:13:57Z)
• On the Generalization of Steering Vectors for Chain-of-Thought Faithfulness [0.3499870393443268]
  思考の連鎖(CoT)は、道具的推論ステップの開示に失敗し、それを不信と表現する。 本研究は,Cue型,データセット,ステアリングベクター構築方法にまたがって,忠実性のためのステアリングがいかに一般化するかを考察する。
  論文  参考訳（メタデータ） (2026-07-31T06:30:45Z)
• Consistency Training Helps Stop Sycophancy and Jailbreaks [42.673600663865614]
  自己管理型パラダイムで、モデルにプロンプト内の特定の無関係な手がかりに不変であるように教える。 一貫性トレーニングは、モデル自体からの応答をトレーニングデータとして使用するため、古いトレーニングデータから発生する問題を回避することができる。 BCTとACTは薬効を等しく低下させるが、BCTはジェイルブレイクの低減に有効である。
  論文  参考訳（メタデータ） (2025-10-31T00:19:13Z)
• Mitigating Spurious Correlations Between Question and Answer via Chain-of-Thought Correctness Perception Distillation [25.195244084313114]
  CoPeD (Chain-of-Thought Correctness Perception Distillation) は,学生モデルの推論品質の向上を目的としている。 CoPeDは学生モデルに対して、正しい合理性に基づいて回答を予測し、誤ったときに修正するよう推奨する。
  論文  参考訳（メタデータ） (2025-09-06T05:33:17Z)
• A Close Look into the Calibration of Pre-trained Language Models [56.998539510508515]
  事前訓練された言語モデル(PLM)は、予測の不確かさを確実に見積もることに失敗する可能性がある。 トレーニングにおけるPLMの校正性能の動的変化について検討する。 最近提案された2つの学習可能な手法を拡張して、モデルを直接収集し、合理的な信頼度を推定する。
  論文  参考訳（メタデータ） (2022-10-31T21:31:07Z)
• Improve Agents without Retraining: Parallel Tree Search with Off-Policy Correction [63.595545216327245]
  木探索(TS)における2つの大きな課題に取り組む。 我々はまず、TSと事前学習された値関数による行動選択が、元の事前学習されたエージェントと比較して性能を低下させるという、反直感的な現象を発見し、分析する。 Batch-BFS(Batch-BFS)は,木の各深さのすべてのノードを同時に前進させるGPUワイドファースト検索である。
  論文  参考訳（メタデータ） (2021-07-04T19:32:24Z)
• Calibrate Before Use: Improving Few-Shot Performance of Language Models [68.17016463756474]
  GPT-3は、いくつかのトレーニング例を含む自然言語プロンプトを提供すると、多数のタスクを実行できます。 この種の少数ショット学習は不安定である。 プロンプト形式、トレーニング例、およびトレーニング例の順序の選択は、精度をほぼチャンスから最先端のものに変化させる可能性があります。
  論文  参考訳（メタデータ） (2021-02-19T00:23:59Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。