論文の概要: From Leniency to Suspicion: How an Open Post-Training Recipe Changes Whom LLM Fact-Checkers Believe

• arxiv url: http://arxiv.org/abs/2610.38532v1
• Date: Wed, 28 Oct 2026 09:39:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.980548
• Title: From Leniency to Suspicion: How an Open Post-Training Recipe Changes Whom LLM Fact-Checkers Believe
• Title（参考訳）: LLM Fact-Checkersが信じる、オープンなトレーニング後のレシピの変化
• Abstract要約: ポストトレーニング後において、モデルの真理判断がいかにポスターの社会的階級に依存しているかは、まだ不明である。 本論文は,ポスターの職業が低い場合において,クレームの誤認をよく判断する,という仕事に基づく疑念を考察する。
• 参考スコア（独自算出の注目度）: 1.3521447196536418
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs increasingly fact-check online content with the poster's identity in view. However, it remains unclear which post-training changes how much a model's truth judgement depends on the poster's social class, and how such a change happens inside the model. This paper investigates job-based doubt, i.e., judging a claim false more often when the poster has a lower-status job, using fact-checked claims with randomised poster profiles in base and post-trained checkpoints of six model families. Our results reveal that: 1) post-training creates such doubt only with the open Tülu-3 recipe (OLMo-2 32B, Tülu-3 70B), not with Meta's, Alibaba's or Mistral's; the effect is under one percentage point but statistically reliable, exceeding training drift and replicating on independent claim sets; 2) in OLMo-2 32B, the model does not start noticing the poster's job more, but starts interpreting it differently: a lower-status job pushes the base model toward "true" and the post-trained model toward "false"; and 3) this flip is carried by a single residual-stream direction and happens at supervised fine-tuning. The mechanism was confirmed on 400 new claims with pre-specified predictions. None of seven deployed commercial models doubts lower-status posters more. Our work underscores the need to audit speaker bias per training recipe.
• Abstract（参考訳）: LLMは、ポスターのアイデンティティの観点から、オンラインコンテンツをファクトチェックする傾向が強まっている。 しかし、ポストトレーニング後において、いかにモデルの真理判断がポスターの社会階級に依存しているか、どのようにモデル内部でこのような変化が起こるかは明らかになっていない。 本稿は,6つのモデルファミリーのランダムなポスタープロファイルとポストトレーニング後のチェックポイントを用いたファクトチェックされたクレームを用いて,ポスターが下位のジョブを持つ場合のクレームの判断がより頻繁に行われるという,ジョブベースの疑念を考察する。 私たちの結果はこう明らかです。 1) ポストトレーニングは,Meta's,Alibaba's又はMistral'sではなく,オープンなTülu-3レシピ(OLMo-2 32B,Tülu-3 70B)でのみ疑念を生じさせる。 2)OLMo-232Bでは、ポスターの業務に気付き始めるのではなく、下級のジョブがベースモデルを「真」に、後級のモデルを「偽」に、それぞれ解釈し始める。 3) このフリップは1つの残留流方向に運ばれ, 教師付き微調整時に発生する。 このメカニズムは、事前に特定された予測で400件の新しいクレームで確認された。 7つの商用モデルのうちどれも、より低い水準のポスターを疑うものではなかった。 我々の研究は、学習レシピごとの話者バイアスを監査する必要性を浮き彫りにしている。

関連論文リスト

• Principled Under Pressure: Post-Training Decides Whether LLMs Act on Their Own Moral Judgment [1.0829694003408499]
  5種類の圧力で248のシナリオを事前登録したパネルを構築します。 各シナリオは、エージェントが何をするかを選択すると、どの選択肢が正しいかを尋ねると、同じモデルに2回設定されます。 OLMo-3-7B-インストラクションでは、モデルは5つのプレッシャーシナリオの約1分の1で間違った判断を下す。
  論文  参考訳（メタデータ） (2026-10-06T16:52:23Z)
• Verifying Large Language Models' Reasoning Paths via Correlation Matrix Rank [71.09032766271493]
  大規模言語モデル (LLM) は誤りや幻覚を引き起こす傾向がある。 アウトプットを効果的かつ効率的にチェックする方法は、アプリケーションにとって重要な問題となっている。
  論文  参考訳（メタデータ） (2025-10-28T11:01:10Z)
• When Do LLMs Admit Their Mistakes? Understanding the Role of Model Belief in Retraction [24.49830646625232]
  我々は、事前生成された回答における認識誤りの挙動を「取り消し」として定義する。 我々は、リトラクションがモデルの内部信念の指標と密接な関係があることを実証する。 実験により、内的信念はモデルリトラクションに因果的に影響を及ぼすことが示された。
  論文  参考訳（メタデータ） (2025-05-22T03:16:00Z)
• How Post-Training Reshapes LLMs: A Mechanistic View on Knowledge, Truthfulness, Refusal, and Confidence [52.9442657690445]
  大規模言語モデル(LLM)の成功にはポストトレーニングが不可欠である 学習後効果をよりよく理解するために,4つの視点からベースとポストトレーニング後のLLMを比較した。
  論文  参考訳（メタデータ） (2025-04-03T06:30:55Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。