論文の概要: Mitigating LLM sycophancy with RL-based fine-tuning: Bayesian Truth Serum approach

• arxiv url: http://arxiv.org/abs/2608.25267v1
• Date: Wed, 26 Aug 2026 01:07:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-27 14:15:15.500869
• Title: Mitigating LLM sycophancy with RL-based fine-tuning: Bayesian Truth Serum approach
• Title（参考訳）: RLをベースとした微調整によるLLM sycophancyの緩和:Bayesian Truth Serum アプローチ
• Abstract要約: 大規模言語モデル(LLM)は、ユーザの主張する信念や好みに回答を適応させる。 本稿では, ピア・プレディション・メカニズムを用いたサイコフィナンシーの緩和手法を提案する。
• 参考スコア（独自算出の注目度）: 13.87098169839313
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) frequently exhibit \emph{sycophancy}: they adapt their answers to a user's stated beliefs or preferences instead of reporting what they hold to be true, which lowers factual accuracy and can amplify misinformation. This paper proposes a methodology for mitigating sycophancy that employs the Bayesian Truth Serum (BTS), a peer-prediction mechanism, as the reward in Group Relative Policy Optimization (GRPO) to fine-tune an LLM. BTS pays an answer for being \emph{surprisingly common}, that is, more frequent among respondents than those respondents themselves predicted. We treat a group of responses from a model for one question as those respondents, so the reward is a function of the model's own outputs and fine-tuning needs neither labels nor preference annotations. We prove that in the large-group limit a sycophantic response earns strictly lower expected reward than an honest one. We also prove that if the entire group agrees in advance on a symmetric answering rule, it cannot earn a higher information score than under truthful reporting. On our true/false benchmark the reference model's answer-flip rate under user pressure decreases from 23% to 4%, and its accuracy under that pressure increases from 80% to 93%. Our reward outperforms SMART and is comparable to synthetic-data fine-tuning and to pinpoint tuning, all three of which train on labels. It spends considerably more compute in exchange, which makes it suitable when labeled data is scarce. Peer Truth Serum, which also pays a premium for a rare answer but elicits no prediction report, reproduces the effect. A peer-prediction reward computed inside a single GRPO group therefore reduces sycophancy without labels, and comparing mechanisms suggests that the premium paid for a rarer answer drives the effect.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、しばしば「emph{sycophancy}」を表わす: 事実を報告するのではなく、ユーザの主張する信念や好みに答えを適用することで、事実の正確さを低くし、誤情報を増幅することができる。 本稿では,LLMを微調整するグループ相対政策最適化(GRPO)の報奨として,Byesian Truth Serum(BTS)をピア予測機構として用いた薬効軽減手法を提案する。 BTSは「emph{surprisingly common}」という回答を出している。 そこで、報酬はモデル自身の出力の関数であり、微調整はラベルや好みのアノテーションを必要としない。 大規模なグループ制限では、サイコファンティックな応答は、正直な反応よりも期待される報酬を厳密に低く得ることが証明される。 また、グループ全体が対称解答規則に前もって同意した場合、真理報告よりも高い情報スコアを得ることができないことも証明した。 我々の真の/偽ベンチマークでは、ユーザ圧力下での参照モデルの回答フリップ率は23%から4%に減少し、その圧力下での精度は80%から93%に向上した。 私たちの報酬はSMARTより優れており、合成データの微調整やピンポイントチューニングに匹敵します。 交換にはかなり多くの計算に費やしているため、ラベル付きデータが不足している場合に適している。 Peer Truth Serumは、希少な答えに対してプレミアムを支払っているが、予測報告を与えていないため、効果を再現する。 したがって、単一のGRPOグループ内で計算されたピア予測報酬は、ラベルなしでの梅毒を減少させ、比較メカニズムは、稀な回答に対して支払われるプレミアムが効果を促進させることを示唆している。

関連論文リスト

• FramingQA: Does the Question Shape the Answer? Measuring the Compositional Framing Effect [69.8983512616053]
  大規模な言語モデルは、しばしばユーザによる暗黙のスタンスと一致する微妙な言い換えに応答を変更する。 これによってユーザーは、根拠となる事実ではなく、どのようにして質問を言い表したかというアドバイスをユーザーに残すことができる。 FramingQAは、法律、医学、ファイナンス、ロボットシミュレーションにまたがるフレーミングに疑問を呈するモデル感度を測定するベンチマークである。
  論文  参考訳（メタデータ） (2026-09-07T12:56:44Z)
• TTPO: Test-Time Policy Optimization [53.81524570216593]
  テストタイムポリシー最適化(TTPO)は、OPSDを介してロールアウトに同意し、Grouped RLと不一致なロールアウトを罰する非対称な目的である。 TTPOは5つの競合レベルのベンチマークでラベル管理されたOPSDと一致し、Qwen3-1.7Bは38.0%から45.2%まで上昇し、思考せずに+25.2%から+36.4%に上昇し、クロスタスクの一般化を示す。
  論文  参考訳（メタデータ） (2026-08-27T17:58:10Z)
• CoRE: Consensus Rewards via Equilibrium for Test-Time Reinforcement Learning [6.071121358322323]
  emphCoREはトレーニングされていないベースを平均で+21.7ドル、多数投票で$20.4ドルで改善する。 投票ボックスではなくグラフとしてロールアウトグループを扱い、不安定な投票を、余分なロールアウトコストなしで、校正され、格付けされ、自己監督された報酬に変える。
  論文  参考訳（メタデータ） (2026-08-10T09:06:03Z)
• A Unifying Lens on Reward Uncertainty in RLHF [0.2447206672789868]
  人間のフィードバックからの強化学習は、報酬ハッキングによってボトルネックとなる。 自然緩和は悲観主義であり、RMが不確実な地域で報酬を下げる。 正しい対象は分配報酬モデル $p(rmid x,y)$ であると主張する。
  論文  参考訳（メタデータ） (2026-06-08T06:15:30Z)
• CEPO: RLVR Self-Distillation using Contrastive Evidence Policy Optimization [50.59956036193097]
  検証可能な報酬(RLVR)を用いた強化学習における正しい解を生成するモデル 各トークンは、決定的な推論ステップであれ、文法的なフィラーであれ、同じ報酬信号を受信する。 コントラストエビデンスポリシー最適化(CEPO)を提案する。 CEPOは、全てのトークンに対してよりシャープな質問をする:「正しい答えは、このトークンを好むか?」が、「正しい答えは、正しい答えは、それを好む一方で、間違った答えはそれを好まないか?」。
  論文  参考訳（メタデータ） (2026-05-19T06:46:19Z)
• Response Time Enhances Alignment with Heterogeneous Preferences [49.69696266152175]
  簡易な二次信号で選好データセットを増大させることで、住民の平均選好の識別性を回復できることを示す。 私たちの結果は、将来的なデータ収集パイプラインに約束と新たな機会をもたらします。
  論文  参考訳（メタデータ） (2026-05-07T22:05:23Z)
• From Bias to Balance: Fairness-Aware Paper Recommendation for Equitable Peer Review [1.9029881798999504]
  本稿では,学術的品質を向上し,評価することのできる,レビュー後の論文選択のためのフレームワークを提案する。 Fair-PaperRecは、制御された条件下での公正なパラメータの振る舞いを分析して、実際の提出を検証することによって、レビュー後の論文選択のための実践的で株式に焦点を当てたフレームワークを提供し、いくつかの設定では、学術的な品質を向上し、測定することができる。
  論文  参考訳（メタデータ） (2026-02-25T21:57:07Z)
• Surprisingly Popular Voting for Concentric Rank-Order Models [16.278147190647026]
  社会情報サイトにおける重要な問題は、専門家が少数派であるときに個々の報告から真実を回復することである。 2つの階調モデルを提案し、これらのモデルの下でSP投票のサンプル複雑性を解析する。 提案手法は,SP-voting が高確率でグランドトラストランキングを復元できるように,基礎となるモデルのパラメータに条件を与える。
  論文  参考訳（メタデータ） (2024-11-13T06:32:17Z)
• Unintentional Unalignment: Likelihood Displacement in Direct Preference Optimization [60.176008034221404]
  直接選好最適化(DPO)とその変種は、言語モデルと人間の選好の整合にますます利用されている。 以前の研究では、トレーニング中に好まれる反応の可能性が減少する傾向が見られた。 確率変位は破滅的になりうることを示し、確率質量を好ましくない反応から反対の意味の反応へとシフトさせる。
  論文  参考訳（メタデータ） (2024-10-11T14:22:44Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• Adaptive Data Analysis in a Balanced Adversarial Model [26.58630744414181]
  適応データ解析において、メカニズムは未知の分布から$n$、すなわち$D$のサンプルを取得し、正確な推定を行う必要がある。 我々は、それぞれが2つの分離されたアルゴリズムから構成されるアンフバランスドと呼ばれる、より制限された敵を考える。 これらの強い硬さの仮定は、計算的に有界なアンフバランス逆元が公開鍵暗号の存在を示唆するという意味では避けられないことを示す。
  論文  参考訳（メタデータ） (2023-05-24T15:08:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。