論文の概要: Easy to Catch a Liar, Hard to Clear an Honest One: Language Models Diagnosing a Corrupted Reward Channel from a Verified Record

• arxiv url: http://arxiv.org/abs/2609.17226v1
• Date: Tue, 15 Sep 2026 14:10:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.562083
• Title: Easy to Catch a Liar, Hard to Clear an Honest One: Language Models Diagnosing a Corrupted Reward Channel from a Verified Record
• Title（参考訳）: 嘘をつかむのが簡単で、正直なことを理解するのが難しい:検証された記録から破損したリワードチャネルを診断する言語モデル
• Abstract要約: 我々は、そのデータを正確に手渡した凍結した言語モデルがそれを使用するかどうかを尋ねる。 ペイアウトスワップと嘘つきのレポーターがバイテ・アイデンティティ・ヒストリーを制作する2つのオプションゲームを構築した。 2つの家族から3つの大きなモデルに1つの質問に1つの手紙で答えるように求めます。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An agent that learns from rewards has to trust whatever reports those rewards. When the reports suddenly change, either the world changed or the reporter broke. From the reports alone these are indistinguishable, and reinforcement learning theory shows that no amount of further experience separates them. The prescribed escape is richer data about the reporter itself. We ask whether a frozen language model, handed exactly that data, uses it. We build a two-option game in which a payout swap and a lying reporter produce byte-identical histories. Then we add one verified record: an independent check of one round's real result, printed beside what the reporter said about that round. That single line settles the case. We ask three large models, from two families, to answer one question with one letter. Is the reporter honest or lying? They catch a lying reporter almost perfectly. At the 70B class that holds in every condition we tried; the 32B model slips in one wording. They clear an honest reporter far less often, and how often depends on things that should not matter. Averaged over rounds, letters, and wordings, a 72B model calls an honest reporter a liar 38% of the time when nothing has changed at all, and 58% of the time when the payouts moved. A 70B model from a second family calls an honest reporter a liar 26% and 48% of the time. The failure is not one of reading, because in the situation where nothing changed the same models score 0.96 to 1.00 with the answer printed in the prompt. Which surface feature drives it differs by family. For the Qwen models it is which round the record names, and for Llama it is which letter stands for "honest." Adding the record to a prompt that already states the answer makes Llama less likely to give that answer. We had registered a prediction for that 58% before the run: 35%. The failure is larger than we expected.
• Abstract（参考訳）: 報酬から学ぶエージェントは、報奨の報告を何でも信用しなければならない。 報道が突然変わったとき、世界が変わったか、記者が壊れた。 報告書だけでは、これらは区別がつかないものであり、強化学習理論は、それ以上の経験が分からなくなることを示している。 所定の脱出は、レポーター自体に関するよりリッチなデータである。 我々は、そのデータを正確に手渡した凍結した言語モデルがそれを使用するかどうかを尋ねる。 ペイアウトスワップと嘘つきのレポーターがバイテ・アイデンティティ・ヒストリーを制作する2つのオプションゲームを構築した。 そして、そのラウンドについて記者が言ったことの横に印刷された、1ラウンドの実際の結果の独立したチェックという、検証済みの記録を1つ追加します。 その一行で決着がつく。 2つの家族から3つの大きなモデルに1つの質問に1つの手紙で答えるように求めます。 記者は正直ですか、それとも嘘ですか。 彼らはほとんど完全に嘘つきの記者を捕まえる。 32Bモデルは1つのワードでスリップします。 彼らは、正直なレポーターをはるかに少なくし、いかに頻繁に、重要でないものに依存しているかを明確にする。 72Bモデルでは、ラウンドや文字、言葉を平均して、正直な記者を、何も変わっていない時間の38%、支払いが移動した時間の58%の嘘だとしている。 第2ファミリーの70Bモデルでは、正直な記者が26%と48%の嘘をついている。 なぜなら、同じモデルが変更されていない場合には、プロンプトに印刷された回答で0.96から1.00のスコアが返されるからである。 どの表面的特徴が家族によって異なるか。 Qwen のモデルでは、レコード名を丸めるもの、Llama では、どの文字が "honest" の意である。 すでに答えを述べているプロンプトにレコードを追加することで、Llamaはその答えを与える可能性が低くなる。 実行前に58%の予測を登録しました: 35%です。 その失敗は予想より大きい。

関連論文リスト

• DementiaCare-Bench: A Modality-Validated Video Benchmark [83.92703885588868]
  認知症は世界中で推定5700万人に影響を与える。 ほとんどの家族にとって、ケアの最も難しい部分は記憶喪失ではなく、認知症の行動や心理的症状である。 DementiaCare-Bench: 9つのBPSDカテゴリの94クリップに区切られた、プロのケア用トレーニングビデオ56本を提示する。
  論文  参考訳（メタデータ） (2026-09-11T14:52:49Z)
• Detectable Only Where It Is Confounded: What Verified Duplication Counts Say About Membership Evidence in Language Models [0.0]
  言語モデルが予測する文章を異常に安価に見つけると、その文章が訓練データに含まれていたと結論付ける傾向があることが示される。 ほぼ全ての公開テストでは、どの文章がトレーニングデータ、メンバー、どれがそうでなかったかを推測する必要があった。 本稿では,OLMo-2とPythiaの2つのモデルファミリーが事前学習コーパスを公開し,各コーパスに現れる文の正確な回数を公開インデックスとして返却する。 答えは2つの側面から閉じてピンサーを形成する。
  論文  参考訳（メタデータ） (2026-09-09T21:01:56Z)
• SDoH-Aware Narrative Anchoring Bias in Medical LLMs for Trustworthy Clinical Decision Support [0.0]
  本稿は,SDoHを意識したナラティブアンカーバイアスとしてリスクを評価する。 私たちは,NarrativeShield SDoH MedQAという医療質問応答データセットを使用している。 最終実験では300の臨床ケースを使用し、8,100のモデル応答を生成する。
  論文  参考訳（メタデータ） (2026-08-24T04:58:32Z)
• FACTWASH: Catching AI Rewrites That Wash Hearsay into Fact [0.0]
  AIシステムは情報を常に書き直す:会話が記憶される記憶となり、ドキュメントが答えになる。 私たちはファクト・ウォッシングと呼んでいる。これはオープンソースのライトタイム・ゲートで、判断的にそれをキャッチし、裁判官ではなく、名前のついた旗や証拠を持っています。 コストの安いチェックはいつ,モデルが必要なのか?
  論文  参考訳（メタデータ） (2026-08-04T09:20:54Z)
• Caved or Convinced: Temporal Sampling Gates Claim Deference in Video Large Language Models [19.81998459094009]
  2つのイベントのうちどれが最初に来たかを尋ねると、ビデオモデルは2つの方法で失敗する可能性があることを示す。 事前の作業は、最初にのみ測定し、モデルの信頼性を低下させることによって緩和する。 そこで本研究では,サンプルフレームを前向きに,逆向きに評価し,クレームを読まずに解答,再サンプリング,あるいは棄却することで,モデルの順序をキャンセルするリバーサルテストを提案する。
  論文  参考訳（メタデータ） (2026-08-04T05:47:44Z)
• Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
  ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。 すべてのモデルはヒンディー語で最小の精度を達成する。 原因ではなく検索は エラーの70%以上を 引き起こします
  論文  参考訳（メタデータ） (2026-05-21T17:42:07Z)
• Negation Neglect: When models fail to learn negations in training [7.03785756326383]
  我々は否定否定(Negation Neglect)を導入し、請求項を偽としてフラグ付けする文書にLCMを微調整することで、請求項が真実であると信じさせる。 これは、同じ文書がコンテキストで与えられるときに、クレームを偽と認識するモデルにもかかわらず発生する。
  論文  参考訳（メタデータ） (2026-05-13T17:51:31Z)
• LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
  暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。 我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。 LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
  論文  参考訳（メタデータ） (2024-05-31T17:16:38Z)
• The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
  ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-01-01T14:02:27Z)
• MQuAKE: Assessing Knowledge Editing in Language Models via Multi-Hop Questions [75.21713251369225]
  編集されたモデルが正しい解答を行うかどうかを評価するマルチホップ質問を含むベンチマークMQuAKEを提案する。 本稿では,メモリベースのアプローチであるMeLLoを提案する。これは,編集された事実に整合した回答を生成するために,言語モデルを反復的に促しながら,すべての編集された事実を外部に保存する。
  論文  参考訳（メタデータ） (2023-05-24T06:48:41Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。