論文の概要: Are Fake Citations a Form of Reward Hacking? A Pre-Registered Study of Post-Training and Citation Cues

• arxiv url: http://arxiv.org/abs/2611.01313v1
• Date: Sat, 31 Oct 2026 22:24:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-04 23:36:30.465245
• Title: Are Fake Citations a Form of Reward Hacking? A Pre-Registered Study of Post-Training and Citation Cues
• Title（参考訳）: Fake Citationsはリワードハックの一種か? トレーニング後のクイズとクイズを事前登録した研究
• Abstract要約: 訓練後の言語モデルでは、引用を高速で作成する。 これは報奨金のハッキングなのか、それとも奨学金の代理として、その意味を悪くしながら、良いスコアを得られるのか、と尋ねる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-trained language models fabricate citations at high rates. We ask whether that is reward hacking: scoring well on a proxy for scholarship while doing worse on what it stands for. We ran four pre-registered experiments on 900 frozen questions (US federal case law, computationally adjacent scientific literature, and medical literature) across twelve open-weights checkpoints covering four post-training stages of three model families, then refit on fifteen. The clearest result holds the weights fixed and changes only the prompt. Asking for citations raises fabrication sharply in post-trained checkpoints and not in base ones: a 47.8-point interaction on twelve checkpoints (Holm-adjusted p = 2e-34) and 41.5 points on fifteen, in all three domains. A length-matched control separates the citation cue from a demand for a longer answer, so the effect is specific to citations, not verbosity. Post-training also raises fabrication overall, from 4.8% to 56.7%, but our registered prediction that it would rise most where fabrication is most tempting did not hold. A preference model trained only on surface citation features prefers post-trained output 86% of the time, and holding citation count fixed shows it rewards quantity. Our answer: possibly, but not proven. Post-trained models produce fabricated citations at far higher rates when asked for sources, and a naive evaluator that counts sources without checking them would prefer their output for citing more. But the targeted pattern we registered did not appear, and plain instruction-following could explain the same results. Proving that the reward causes fabrication needs an experiment that changes the reward during training, which this study does not do. Pre-registration: doi:10.17605/OSF.IO/S53HY. Code and data: https://github.com/zainnab-sparq/citation-reward-hacking
• Abstract（参考訳）: 訓練後の言語モデルでは、引用を高速で作成する。 これは報奨金のハッキングなのか、それとも奨学金の代理として、その意味を悪くしながら、良いスコアを得られるのか、と尋ねる。 900件のフリーズ質問(米国連邦法、計算に隣接した科学文献、医学文献)を、訓練後の3つのモデルファミリーの4つのステージをカバーする12のオープンウェイトチェックポイントで事前登録した4つの実験を行い、15で修正した。 最も明確な結果は、重みを固定し、プロンプトだけを変更することである。 12のチェックポイント(ホルム調整されたp = 2e-34)上の47.8点の相互作用と15の41.5点の3つのドメインすべてにおいて。 長さマッチング制御は、引用キューを長い回答の要求から分離するので、その効果は冗長性ではなく引用に特有である。 ポストトレーニングはまた、全体の製造率を4.8%から56.7%に引き上げるが、登録された予測では、製造がもっとも誘惑的な場所では、ほとんど上昇すると予測している。 表面励起特性のみに基づいて訓練された嗜好モデルは、後訓練後の出力の86%を好んでおり、引用数を固定した保持は、その量に報いることを示す。 私たちの答えは、おそらく、証明されていない。 訓練後のモデルでは、ソースを要求された場合、はるかに高いレートで製造された引用を生成する。 しかし、私たちが登録したターゲットパターンは現れず、平易な命令フォローは同じ結果を説明できた。 報酬が製造を引き起こすことを証明するには、トレーニング中に報酬を変える実験が必要である。 事前登録:doi:10.17605/OSF.IO/S53HY コードとデータ:https://github.com/zainnab-sparq/citation-reward-hacking

関連論文リスト

• Base Models Can Reason By Taking a Cue From Training Data [49.06896989304574]
  本研究では,基本モデルの応答開始時のトークンと,それに続く推論行動との関連性について検討する。 特定の開始トークンキューの修正は、数学やコーディングに関する強化学習による学習結果と、ベースモデルのパフォーマンスを競合させることがわかった。 トークンキューの研究を言語モデルの安全性に関するケーススタディで拡張し、異なるキューが異なるタイプのトレーニングデータに対応する異なる拒絶とコンプライアンスの行動を引き起こすことを発見した。
  論文  参考訳（メタデータ） (2026-10-05T17:59:52Z)
• LeanPolish: Verified Supervision for Lean Proof Compression [4.272652712282259]
  これは、33,402件の承認されたローカル編集と65,596件の同じ状態の試行をリリースする象徴的なLean 4パイプラインです。 First-success Searchは、完全なランキング精度でゴールに依存しないルールを認めており、教師が選択した評価サイトは、自明な削除を報いる。 圧縮のために、シンボリックパスを繰り返すと、ミニF2Fの節約率は19.7%から27.5%に上昇する。
  論文  参考訳（メタデータ） (2026-09-29T18:40:00Z)
• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• Attributable Post-Rationalization in RAG Citations: A Controlled Reproduction and an RLVR Comparison [0.0]
  RAGシステムでは、正しい答えを手渡して、実際に使用していないソースを引用することができます。 モデルは、これらの不誠実な引用を、合理化後を通して出力する。 私たちは、そのトレーニングが彼らに率直に引用するように教えるかどうかを尋ねました。
  論文  参考訳（メタデータ） (2026-09-19T14:35:55Z)
• Is this Citation on Point? [1.4303229099281964]
  実法的引用の制御摂動による命題レベルの引用支援検証について検討する。 モデルは不正ケースの93%-100%を占める。 裁判所の意見では37-61%、法的な説明では52-83%の不正な汚職しか得られていない。
  論文  参考訳（メタデータ） (2026-08-12T20:28:55Z)
• Understanding and Mitigating Premature Confidence for Better LLM Reasoning [76.16007941549857]
  現在の言語モデルからの思考の長い連鎖(CoT)は、しばしば論理的ギャップと不正な跳躍を含んでいる。 このような信号は、モデルの信頼性が推論中にどのように進化するかを示す。 これは、モデルを早期にコミットするのではなく、理由によってモデルの信頼性を更新するように訓練する強化学習の目標です。
  論文  参考訳（メタデータ） (2026-05-23T04:42:45Z)
• Do Deployment Constraints Make LLMs Hallucinate Citations? An Empirical Study across Four Models and Five Prompting Regimes [16.12060986892916]
  クローズド・ブック・セッティングにおいて,配置動機による制約が引用の妥当性にどのように影響するかを検討する。 17,443個の励起が生成され、0.475の励起レベルを超えるモデルはない。
  論文  参考訳（メタデータ） (2026-03-07T17:14:05Z)
• SelfCite: Self-Supervised Alignment for Context Attribution in Large Language Models [51.90867482317985]
  SelfCiteは、生成されたレスポンスの文に対して、きめ細かい文レベルの引用を生成する、自己教師型アプローチである。 SelfCiteの有効性は、LongBench-Citeベンチマークにおいて、引用F1を5.3ポイントまで増やすことによって示される。
  論文  参考訳（メタデータ） (2025-02-13T18:55:13Z)
• PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
  本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。 本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。 我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
  論文  参考訳（メタデータ） (2020-10-06T15:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。