論文の概要: The Judge Is Not Its Twin: Post-training makes a model's writing more predictable but barely moves its taste, as a judge, toward predictable writing

• arxiv url: http://arxiv.org/abs/2609.32196v1
• Date: Sat, 26 Sep 2026 03:46:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 19:01:31.84411
• Title: The Judge Is Not Its Twin: Post-training makes a model's writing more predictable but barely moves its taste, as a judge, toward predictable writing
• Title（参考訳）: 裁判官は双子ではない: ポストトレーニングはモデルの書き方をより予測可能なものにするが、裁判官としての味は、予測可能な書き方へとほとんど移行しない
• Abstract要約: ポストトレーニングは、モデル自身の書き込みをより予測可能にします。 また、予測可能な文章に報酬を与えるために、裁判官として振る舞う同じモデルを教えることもある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are now routinely graded by other language models. If post-training makes a model's own writing more predictable, it may also teach the same model, acting as a judge, to reward predictable writing, so that progress on creativity would be invisible to automated evaluation. We follow two open model families, OLMo-2 and Zephyr (7B parameters each), through their public training stages and measure every stage twice, as a writer of short stories and as a judge of pairs of stories. As writers, the models drift as feared: each family's fully trained model finds the stories of its base, supervised fine-tuned (SFT) and preference-trained (DPO) stages progressively more familiar, in all ten prompts, and a model from the other family finds the trained stories 7.0 to 9.2 percent (OLMo-2) and 24 to 25 percent (Zephyr) less surprising per token. As judges, they barely move toward predictable writing. Asked which story is better, a question every judge can use to tell a story from its own words in scrambled order, no trained judge's estimated tilt toward the more predictable story grows by as much as one point in the probability of picking it. A post hoc one-sided 95% upper bound on that growth is 2.7 points on an average pair, about the size of the untrained OLMo-2 judge's own tilt. Asked which is more creative, no trained judge's estimate favors the predictable story more than its base's does. Training instead strengthens a preference for longer stories when the question is creativity, and for one answer slot, and it breaks "more creative" as a question: trained judges asked it no longer reliably prefer a story to its scrambled words. A follow-up could not build pairs that differ in predictability but not in quality, because the routes that made this writer's stories less predictable also broke some of them, often enough to fail a quality floor set in advance.
• Abstract（参考訳）: 言語モデルは、今では他の言語モデルによって定期的にグレードされる。 ポストトレーニングがモデル自身の書き込みをより予測可能にするならば、判断可能な書き込みに報酬を与えるために、審査員として同じモデルを教えることで、クリエイティビティの進歩が自動評価には見えないようにすることもできる。 2つのオープンモデルファミリ、OLMo-2とZephyr(それぞれ7Bパラメータ)を公開トレーニング段階を通じて追跡し、各ステージを2度測定する。 各家庭の完全に訓練されたモデルがその基盤の物語を見つけ、監督された微調整(SFT)と選好訓練(DPO)は徐々に親しみやすくなり、他の家庭のモデルでは訓練されたストーリーの7.0から9.2%(OLMo-2)と24から25%(Zephyr)はトークン当たりの驚きを減らしている。 審査員として、彼らは予測可能な文章に向かってほとんど動きません。 どの物語が良いかと問うと、どの裁判官が自分の言葉からスクランブルド・オーダーで物語を語れるかという問いは、より予測可能な物語に対する訓練された裁判官の傾きは、それを選ぶ確率の最大1ポイントまで増大する。 ポストホック片面95%上界は平均対で2.7点であり、未訓練のOLMo-2裁判官自身の傾きの大きさである。 どちらがより創造的であるかを尋ねると、訓練された裁判官の見積もりは、基地よりも予測可能なストーリーを好んではいない。 代わりに、トレーニングは、質問が創造性であるときに、長いストーリーの好みを強化し、1つの回答スロットは、質問として"より創造的"を破る。 追随者は、予測可能性が異なるが品質に欠けるペアを作れなかった。なぜなら、この作家の物語を予測しにくくするルートも、そのいくつかを壊し、しばしば事前に設定された品質の床を壊すのに十分であったからである。

関連論文リスト

• Allspark: Weak to Strong Transfer via Alternating Chain of Thought [35.86311388016109]
  我々は、訓練中に強力なモデルのロールアウトを使わずに、小さくて弱いモデルによって学習された推論の改善が、より大きく、より強力なモデルに利益をもたらすかどうかを問う。 思考の交互連鎖を通した弱強移動のためのトレーニングおよび推論フレームワークであるAllsparkを紹介した。 我々は、Alsparkを2つのスケールで研究する: 数学と推論にまたがる制御されたQwen実験、ARC-AGI-2におけるより大規模なインクリング実験。
  論文  参考訳（メタデータ） (2026-09-26T20:05:21Z)
• Detectable Only Where It Is Confounded: What Verified Duplication Counts Say About Membership Evidence in Language Models [0.0]
  言語モデルが予測する文章を異常に安価に見つけると、その文章が訓練データに含まれていたと結論付ける傾向があることが示される。 ほぼ全ての公開テストでは、どの文章がトレーニングデータ、メンバー、どれがそうでなかったかを推測する必要があった。 本稿では,OLMo-2とPythiaの2つのモデルファミリーが事前学習コーパスを公開し,各コーパスに現れる文の正確な回数を公開インデックスとして返却する。 答えは2つの側面から閉じてピンサーを形成する。
  論文  参考訳（メタデータ） (2026-09-09T21:01:56Z)
• Self-Evaluation Is Already There: Eliciting Latent Judge Calibration in Base LLMs with Minimal Data [21.469213097004523]
  大規模言語モデルは、他のモデルによってますます評価され、自然な疑問が提起されている。 本稿では, 自己評価抽出(SEE)手法について紹介する。この手法は, キャリブレーション結合型強化学習フェーズを含む短いサイクルで, 応答を改善し, 審査員を予測し, 次いで, 応答を無触で残しながら, 予測を鋭くするマスク付き蒸留フェーズを備える。 帰属した自己評価は、モデル自身のトークン分布内で急激に局所化され、訓練されたことのない審査員間で安定しており、単一の審査員ではなく、品質の伝達可能な概念を示している」。
  論文  参考訳（メタデータ） (2026-06-03T17:27:16Z)
• StoryAlign: Evaluating and Training Reward Models for Story Generation [52.44891270363296]
  ストーリー嗜好に関する報酬モデルを評価するための最初のベンチマークであるStoryRMBを紹介する。 我々は、このデータセットでトレーニングされたストーリー優先のための高度な報酬モデルであるStoryRewardを開発する。 StoryRewardはStoryRMB上での最先端(SoTA)のパフォーマンスを達成し、はるかに大きなモデルより優れています。
  論文  参考訳（メタデータ） (2026-05-06T12:28:17Z)
• Learning to Simulate Human Dialogue [35.88351482220924]
  次回対話予測:会話が与えられたら、その人が生成した次の発話を予測する。 我々は、モデルが応答する前に考えることができるかどうか、学習の報奨方法の2つの側面に沿って学習アプローチを比較する。 実際の人間対話に基礎を置いた分布マッチングの目標をトレーニングする場合,思考は主として有効であることがわかった。
  論文  参考訳（メタデータ） (2026-01-07T22:51:31Z)
• Conveying the Predicted Future to Users: A Case Study of Story Plot Prediction [14.036772394560238]
  予測されたプロットをナレーションする短い記述を生成するシステムを作成する。 私たちのゴールは、作家が一貫した説得力のあるストーリーアークを作るのを支援することです。
  論文  参考訳（メタデータ） (2023-02-17T20:10:55Z)
• The Next Chapter: A Study of Large Language Models in Storytelling [51.338324023617034]
  大規模言語モデル(LLM)を用いたプロンプトベース学習の適用は,自然言語処理(NLP)タスクにおいて顕著な性能を示した。 本稿では,LLMのストーリー生成能力と最近のモデルを比較するために,自動評価と人的評価の両方を利用した総合的な調査を行う。 その結果、LLMは他のストーリー生成モデルと比較して、非常に高い品質のストーリーを生成することがわかった。
  論文  参考訳（メタデータ） (2023-01-24T02:44:02Z)
• Robust Preference Learning for Storytelling via Contrastive Reinforcement Learning [53.92465205531759]
  制御された自動ストーリ生成は、自然言語批判や嗜好から制約を満たす自然言語ストーリを生成することを目指している。 対照的なバイエンコーダモデルをトレーニングし、ストーリーを人間の批評と整合させ、汎用的な嗜好モデルを構築する。 我々はさらに、ストーリー生成の堅牢性を高めるために、プロンプトラーニング技術を用いて、対照的な報酬モデルを微調整する。
  論文  参考訳（メタデータ） (2022-10-14T13:21:33Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)
• Toward Better Storylines with Sentence-Level Language Models [54.91921545103256]
  本稿では,文章中の次の文を選択する文レベル言語モデルを提案する。 教師なしストーリークローゼタスクにおける最先端の精度によるアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2020-05-11T16:54:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。