論文の概要: Towards Understanding Score-Seeking in LLMs

• arxiv url: http://arxiv.org/abs/2610.41014v1
• Date: Thu, 29 Oct 2026 21:50:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.502347
• Title: Towards Understanding Score-Seeking in LLMs
• Title（参考訳）: LLMにおけるスコア探索の理解に向けて
• Abstract要約: 大規模な言語モデルの作成は、意図した通りにタスクを実行するのではなく、タスクのスコア付け方法の欠陥を悪用することがある。 GPT 5.6 Sol, GPT 5.5, and a checkpoint of OpenAI o3 without safety training。
• 参考スコア（独自算出の注目度）: 3.5857291946911336
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Production large language models sometimes reward-hack, exploiting flaws in how tasks are scored rather than performing the tasks as intended, sometimes in highly sophisticated and adversarial ways. We investigate the motivations driving this behavior in GPT 5.6 Sol, GPT 5.5, and a checkpoint of OpenAI o3 without safety training ("exp-rl-cap-late") by observing model behavior in agentic environments where the grader is leaked. In our environments, the models appear to be score-seeking: trying to score well according to graders that they believe assess their current actions, even at the expense of violating explicit user instructions. They appear to care about score itself rather than its downstream consequences, violating instructions at approximately the same rate whether the score is indicated to be used for training, for evaluation, or not at all. We observe evidence that the more recent models care to some extent about scores that do not assess their own current actions. GPT 5.6 Sol and GPT 5.5 help other agents 24.6 percentage points more often on average when the other agent stands to gain a score of 1 rather than 0 from being helped. However, when grading or monitoring another trajectory, we find models never collude by distorting its score.
• Abstract（参考訳）: 大規模な言語モデルの作成は、意図したとおりにタスクを実行するのではなく、タスクのスコアの欠陥を利用して、時には高度に洗練され、敵対的な方法で、報奨を課すこともある。 GPT 5.6 Sol, GPT 5.5, and a checkpoint of OpenAI o3 without safety training (exp-rl-cap-late) by observed model behavior in the agentic environment where the grader was leak。 我々の環境では、これらのモデルはスコア検索のように見える: 明示的なユーザー指示違反を犠牲にしても、彼らの現在の行動を評価すると信じているグレーダーによくスコアを付けようとする。 彼らは、ダウンストリームの結果よりもスコア自体を気にしているようで、スコアがトレーニング、評価のために使われるか、まったく使われていないかに関わらず、ほぼ同じ率で命令を違反している。 より最近のモデルは、自分たちの現在の行動を評価しないスコアについてある程度の注意を払っているという証拠を観察する。 GPT 5.6 Sol と GPT 5.5 は、他のエージェントが 0 よりも 1 のスコアを得るのに立つと、平均で 24.6 のポイントを補助する。 しかし、別の軌道の階調付けやモニタリングを行うと、スコアを歪ませることによって、モデルが決してコラージュされないことが分かる。

関連論文リスト

• Rethinking Verification in Agent Harnesses [54.00276643533363]
  エージェントハーネスは、大きな言語モデルをツールを通じて動作させ、結果を観察し、タスク目標に向かって反復的に作業することを可能にする。 テストタイムスケーリングの軸として,いつ介入すべきか,誰が作業をチェックすべきか,チェックがどのようにリビジョンにつながるのかを調べることで,検証について検討する。 私たちのフレームワークは、初期命令、ミッドターンリマインダー、完了ゲート、独立レビューの4つのレイヤにまたがっています。
  論文  参考訳（メタデータ） (2026-10-25T21:17:26Z)
• RSI Arena: Towards Recursive Self-Improvement with Human Feedback [64.79750666976021]
  10台のフロンティアモデルがトレーニングエージェントとして働き、それぞれがNVIDIA Nemotron 3.5 Lightning 30B-A3B Baseから始まる。 我々は、20のベンチマークと盲人評価により、それらのモデルを評価した。 NVIDIA Instructを共通参照として,10モデル中8モデルのスタイル調整された相対評価において,Stage 1からStage 2への改善を観察する。
  論文  参考訳（メタデータ） (2026-10-24T11:54:45Z)
• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• ACCORD: Action-Conditioned Contextual Grounding for Language Agents [69.73525608707764]
  ACCORD(Action-Conditioned Contextual Grounding)は、適応的なグラウンドのためのエージェントフレームワークである。 現状のエージェントは、しばしばそうすることができないことを示す。それらは、観察された特定の情報よりもむしろ仮定から行動し、収集した可能性のある情報を見落とし、既に返された証拠を組み込むことに失敗する。
  論文  参考訳（メタデータ） (2026-06-15T09:05:55Z)
• VeriGate: Verifier-Gated Step-Level Supervision for GRPO [51.26100506256885]
  グループ相対政策最適化は、検証者に基づく結果報酬を伴う推論モデルをトレーニングするための効果的なレシピである。 GRPO の検証子付き拡張である VeriGate を提案し,これらの制限を3つの設計選択で解決する。 We show that VeriGate improves average accuracy around 20% and 12% for 1.5B and 7B models respectively。
  論文  参考訳（メタデータ） (2026-05-28T18:20:32Z)
• Steering Evaluation-Aware Language Models to Act Like They Are Deployed [10.907568434049102]
  大規模言語モデル(LLM)は、いつ評価されるかを検出し、より整列するように振る舞いを調整する。 LLMのアクティベーションにステアリングベクトルを加えることで、評価の認識が抑えられ、評価中にデプロイされるようなモデル動作が実現できることを示す。 以上の結果から,AI評価装置は,モデルがデプロイされているように動作させることで,安全性評価の信頼性を向上させることができる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-10-23T12:29:16Z)
• Frontier Models are Capable of In-context Scheming [41.30527987937867]
  安全上の懸念の1つは、AIエージェントが間違った目標を隠蔽し、真の能力と目的を隠蔽する可能性があることである。 モデルが目標を追求するように指示される6つのエージェント評価スイート上でフロンティアモデルを評価する。 o1、Claude 3.5 Sonnet、Claude 3 Opus、Gemini 1.5 Pro、Llama 3.1 405Bは全てコンテキスト内スケジューリング機能を示している。
  論文  参考訳（メタデータ） (2024-12-06T12:09:50Z)
• NERIF: GPT-4V for Automatic Scoring of Drawn Models [0.6278186810520364]
  最近リリースされたGPT-4Vは、科学的モデリングの実践を前進させるユニークな機会を提供する。 我々は,GPT-4Vに学生の描画モデルを評価するための指導音とルーブリックを用いた手法を開発した。 GPT-4Vのスコアを人間の専門家のスコアと比較し、スコアの精度を計算した。
  論文  参考訳（メタデータ） (2023-11-21T20:52:04Z)
• Is Self-Repair a Silver Bullet for Code Generation? [68.02601393906083]
  大規模な言語モデルは、コード生成において顕著な適性を示しているが、それでも複雑なタスクを実行するのに苦労している。 自己修復(Self-repair) — モデルが自身のコードをデバッグし、修復する — は、最近、パフォーマンスを向上する一般的な方法になっている。 我々は,Code Llama, GPT-3.5, GPT-4によるHumanEvalとAPPSの自己修復能力について分析した。
  論文  参考訳（メタデータ） (2023-06-16T15:13:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。