論文の概要: CurveShift: Is Agent Progress Scalar? Separating Level from Shape

• arxiv url: http://arxiv.org/abs/2608.00355v1
• Date: Fri, 31 Jul 2026 23:58:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.606166
• Title: CurveShift: Is Agent Progress Scalar? Separating Level from Shape
• Title（参考訳）: CurveShift: エージェントはプログレッシブスカラーか? 形状からレベルを分離する
• Abstract要約: 困難タスクに対する利得の明らかなシフトのほとんどは、困難応答曲線の形状の変化を反映していない。 そして、この制御を生き残る小さなハードタスク効果を特定する。 LiveCodeBenchは、エージェント的な足場を走らせない、公開競争力のあるプログラミングベンチマークです。
• 参考スコア（独自算出の注目度）: 34.67157482807145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Progress in large language models is often summarized using a single scalar measure, such as a time horizon, a latent ability estimate, or an aggregate benchmark score. These summaries capture the overall performance, but they do not test whether progress is distributed differently across task difficulty. We find that most of the apparent shift in gains toward harder tasks does not reflect a change in the shape of the difficulty-response curve. On METR time-horizon data, a single Rasch model with rising ability reproduces this pattern, so it is largely explained by ceiling effects rather than a qualitative change in capability. This echoes how the choice of metric can make claimed emergent abilities look like a property of the models themselves. We then identify a smaller hard-task effect that survives this control. Isolating it is difficult on agentic benchmarks, because newer models are usually run with newer agentic harnesses, so a gain on hard tasks cannot be assigned to the model or its scaffold. We break the confound with LiveCodeBench, a public competitive programming benchmark that runs no agentic scaffold while pairing dated models with an exogenous difficulty ordering. After accounting for the rise in overall ability, models released after September 2024 still gain on the hardest problems beyond what their easy and medium performance predicts, by about +0.40 logits under our most conservative assumption, raising the hard-problem solve rate from roughly 18% to 25%. The effect is led by the strongest reasoning models and holds for hard tasks that need only short reasoning, not autonomy over long horizons. We present this as a result specific to competitive programming, since our clean identification rests on a single coding benchmark. We release the LiveCodeBench Difficulty Panel (66 dated models x 1,055 problems) and our analysis code.
• Abstract（参考訳）: 大規模言語モデルの進歩は、時間軸、潜在能力推定、集計ベンチマークスコアなどの単一のスカラー測度を用いて要約されることが多い。 これらの要約は全体的なパフォーマンスを捉えているが、進捗がタスクの難易度によって異なるかどうかをテストしていない。 困難タスクに対する利得の明らかなシフトのほとんどは、困難応答曲線の形状の変化を反映していない。 METRの時間-水平データでは、上昇能力を持つ1つのラッシュモデルがこのパターンを再現するので、質的な性能変化ではなく、天井効果によって主に説明される。 このことは、計量の選択が主張する創発的能力がモデル自体の特性のように見えることを反映している。 そして、この制御を生き残る小さなハードタスク効果を特定する。 エージェントベンチマークでは、新しいモデルは通常、新しいエージェントハーネスで実行されるため、ハードタスクのゲインをモデルや足場に割り当てることはできない。 LiveCodeBenchは、エージェント的なスキャフォールドを実行せず、日付付きモデルと外生的な困難を順序付けしながらペアリングする、公開競合プログラミングベンチマークです。 2024年9月以降にリリースされたモデルは、我々の最も保守的な仮定の下で、最も容易で中程度のパフォーマンスが予測するよりも難しい問題で、約0.40ロジット増加し、ハードプロブレムの解決率は約18%から25%に上昇した。 この効果は、最強の推論モデルによって導かれ、長い地平線上の自律性ではなく、短い推論だけを必要とするハードなタスクを保ちます。 クリーンな識別は1つのコーディングベンチマークにかかっているので、競合プログラミングに特有な結果として提示します。 我々はLiveCodeBench Difficulty Panel (66の日付付きモデル x 1,055 問題) と分析コードをリリースした。

関連論文リスト

• Hedging on the Frontier: Learning New Tasks with Few Samples [11.745953914883769]
  経験的に、弱い単調性はしばしばほぼ満足している。 モノトニック性に基づくモデルクラスを創出できるだけでなく、フロンティアをヘッジすることで利用可能なトレードオフの幾何学にもさらに適応できることを示す。
  論文  参考訳（メタデータ） (2026-05-29T08:30:27Z)
• The Illusion of Diminishing Returns: Measuring Long Horizon Execution in LLMs [39.5095344448076]
  単一ステップ精度の限界ゲインであっても、モデルが正常に完了できるタスク長の指数的な改善に結びつくことを示す。 単純なタスクの失敗は、推論ができないというよりも、実行時のミスによるものである、と我々は主張する。
  論文  参考訳（メタデータ） (2025-09-11T17:59:34Z)
• Frontier LLMs Still Struggle with Simple Reasoning Tasks [53.497499123166804]
  この研究は、フロンティア言語モデルの性能を、幅広い「容易」推論問題に対して研究する。 計算,一階述語論理,証明木,旅行計画など,手続き的に生成された単純な推論タスクのスイートを作成します。 最先端の思考モデルでさえ、このような問題や同様の理由で一貫して失敗することを示します。
  論文  参考訳（メタデータ） (2025-07-09T22:22:49Z)
• Climbing the Ladder of Reasoning: What LLMs Can-and Still Can't-Solve after SFT? [59.418994222096885]
  AIME24データセット上でモデル性能の詳細な解析を行う。 我々は質問を4段階(易、中、硬、極度硬)に分類する。 我々は,SFT-1Kインスタンスが最小限であるR1推論スタイルを採用する必要があることを見出した。 エクレベルの質問は、根本的に異なる課題を示します。
  論文  参考訳（メタデータ） (2025-04-16T03:39:38Z)
• s1: Simple test-time scaling [148.4204982041058]
  テスト時間スケーリングは、パフォーマンスを改善するために余分なテスト時間計算を使用する言語モデリングに対する、有望な新しいアプローチである。 テストタイムのスケーリングと強力な推論性能を実現するための最もシンプルなアプローチを探します。
  論文  参考訳（メタデータ） (2025-01-31T18:48:08Z)
• U-shaped and Inverted-U Scaling behind Emergent Abilities of Large Language Models [1.14179290793997]
  難易度に基づく質問をグループ化することで,その現象を考察する。 具体的には,難解な質問に対するU字型スケーリングと逆U字型スケーリングと,簡単な質問に対する着実に改善されたU字型スケーリングを観察する。 簡単な質問のスケーリングパターンが逆から標準のスケーリングに戻ると、パフォーマンスが急上昇し始めます。
  論文  参考訳（メタデータ） (2024-10-02T16:03:49Z)
• The Unreasonable Effectiveness of Easy Training Data for Hard Tasks [84.30018805150607]
  既存の事前学習言語モデルが比較的容易にハードなデータから一般化されることがしばしばあるという驚くべき結論を提示する。 本稿では,テキスト内学習,線形ヘッド,QLoRAなどの簡単な微調整手法を用いて,このような難解な一般化を実演する。 本研究は, LMの難解な一般化が, 研究課題に対して驚くほど強いことを結論づける。
  論文  参考訳（メタデータ） (2024-01-12T18:36:29Z)
• Emergent inabilities? Inverse scaling over the course of pretraining [0.6091702876917281]
  本研究は,訓練期間を通じて,一般的な性能を維持しながら,特定のタスクにおける言語モデルの性能が低下するか否かを考察する。 逆スケーリングチャレンジの2つのタスク – 引用-繰り返しと再定義-マス – に対して,これは事実です。 これは、たとえ全体的なパフォーマンスが改善したとしても、追加データでトレーニングされるたびに、すべての関連するベンチマークでモデルパフォーマンスをテストすることの重要性を強調します。
  論文  参考訳（メタデータ） (2023-05-24T03:42:43Z)
• Exposing and Addressing Cross-Task Inconsistency in Unified Vision-Language Models [80.23791222509644]
  一貫性のないAIモデルは、人間のユーザーによって不安定で信頼できないと見なされている。 最先端のビジョン言語モデルは、タスク間の驚くほど高い一貫性のない振る舞いに悩まされている。 本稿では,大規模で自動生成されるクロスタスクコントラスト集合上で計算されたランク相関に基づく補助訓練目標を提案する。
  論文  参考訳（メタデータ） (2023-03-28T16:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。