論文の概要: LLMs Encode How Difficult Problems Are

• arxiv url: http://arxiv.org/abs/2510.18147v1
• Date: Mon, 20 Oct 2025 22:48:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.651493
• Title: LLMs Encode How Difficult Problems Are
• Title（参考訳）: LLMは難解な問題をエンコードする
• Authors: William Lugoloobi, Chris Russell,
• Abstract要約: 大規模言語モデルが人間の判断に沿う方法で問題難易度を符号化するかどうかを検討する。 我々は60のモデルで層とトークンの位置の線形プローブを訓練し、Easy2HardBenchの数学的および符号化部分集合を評価した。
• 参考スコア（独自算出の注目度）: 4.990590622073335
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models exhibit a puzzling inconsistency: they solve complex problems yet frequently fail on seemingly simpler ones. We investigate whether LLMs internally encode problem difficulty in a way that aligns with human judgment, and whether this representation tracks generalization during reinforcement learning post-training. We train linear probes across layers and token positions on 60 models, evaluating on mathematical and coding subsets of Easy2HardBench. We find that human-labeled difficulty is strongly linearly decodable (AMC: $\rho \approx 0.88$) and exhibits clear model-size scaling, whereas LLM-derived difficulty is substantially weaker and scales poorly. Steering along the difficulty direction reveals that pushing models toward "easier" representations reduces hallucination and improves accuracy. During GRPO training on Qwen2.5-Math-1.5B, the human-difficulty probe strengthens and positively correlates with test accuracy across training steps, while the LLM-difficulty probe degrades and negatively correlates with performance. These results suggest that human annotations provide a stable difficulty signal that RL amplifies, while automated difficulty estimates derived from model performance become misaligned precisely as models improve. We release probe code and evaluation scripts to facilitate replication.
• Abstract（参考訳）: それらは複雑な問題を解くが、一見単純な問題では失敗する。 本研究では,LLMが人間の判断に沿う方法で問題を内部的にエンコードするかどうかと,強化学習後学習における一般化の追跡について検討する。 我々は60のモデルで層とトークンの位置の線形プローブを訓練し、Easy2HardBenchの数学的および符号化部分集合を評価した。 また, LLM由来の難易度は著しく弱く, スケールが不十分であるのに対し, 人間のラベル付き難易度は強い線形デオード性(AMC: $\rho \approx 0.88$)であることが判明した。 難易度方向に沿ったステアリングは、モデルを"より簡単な"表現にプッシュすることで幻覚が減少し、精度が向上することを示している。 Qwen2.5-Math-1.5BでのGRPOトレーニングでは、人差プローブはトレーニングステップ間のテスト精度を強化し、正に相関する一方、LLMプローブは劣化し、性能と負に相関する。 これらの結果は、人間のアノテーションがRLが増幅する安定な難易度信号を提供するのに対し、モデルの性能から導かれる自動難易度推定は、モデルの改善とともに正確に一致しないことを示唆している。 レプリケーションを容易にするために,プローブコードと評価スクリプトをリリースする。

関連論文リスト

• QueST: Incentivizing LLMs to Generate Difficult Problems [77.75835742350644]
  大規模言語モデルは、推論タスク、競合レベルのコーディングと数学の問題を解く上で、強力なパフォーマンスを達成した。 既存の競合するコーディングデータセットには、数千から数万の問題しか含まれていない。 本稿では,難解なグラフサンプリングと難解な拒否の微調整を組み合わせた新しいフレームワークであるQueSTを提案する。
  論文  参考訳（メタデータ） (2025-10-20T16:29:53Z)
• Probing the Difficulty Perception Mechanism of Large Language Models [31.945071671041465]
  本研究では,大言語モデルが内部表現における問題難易度を暗黙的にエンコードするかどうかを考察する。 最終変圧器層の特定の注意点を見つける。 LLMを自動困難アノテータとして使用するための実用的サポートを提供する実験。
  論文  参考訳（メタデータ） (2025-10-07T14:24:32Z)
• ScaleDiff: Scaling Difficult Problems for Advanced Mathematical Reasoning [51.946959481392064]
  大規模推論モデル (LRM) は複雑な問題解決において顕著な能力を示している。 難しい問題の生成をスケールするために設計されたパイプラインであるScaleDiffを提案する。 我々のパイプラインは、より大きくて高価な教師モデルに頼ることなく、高度な推論能力を効果的に伝達できることを示します。
  論文  参考訳（メタデータ） (2025-09-25T12:22:44Z)
• Staying in the Sweet Spot: Responsive Reasoning Evolution via Capability-Adaptive Hint Scaffolding [59.60915947702282]
  検証可能な報酬(RLVR)による強化学習は,大規模言語モデル(LLM)の推論能力の向上に成功している。 既存のRLVR手法は、訓練データの困難さとモデルの能力のミスマッチにより、探索の非効率に悩まされることが多い。 本稿では,高効率領域に留まることの難易度を動的に調整する新しい監視支援RLVRフレームワークであるSEELEを提案する。
  論文  参考訳（メタデータ） (2025-09-08T17:36:21Z)
• Less is More Tokens: Efficient Math Reasoning via Difficulty-Aware Chain-of-Thought Distillation [82.2288581878096]
  本稿では,問題複雑性に基づいてモデルに推論深度を動的に調整する難易度推論の枠組みを提案する。 モデルにそのような動的推論経路を与えることができ、アーキテクチャ上の変更を加えることなく実現可能であることを示す。
  論文  参考訳（メタデータ） (2025-09-05T16:40:13Z)
• Climbing the Ladder of Reasoning: What LLMs Can-and Still Can't-Solve after SFT? [59.418994222096885]
  AIME24データセット上でモデル性能の詳細な解析を行う。 我々は質問を4段階(易、中、硬、極度硬)に分類する。 我々は,SFT-1Kインスタンスが最小限であるR1推論スタイルを採用する必要があることを見出した。 エクレベルの質問は、根本的に異なる課題を示します。
  論文  参考訳（メタデータ） (2025-04-16T03:39:38Z)
• DAST: Difficulty-Aware Self-Training on Large Language Models [68.30467836807362]
  大規模言語モデル(LLM)の自己学習手法は、常に挑戦的なクエリのアンダーサンプルである。 本研究は,自己生成応答の量と品質を改善することに焦点を当てた,難易度を考慮した自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-12T03:36:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。