論文の概要: Item Response Scaling Laws: A Measurement Theory Approach for Efficient and Generalizable Neural Scaling Estimation
- arxiv url: http://arxiv.org/abs/2606.07616v1
- Date: Fri, 29 May 2026 20:55:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-15 07:09:36.783236
- Title: Item Response Scaling Laws: A Measurement Theory Approach for Efficient and Generalizable Neural Scaling Estimation
- Title（参考訳）: 項目応答スケーリング法:効率的かつ一般化可能なニューラルスケーリング推定のための測定理論アプローチ
- Abstract要約: 項目応答スケーリング法(IRSL)は,項目応答理論(IRT)を拡張法フレームワークに統合した統合フレームワークである。
IRSLは、質問特性から潜在モデルの能力を切り離し、M$モデルとN$質問のスケーリング法則の推定を分解する。
1)10のベンチマークから6,612のLMチェックポイントと37,682の質問を用いて、ダウンストリームスケーリングを事前学習し、(2)12のLMと120の質問を4つのベンチマークから、最大2,500のサンプルで実施する。
- 参考スコア（独自算出の注目度）: 31.553914838498667
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Scaling laws provide a fundamental framework for understanding the performance of Language Models (LMs), yet deriving them requires prohibitively expensive evaluations across thousands of checkpoints or millions of inference samples. To address this, we introduce Item Response Scaling Laws (IRSL), a unified framework that integrates Item Response Theory (IRT) within the scaling law framework. Unlike traditional approaches that treat each model-benchmark pair in isolation, IRSL disentangles latent model ability from question characteristics, factorizing the scaling law estimation for $M$ models and $N$ questions to significantly reduce parameter complexity from $O(M \times N)$ to $O(M + N)$. We instantiate IRSL with Beta-IRT, which leverages the empirical probability responses of LMs -- such as token probabilities in pre-training and pass rates in test-time sampling -- to capture richer signals than binary responses. We validate our approach across two prevalent scaling paradigms: (1) pre-training downstream scaling, using 6,612 LM checkpoints and 37,682 questions from 10 benchmarks; and (2) test-time scaling, using 12 LMs and 120 questions from 4 benchmarks with up to 2,500 samples per question. Given a one-time calibration on existing model responses, IRSL yields more reliable scaling estimates using only 50 questions per benchmark (a 99.9\% reduction), achieving comparable or superior decision accuracy to traditional approaches. Furthermore, we show that the estimated latent model abilities are generalizable, enabling accurate performance forecasting across benchmarks that share the same measurement objective.
- Abstract（参考訳）: スケーリング法則は、言語モデル(LM)のパフォーマンスを理解するための基本的なフレームワークを提供するが、それらを導き出すには、何千ものチェックポイントや数百万もの推論サンプルに対して、違法に高価な評価が必要である。
これを解決するために,項目応答スケーリング法(IRSL,Item Response Scaling Laws)を紹介した。
それぞれのモデル-ベンチマークペアを分離して扱う従来のアプローチとは異なり、IRSLは質問特性から潜在モデルの能力を切り離し、$M$モデルと$N$モデルのスケーリング法則の推定を分解し、パラメータの複雑さを$O(M \times N)$から$O(M + N)$に大幅に削減する。
テスト時間サンプリングにおけるトークン確率や通過率など,LMの実証的な確率応答を活用して,バイナリ応答よりもリッチな信号をキャプチャする。
1)10のベンチマークから6,612のLMチェックポイントと37,682の質問を用いて、ダウンストリームスケーリングを事前学習し、(2)12のLMと120の質問を4つのベンチマークから、最大2,500のサンプルで実施する。
既存のモデル応答を1回キャリブレーションすると、IRSLはベンチマーク毎の50質問(99.9\%の削減)でより信頼性の高いスケーリング推定値を得る。
さらに、推定潜在モデル能力は一般化可能であることを示し、同じ測定目標を共有するベンチマーク間で正確な性能予測を可能にする。
関連論文リスト
- ThinkRetrieve: Retrieval-Augmented Reasoning Traces for Test-Time Scaling [60.48279351544583]
ThinkRetrieveは大規模な推論モデルのためのテスト時間スケーリングフレームワークである。
それぞれの中間ステップで関連する例を検索し、思考トレースに直接注入する。
標準的なテスト時間スケーリングよりも精度が一貫して向上する。
論文 参考訳（メタデータ） (2026-08-11T13:58:07Z) - Attend to Your Own Thoughts: Breaking the Barrier for Post-Training Quantization of Reasoning LLMs through the Lens of 1.58-Bit Quantization [13.903045659324187]
LLMを推論するためのスケーラブルな3次学習後量子化フレームワークであるScaleQ-1.58を提案する。
AYOTとCAT-Qを統合することで、いくつかのスケーリング特性を示す。
密度とMoEの両方のアーキテクチャを一般化し、モデルスケールの増加に伴ってパフォーマンスが向上する。
論文 参考訳（メタデータ） (2026-08-02T08:22:43Z) - $V_1$: Unifying Generation and Self-Verification for Parallel Reasoners [69.66089681814013]
$V_$は、効率的なペアワイドランキングを通じて生成と検証を統合するフレームワークである。
V_$-Inferはポイントワイド検証でPass@1を最大10%改善する。
V_$-PairRLは、標準のRLとポイントワイドのジョイントトレーニングよりも、テストタイムのスケーリングが7ドル--9%で向上する。
論文 参考訳（メタデータ） (2026-03-04T17:22:16Z) - RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。
ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。
これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文 参考訳（メタデータ） (2025-11-27T07:20:52Z) - Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。
本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
論文 参考訳（メタデータ） (2025-11-09T03:38:29Z) - ATTS: Asynchronous Test-Time Scaling via Conformal Prediction [112.54016379556073]
大規模な言語モデル(LLM)は、テスト時のスケーリングの恩恵を受けるが、しばしば高い推論遅延によって妨げられる。
統計的に保証された適応スケーリングフレームワークであるATTS(Asynchronous Test-Time Scaling)を紹介する。
ATTSは、テストタイムのスケーリングにおいて最大56.7倍のスピードアップと4.14倍のスループット向上を実現している。
論文 参考訳（メタデータ） (2025-09-18T16:55:09Z) - The NazoNazo Benchmark: A Cost-Effective and Extensible Test of Insight-Based Reasoning in LLMs [3.9977256267361754]
そこで本研究では,日本人児童のライドルから構築した費用効果評価指標であるNazonazoについて紹介する。
GPT-5以外のモデルは人間の性能に匹敵せず、平均精度は52.9%である。
論文 参考訳（メタデータ） (2025-09-18T07:50:04Z) - Adaptive Rectification Sampling for Test-Time Compute Scaling [10.160759436445526]
よりきめ細かいレベルでの誤りの修正を支援するために,適応整形サンプリング(AR-Sampling)を提案する。
提案手法により, よりきめ細かいレベルでの再考が可能となり, 解の精度が向上し, 合理的な数のトークンが生成される。
論文 参考訳（メタデータ） (2025-04-02T02:57:52Z) - Revisiting the Test-Time Scaling of o1-like Models: Do they Truly Possess Test-Time Scaling Capabilities? [61.85289698610747]
我々は,o1-like large language model (LLMs) が本当にテスト時間スケーリング機能を持っているか検討した。
これらのo1型モデルの長いCoTは、常に精度を向上しないことがわかった。
並列スケーリング戦略とCoT長特性を組み合わせた手法であるShortest Majority Voteを提案する。
論文 参考訳（メタデータ） (2025-02-17T07:21:11Z) - MARM: Unlocking the Future of Recommendation Systems through Memory Augmentation and Scalable Complexity [23.69657750691825]
MARM(Memory Augmented Recommendation Model)を提案する。
RecSysモデルの場合、モデルパラメータと比較して計算複雑性のFLOPは、注意深い制御を必要とするより高価な要素である。
論文 参考訳（メタデータ） (2024-11-14T13:22:41Z) - Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。