論文の概要: Predicting Task Performance with Context-aware Scaling Laws

• arxiv url: http://arxiv.org/abs/2510.14919v1
• Date: Thu, 16 Oct 2025 17:35:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.979409
• Title: Predicting Task Performance with Context-aware Scaling Laws
• Title（参考訳）: コンテキスト対応スケーリング法則によるタスクパフォーマンスの予測
• Authors: Kyle Montgomery, David Park, Jianhong Tu, Michael Bendersky, Beliz Gunel, Dawn Song, Chenguang Wang,
• Abstract要約: 本稿では、トレーニング計算と提供されたコンテキストの関数として、下流のパフォーマンスを協調的にモデル化する、単純かつ解釈可能なフレームワークを提案する。 我々は,Llama-2-7BおよびLlama-2-13Bの拡張コンテキスト変種について,観測された下流性能に適合させることで,我々の枠組みを実証的に検証した。 以上の結果から,我々のフレームワークは,配信中のダウンストリーム性能を正確にモデル化し,トレーニング計算において3桁の規模で一般化し,コンテキストの増大とともに性能を確実に外挿することを示す。
• 参考スコア（独自算出の注目度）: 56.6850444554434
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Scaling laws have transformed our understanding of large language models by linking upstream metrics like cross-entropy loss to design factors such as model size, training data, and compute. However, these conventional laws fail to capture downstream task performance, where context plays a critical role. In this work, we propose a straightforward, interpretable framework that jointly models downstream performance as a function of the training compute and the provided context. We empirically validate our framework by fitting it on the observed downstream performance of extended-context variants of Llama-2-7B and Llama-2-13B across 65,500 unique instances spanning three tasks: arithmetic reasoning, common sense reasoning, and machine translation. Our results demonstrate that our framework accurately models in-distribution downstream performance, generalizes across three orders of magnitude in training compute, and reliably extrapolates performance as the amount of context increases. These findings offer valuable insights into the interplay between training compute and context utilization, providing guidance for designing more efficient long-context LLMs for diverse downstream tasks. Our code is available at https://github.com/wang-research-lab/context-scaling.
• Abstract（参考訳）: スケーリング法則は、クロスエントロピー損失のような上流のメトリクスをモデルのサイズ、トレーニングデータ、計算などの設計要因にリンクすることで、大きな言語モデルの理解を変えました。 しかし、これらの従来の法則は、コンテキストが重要な役割を果たす下流タスクのパフォーマンスを捉えない。 本研究では,トレーニング計算と提供するコンテキストの関数として,下流のパフォーマンスを協調的にモデル化する,簡単な解釈可能なフレームワークを提案する。 Llama-2-7BとLlama-2-13Bが65,500のユニークなインスタンスにまたがり、算術的推論、常識的推論、機械翻訳という3つのタスクにまたがる拡張コンテキストの亜種であるLlama-2-7BとLlama-2-13Bの下流性能に適合させることで、我々のフレームワークを実証的に検証する。 以上の結果から,我々のフレームワークは,配信中のダウンストリーム性能を正確にモデル化し,トレーニング計算において3桁の規模で一般化し,コンテキストの増大とともに性能を確実に外挿することを示す。 これらの知見は、トレーニング計算と文脈利用の相互作用に関する貴重な洞察を与え、様々な下流タスクのためのより効率的な長文LLMを設計するためのガイダンスを提供する。 私たちのコードはhttps://github.com/wang-research-lab/context-scaling.comで利用可能です。

関連論文リスト

• A Theory of Inference Compute Scaling: Reasoning through Directed Stochastic Skill Search [15.387256204743407]
  大規模言語モデル(LLM)は、訓練と配備の間にかなりの計算量、エネルギー、財務資源を必要とする。 推論コストは、今やリソース全体の負担の重要かつ増大する要素である。 本稿では,学習したスキルグラフ上での推論を表現力として表現する一般的なフレームワークである有向スキルサーチ(DS3)を紹介する。
  論文  参考訳（メタデータ） (2025-06-10T14:47:48Z)
• Model Utility Law: Evaluating LLMs beyond Performance through Mechanism Interpretable Metric [99.56567010306807]
  大規模言語モデル(LLM)は、学術、産業、そして日々のアプリケーションに欠かせないものになっている。 大規模言語モデル (LLM) 時代における評価の課題の1つは一般化問題である。 従来の性能スコアを補完するメカニズムの解釈可能性向上指標であるモデル利用指数(MUI)を提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:09:47Z)
• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• AttriBoT: A Bag of Tricks for Efficiently Approximating Leave-One-Out Context Attribution [35.18192555185193]
  本稿では,文脈属性に対するLOO誤差の近似を効率的に計算する一連の新しい手法であるAttriBoTを紹介する。 AttriBoTは、以前のコンテキスト属性メソッドよりもターゲットモデルのLOOエラーに忠実でありながら、>300倍のスピードアップを提供することができる。
  論文  参考訳（メタデータ） (2024-11-22T18:06:14Z)
• Benchmarking Agentic Workflow Generation [80.74757493266057]
  複数面シナリオと複雑なグラフワークフロー構造を備えた統合ワークフロー生成ベンチマークであるWorfBenchを紹介する。 また,サブシーケンスとサブグラフマッチングアルゴリズムを利用したシステム評価プロトコルWorfEvalを提案する。 我々は、生成されたタスクが下流のタスクを強化し、推論中により少ない時間で優れたパフォーマンスを達成することを観察する。
  論文  参考訳（メタデータ） (2024-10-10T12:41:19Z)
• A Generic Performance Model for Deep Learning in a Distributed Environment [0.7829352305480285]
  本稿では,アプリケーション実行時間の汎用表現を用いた分散環境におけるアプリケーションの汎用性能モデルを提案する。 提案手法を3つのディープラーニングフレームワーク(MXnetとPytorch)で評価した。
  論文  参考訳（メタデータ） (2023-05-19T13:30:34Z)
• On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
  In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。 我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
  論文  参考訳（メタデータ） (2022-11-15T19:56:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。