論文の概要: When does a scaling result justify a different allocation? A critical review of resource-allocation evidence for AI systems
- arxiv url: http://arxiv.org/abs/2609.14500v1
- Date: Sun, 13 Sep 2026 13:22:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:05.830416
- Title: When does a scaling result justify a different allocation? A critical review of resource-allocation evidence for AI systems
- Title(参考訳): スケーリングの結果はいつ異なるアロケーションを正当化するのか?AIシステムに対するリソース割り当て証拠の批判的レビュー
- Abstract要約: このレビューでは、レポートされたスケーリング結果がリソース割り当て決定をサポートするかどうかを問う。
事前トレーニング、テスト時間計算、検索、エージェント評価のエビデンスを比較する。
普遍的なスケーリング法則を提案したり、ベンチマークゲインから一般的なインテリジェンスを推測したりしない。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI scaling studies increasingly evaluate systems that combine a pretrained model with retrieval, search, verification, tools, and interaction. Yet a higher score under a larger budget does not by itself show where additional resources are best spent. This critical integrative review asks when a reported scaling result supports a resource-allocation decision. It compares evidence across pretraining, test-time computation, retrieval, and agent evaluation, distinguishing the performance of a tested procedure from the best performance achievable under a resource limit. The synthesis shows that three mismatches recur across this evidence: success counted before an answer is chosen, information a deployed system will not have, and costs left out of the comparison. A capability surface expresses performance as a function of budgets, mechanisms, and available information. Worked analytical examples show how the evaluation metric, deployment volume, selection rule, and stopping policy can alter an allocation conclusion. A resource envelope provides a structured record of the task, development and run-time resources, information access, and procedure behind a reported score. Its application to a published comparison illustrates which conclusions the evidence supports and which deployment questions remain unresolved. The resulting framework specifies the comparisons needed to choose among feasible systems and motivates experiments on the transfer of allocation rules across tasks and operating conditions. It does not propose a universal scaling law or infer general intelligence from benchmark gains.
- Abstract(参考訳): AIスケーリングの研究は、事前訓練されたモデルと検索、検索、検証、ツール、インタラクションを組み合わせたシステムの評価をますます進めている。
しかし、より大きな予算の下でのより高いスコアは、追加のリソースがどこに最も使われるかを示すものではない。
この重要な統合的レビューは、レポートされたスケーリング結果がリソース割り当て決定をサポートするかどうかを問うものである。
事前トレーニング、テスト時間計算、検索、エージェント評価のエビデンスを比較し、テスト手順のパフォーマンスとリソース制限下で達成可能な最高のパフォーマンスを区別する。
この合成は、3つのミスマッチが、答えが選択される前に数えられる成功、デプロイされたシステムが持たない情報、そして比較から逸脱したコストの3つにまたがっていることを示している。
機能面は、予算、メカニズム、利用可能な情報の関数としてパフォーマンスを表す。
作業分析の例は、評価指標、デプロイメントボリューム、選択ルール、および停止ポリシーがどのようにアロケーションの結論を変更するかを示している。
リソースエンベロープは、報告されたスコアの背後にあるタスク、開発および実行時のリソース、情報アクセス、および手順の構造化された記録を提供する。
公開された比較へのその応用は、どのエビデンスを支持し、どのデプロイメント質問が未解決のままなのかを結論付けている。
結果として得られたフレームワークは、実現可能なシステムを選択するために必要な比較を定義し、タスクや運用条件をまたいだアロケーションルールの転送に関する実験を動機付けている。
普遍的なスケーリング法則を提案したり、ベンチマークゲインから一般的なインテリジェンスを推測したりしない。
関連論文リスト
- Beyond Depth and Width: The Information-Slack Dilemma in Streaming Test-Time Compute [6.857597530952977]
本稿では, 制御された証拠修正の下での選択的回復を優先して, 進化的証拠の下での計算に関する研究課題を提案する。
目的は、最大先進計算ではなく、より信頼できる、宣言されたリソースエンベロープ内のオンタイム応答である。
論文 参考訳(メタデータ) (2026-09-14T04:03:58Z) - Test-Time Scaling in Reasoning LLMs: Inference Regimes, Evaluation, and Reproducibility [7.838210213616623]
3つの軸に沿ってテスト時間スケーリングを体系的に記述する。
まず、自動回帰モデルの暗黙の接頭辞木に対する予算付き推論としてテスト時間スケーリングを定式化する。
次に,評価対象を全体推論システムとして扱う。
論文 参考訳(メタデータ) (2026-08-04T17:57:20Z) - HiEviDR-Bench: A Benchmark for Hierarchical Evidence Aggregation in Deep Research [52.87128503345243]
我々は,Deep Researchにおける階層的エビデンス・アグリゲーションを評価するためのベンチマークであるHiEviDR-Benchを紹介する。
HiEviDR-Benchは、エビデンスの選択、クロスソースリンク、アグリゲーションをキャプチャする明示的なエビデンスグラフを持つ各インスタンスを表す。
報告品質,エビデンストレーサビリティ,引用精度,クレーム検証,回答正当性という5次元のトレーサビリティ指向評価フレームワークを開発した。
論文 参考訳(メタデータ) (2026-07-27T23:50:46Z) - TRACE: A Unified Rollout Budget Allocation Framework for Efficient Agentic Reinforcement Learning [52.67756371231985]
検証可能な報酬を伴う強化学習(RLVR)は、大規模言語モデルにおける推論とエージェント的行動を強化するための有望なアプローチである。
本稿では,Tree Rollout Allocation for Contrastive Exploration (TRACE)について紹介する。
技術的には、TRACEはロールアウト予算をルートと中間プレフィックスの両方に割り当てている。
論文 参考訳(メタデータ) (2026-06-09T17:16:03Z) - When Should a Robot Think? Resource-Aware Reasoning via Reinforcement Learning for Embodied Robotic Decision-Making [68.12864562049957]
身体ロボットシステムは、高レベルの推論をサポートするために、大規模言語モデル(LLM)ベースのエージェントにますます依存している。
エージェントはいつ、いつ、いつ行動すべきか?
本稿では,エンボディエージェントのリソース・アウェア・オーケストレーションのための階層的なフレームワークであるRARRL(Resource-Aware Reasoning via Reinforcement Learning)を提案する。
論文 参考訳(メタデータ) (2026-03-17T15:38:50Z) - Adaptive Test-Time Compute Allocation via Learned Heuristics over Categorical Structure [1.8055130471307603]
テスト時間計算は、大規模言語モデル(LLM)推論の進歩の原動力となっている。
我々は,検証作業が中間状態にまたがってどのように配置されるべきか,検証コストに制限のある環境下での推論について検討する。
本研究では, (i) 構造化された移動インタフェース上での確定可能性ゲーティング, (ii) 学習された状態距離と残差スコアのハイブリッドを用いた事前検証ランキング, (iii) 局所的不確実性に基づく検証呼び出しの適応的アロケーションを組み合わせた状態レベルの選択的検証フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-03T19:57:53Z) - User-Centric Evidence Ranking for Attribution and Fact Verification [12.059713949823335]
エビデンスランク付け(Evidence Ranking)は、ランク付けリストにおいて、できるだけ早く十分な情報を提示することを優先する、新しいタスクである。
これにより、ユーザの読み取り作業を最小限に抑えつつ、利用可能なすべての証拠をシーケンシャルな検証に利用できるようにする。
この研究は、より解釈しやすく、効率的で、ユーザに沿った情報検証システムに向けた基礎的なステップを提供する。
論文 参考訳(メタデータ) (2026-01-29T08:23:26Z) - Learning to Route: A Rule-Driven Agent Framework for Hybrid-Source Retrieval-Augmented Generation [55.47971671635531]
大言語モデル(LLM)は、一般質問回答(QA)において顕著な性能を示した。
Retrieval-Augmented Generation (RAG)は、LLMを外部知識で強化することで、この制限に対処する。
既存のシステムは、主に構造化されていないドキュメントに依存しているが、主にリレーショナルデータベースを見下ろしている。
論文 参考訳(メタデータ) (2025-09-30T22:19:44Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳(メタデータ) (2025-04-02T17:40:47Z) - Knowledge-Aware Iterative Retrieval for Multi-Agent Systems [0.0]
本稿では,新しい大規模言語モデル (LLM) によるエージェントフレームワークを提案する。
動的に進化する知識を活用することで、クエリを反復的に洗練し、文脈的証拠をフィルタリングする。
提案システムは、更新されたコンテキストの競合的および協調的な共有をサポートする。
論文 参考訳(メタデータ) (2025-03-17T15:27:02Z) - MQAG: Multiple-choice Question Answering and Generation for Assessing
Information Consistency in Summarization [55.60306377044225]
最先端の要約システムは高度に流動的な要約を生成することができる。
しかし、これらの要約には、情報源に存在しない事実上の矛盾や情報が含まれている可能性がある。
本稿では,ソース情報と要約情報を直接比較する,標準的な情報理論に基づく代替手法を提案する。
論文 参考訳(メタデータ) (2023-01-28T23:08:25Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳(メタデータ) (2020-04-13T05:23:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。