論文の概要: $R^3$-Bench: LLMs Struggle with Resource-Rational Reasoning under Shared Budgets

• arxiv url: http://arxiv.org/abs/2608.16033v1
• Date: Mon, 17 Aug 2026 02:59:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.509773
• Title: $R^3$-Bench: LLMs Struggle with Resource-Rational Reasoning under Shared Budgets
• Title（参考訳）: R^3$-Bench: LLMs Struggle with Resource-Rational Reasoning under Shared Budgets
• Abstract要約: 認知科学では、リソース合理性(source rationality)は、エージェントが期待値の最大化のために限られた計算を割り当てるべきかどうかを問う。 我々はR3$-Benchを導入し、数学、競合プログラミング、抽象的推論の共用予算で6プロブレムスイートを評価した。 6つのモデルで72個のメインテーブル細胞を超えると、オラクル平均は全てのセルの競合平均値に一致または超え、71では厳密に高い。
• 参考スコア（独自算出の注目度）: 24.564712210327126
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In cognitive science, resource rationality asks how an agent should allocate limited computation to maximize expected value. Most reasoning and agent benchmarks use independent per-task budgets; existing shared-budget studies do not calibrate suite performance against the same model's demonstrated single-problem competence. We introduce $R^3$-Bench, which evaluates six-problem suites under shared budgets across mathematics, competitive programming, and abstract reasoning in tool-free and agentic settings. Matched single-problem response curves define an offline empirical oracle over observed successes. Across 72 main-table cells for six models, the oracle mean matches or exceeds the contest mean in all cells and is strictly higher in 71. Under moderate tool-free pressure, equal-allocation replay also exceeds contest performance for four of six models. Trajectory diagnostics reveal limited strategy updating and pressure-dependent failure patterns. In a three-model diagnostic under strong agentic pressure, at least one fixed scheduler exceeds the contest mean in six of nine cells, but no policy dominates across domains. These results expose a persistent gap between demonstrated competence and shared-budget realization.
• Abstract（参考訳）: 認知科学では、リソース合理性(source rationality)は、エージェントが期待値の最大化のために限られた計算を割り当てるべきかどうかを問う。 ほとんどの推論とエージェントベンチマークでは、個別のタスク毎の予算が使用されているが、既存の共有予算調査では、同じモデルの実証されたシングルプロブレム能力に対してスイートのパフォーマンスを調整していない。 R^3$-Benchは、数学、競争プログラミング、およびツールフリーおよびエージェント的設定における抽象的推論を共用した6プロブレムスイートの評価を行う。 一致したシングルプロブレム応答曲線は、観測された成功に対してオフラインの経験的オラクルを定義する。 6つのモデルで72個のメインテーブル細胞を超えると、オラクル平均は全てのセルの競合平均値に一致または超え、71では厳密に高い。 適度なツールフリーの圧力の下では、同じ配置のリプレイは6つのモデルのうち4つのコンテストのパフォーマンスを上回る。 軌道診断では、限られた戦略更新と圧力依存性の障害パターンが示される。 強力なエージェント圧力下での3モデル診断では、少なくとも1つの固定スケジューラが9つのセルのうち6つのコンテスト平均を超えるが、ドメイン間ではポリシーが支配的ではない。 これらの結果は、実演能力と共有予算実現の間に持続的なギャップを露呈する。

関連論文リスト

• Exploit More, Explore Smarter for Budget-Constrained Agentic Search [6.894751260400948]
  予算制約のあるエージェント検索は、エージェントが小さな評価予算の下で候補者を精査しなければならない場合に発生する。 我々は,拡張自体を情報の価値決定として扱うツリー検索ポリシーであるExTSを紹介した。
  論文  参考訳（メタデータ） (2026-08-24T21:38:05Z)
• Determinants and Limits of LLM Security-Tool Orchestration: A Study with HexStrike-AI [2.2616066835313253]
  7つのカテゴリと3つの難易度で86のPicoCTF課題を実行し、3つのツールアクセスレジームと3つのモデル/クライアント構成で実行します。 既存のツール,エージェント・ビヘイビアの変更,11の新たな機能ツールに修正を適用し,これまで未経験だったトライアルを再実行します。 全体の解決率は55.4%から72.0%に上昇し、全ての構成が大幅に改善される。
  論文  参考訳（メタデータ） (2026-07-03T02:20:04Z)
• ComplexMCP: Evaluation of LLM Agents in Dynamic, Interdependent, and Large-Scale Tool Sandbox [61.862814740220806]
  $textbfComplexMCP$は厳格な条件下でエージェントを評価するために設計されたベンチマークである。 Model Context Protocol (MCP)上に構築された$textbfComplexMCP$は300以上の精巧にテストされたツールを提供する。
  論文  参考訳（メタデータ） (2026-05-11T16:20:51Z)
• When Independent Sampling Outperforms Agentic Reasoning [4.226475360842309]
  固定予算下での競合プログラミングのための推論時間計算の割り当てについて検討する。 モデル呼び出しのコストと回数の両方の関数として,エージェントベースの推論と反復的な独立サンプリング(k-shot)を比較した。
  論文  参考訳（メタデータ） (2026-05-08T20:53:51Z)
• How Many Iterations to Jailbreak? Dynamic Budget Allocation for Multi-Turn LLM Evaluation [22.523809021772802]
  大規模言語モデル(LLM)の多ターン会話設定における重要なイベントは、しばしば繰り返し対話の後にのみ現れる。 最近のコンフォメーションサバイバルフレームワークは、関心のイベントをトリガーするイテレーション数に基づいて、信頼できる低い予測境界(LPB)を構築している。 DAPROは,マルチターンインタラクションにおいて,時間と時間の境界を設定するための,理論上有効な動的予算配分フレームワークである。
  論文  参考訳（メタデータ） (2026-05-07T17:25:15Z)
• Spend Less, Reason Better: Budget-Aware Value Tree Search for LLM Agents [40.18150559561834]
  Budget-Aware Value Tree (BAVT) は、動的検索ツリーとしてマルチホップ推論をモデル化するトレーニングフリーの推論時間フレームワークである。 BAVTは一貫して並列サンプリングベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-03-13T04:10:27Z)
• $V_{0.5}$: Generalist Value Model as a Prior for Sparse RL Rollouts [81.48669089692189]
  一般値モデル(例えば$V_0.5$)は、コンテキスト内のモデル機能を明示的にエンコードすることで、事前訓練された値推定を実現する。 本稿では,このような値モデルにより予測されるベースラインと,スパースロールアウトから導出される経験的平均とを適応的に融合する$V_0.5$を提案する。 V_0.5$はGRPOとDAPOを大きく上回り、より高速な収束と約10%のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2026-03-11T14:57:41Z)
• Information Fidelity in Tool-Using LLM Agents: A Martingale Analysis of the Model Context Protocol [69.11739400975445]
  モデルコンテキストプロトコル(MCP)エージェントにおけるエラー蓄積を解析するための最初の理論的枠組みを紹介する。 累積歪みが線形成長と高確率偏差を$O(sqrtT)$で表すことを示す。 主な発見は、意味重み付けは歪みを80%減らし、周期的再接地は、エラー制御の約9ステップごとに十分である。
  論文  参考訳（メタデータ） (2026-02-10T21:08:53Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
  OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。 我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。 我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
  論文  参考訳（メタデータ） (2025-08-07T17:54:15Z)
• Hierarchical Budget Policy Optimization for Adaptive Reasoning [49.621779447691665]
  階層的予算政策最適化(Hierarchical Budget Policy Optimization, HBPO)は、モデルが問題固有の推論深度を犠牲にすることなく学習できる強化学習フレームワークである。 HBPOは、探索空間を予算制約付き階層(512-2560トークン)に分割する。 大規模な実験により、HBPOは平均トークン使用量を最大60.6%削減し、4つの推論ベンチマークで精度を3.14%改善した。
  論文  参考訳（メタデータ） (2025-07-21T17:52:34Z)
• Plan and Budget: Effective and Efficient Test-Time Scaling on Large Language Model Reasoning [19.258292534503887]
  Plan-and-Budgetは、複雑なクエリをサブクエストに分解し、適応スケジューリングを使用して推定複雑性に基づいてトークン予算を割り当てる、モデルに依存しないテストタイムフレームワークである。 Plan-and-Budgetは、様々なタスクやモデルにわたる推論効率を改善し、最大で70%の精度向上、39%のトークン削減、および$E3$の+187.5%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-22T01:56:29Z)
• Quantization for decentralized learning under subspace constraints [61.59416703323886]
  エージェントがサブスペース制約を最小化するために個々のコスト関数を持つ分散最適化問題を考察する。 本稿では,エージェントが確率化量子化器を用いて推定値を圧縮する適応分散型戦略を提案し,検討する。 この分析は、量子化ノイズのいくつかの一般的な条件下では、平均二乗誤差と平均ビットレートの両方で戦略が安定であることを示している。
  論文  参考訳（メタデータ） (2022-09-16T09:38:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。