論文の概要: Bellman Language Models: Solving the Recurring Decisions of LLM Agents

• arxiv url: http://arxiv.org/abs/2610.24871v1
• Date: Sat, 17 Oct 2026 21:19:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 15:38:46.612984
• Title: Bellman Language Models: Solving the Recurring Decisions of LLM Agents
• Title（参考訳）: Bellman言語モデル: LLMエージェントの再帰的な決定を解決する
• Abstract要約: 妥当な境界内での意思決定を最適化問題として扱い、一度解決し、解決した決定を再利用することで、エージェントをより早く、より安く、より信頼性の高いものにすることができることを示す。 Discretize, Then Decide と呼ばれる私たちのアプローチは、ワークフロー自身のログや、存在しない場合には LLM エージェント自体を実行するようなデータから始まります。 ソリューションはモデルの周りにコントローラとして動作し、ツールコールやテンプレートされた応答など、状態が固定された動作を送信する。
• 参考スコア（独自算出の注目度）: 0.30079490585515345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A general observation in agentic workflows, especially bounded ones, is that the decision space of the LLM, when we separate a decision from generation, starts approaching saturation: the agent meets the same states again and again, and after enough conversations it stops meeting new ones. LLMs generally don't treat these decisions as an optimization problem and instead re-derive them from their context/prompt on every turn. We show that treating decision making within reasonable bounds as an optimization problem, solving it once, and reusing the solved decisions can often make an agent faster, cheaper and more reliable. Our approach, which we call Discretize, Then Decide, starts from data such as the workflow's own logs or, when none exists, runs of the LLM agent itself. It reads each conversation into discrete states and estimates the probability of each outcome and the cost of each move, until no new states appear and the probabilities stop changing. It then solves the resulting Markov decision process. The solution runs as a controller around the model, sending moves whose content is fixed in the state, such as a tool call or a templated reply, and any state it hasn't seen is sent back to the LLM. We call an LLM run this way a Bellman language model (BLM), after Richard Bellman's equation for the best move in each state. On $τ^2$-bench telecom, the controller with no model solves 79% of tasks. As a BLM, Qwen3.8-27B, an open model, goes from 29% to 96% with 93% fewer model calls. For Claude Opus 5.5, which solves 96% of tasks on its own, running it as a BLM cuts model calls and cost per task by about 98% and lets it solve 2 more tasks. On InventoryBench, the solved policy with no model beats every published method. Where the hard part is writing content rather than choosing moves, such as resolving SymPy issues, few decisions can be solved in advance, and a BLM helps little.
• Abstract（参考訳）: エージェントワークフロー、特に有界なワークフローにおける一般的な観察は、LLMの決定空間は、世代から決定を分離するとき、飽和状態に近づき始め、エージェントは同じ状態に何度も再会し、十分な会話の後、新しい状態に会うのをやめる。 LLMは一般的に、これらの決定を最適化問題として扱うのではなく、各ターンでコンテキスト/プロンプトからそれらの決定を導出します。 妥当な境界内での意思決定を最適化問題として扱い、一度解決し、解決した決定を再利用することで、エージェントをより早く、より安く、より信頼性の高いものにすることができることを示す。 Discretize, Then Decide と呼ばれる私たちのアプローチは、ワークフロー自身のログや、存在しない場合には LLM エージェント自体を実行するようなデータから始まります。 それぞれの会話を個別の状態に読み上げ、それぞれの結果の確率と動きのコストを見積もるが、新しい状態が現れず、確率が変化しなくなる。 その後、マルコフ決定過程を解く。 ソリューションはモデルの周りにコントローラとして動作し、ツールコールやテンプレートされた応答など、状態が固定された動作を送信する。 LLMをベルマン言語モデル (BLM) と呼び、各状態の最良の動きに対するリヒャルト・ベルマンの方程式にちなむ。 τ^2$-bench通信では、モデルのないコントローラが79%のタスクを解決している。 BLMとしては、オープンモデルであるQwen3.8-27Bは29%から96%に減少し、モデルコールは93%減少した。 Claude Opus 5.5は、独自のタスクの96%を解決し、BLMとして実行することで、タスク毎のモデル呼び出しとコストを約98%削減し、さらに2つのタスクを解決している。 InventoryBenchでは、モデルなしで解決されたポリシーが、公開されたすべてのメソッドを破る。 SymPy問題の解決など、手動ではなくコンテンツを書くことの難しい部分では、事前に決定を下すことは少なく、BLMはほとんど役に立たない。

関連論文リスト

• JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs [67.3059941230326]
  大規模言語モデル(LLM)エージェントは、ソフトウェアを修正し、コンピュータを操作し、顧客にサービスを提供するが、そのハーネス、そしてそれらを実行するプログラムは、すべてのステップで大きなLLMを呼び出す。 ハーネスがこれらの決定を、ほとんど成功しない決定モデルに委譲する方法を問う。 AgentDecisionBenchは独立した質問から決定モデルをテストし、公開ベンチマークとDecisionGym環境上で実行中のエージェントを制御する。 次に、JevAgentHarnessを設計します。これは、エージェント自身の軌道上の各選択のしきい値に適合し、LLMがその下にあることを判断します。
  論文  参考訳（メタデータ） (2026-10-15T07:27:08Z)
• System1-Arena: Which Decisions Can Be Left to System 1? [72.4486135716456]
  大型言語モデル(LLM)は、フィッシングのフラグ付けや人間へのエスカレートなど、決定的な決定をすることが多い。 System1-Arenaは、すべてのモデルに同じ決定要求を与え、それらの確率をスコアするベンチマークである。 テキスト分類と知識、適用された決定、評価と制御、エージェントとアクションの4つのグループである。
  論文  参考訳（メタデータ） (2026-10-15T04:40:47Z)
• The Pensieve Paradigm: Stateful Language Models Mastering Their Own Context [48.70817145536136]
  StateLMは、自身の状態を管理するための内部推論ループを備えた、新しいファンデーションモデルのクラスである。 動的に自分自身のコンテキストを設計することを学ぶことで、私たちのモデルは固定された窓のアーキテクチャの監獄から解放されます。
  論文  参考訳（メタデータ） (2026-02-12T16:00:01Z)
• Scaling Autonomous Agents via Automatic Reward Modeling And Planning [52.39395405893965]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な機能を示している。 しかし、彼らは多段階の意思決定と環境フィードバックを必要とする問題に苦戦している。 人間のアノテーションを使わずに環境から報酬モデルを自動的に学習できるフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:49:25Z)
• Online Prompt Selection for Program Synthesis [14.188804919928591]
  大規模言語モデル(LLM)は、プログラム合成の領域における印象的な機能を示している。 ユーザにとって重要な課題は、LLMがソルバの適切な選択であるかどうか、与えられた合成タスクを呼び出すのに適切なLLM、そしてそれを呼び出す正しい方法であるかどうかを特定することである。 我々は、マルチアームのバンディットアルゴリズムを用いて、どのシンボルソルバ(LLM)を選択し、与えられた報酬関数を最大化するために、即座に組み合わせてデプロイする。
  論文  参考訳（メタデータ） (2025-01-09T13:57:09Z)
• PickLLM: Context-Aware RL-Assisted Large Language Model Routing [0.5325390073522079]
  PickLLMは、RL(Reinforcement Learning)を使用してオンザフライクエリを利用可能なモデルにルーティングする軽量フレームワークである。 学習速度の違いに対する収束の速度と,クエリ毎のコストや全体の応答遅延といったハードメトリクスの改善を実証する。
  論文  参考訳（メタデータ） (2024-12-12T06:27:12Z)
• Efficient Sequential Decision Making with Large Language Models [19.083642464977224]
  本稿では,大規模言語モデル(LLM)の成功を逐次意思決定に拡張することに焦点を当てる。 本稿では,オンラインモデル選択アルゴリズムを活用してLLMエージェントを逐次意思決定に効率的に組み込む手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T22:13:22Z)
• Optimising Calls to Large Language Models with Uncertainty-Based Two-Tier Selection [80.63946798650653]
  決定は、より優れた性能を持つ大型LCMを使うか、より少ないコストで使用するかに重点を置いている。 我々は,LLMの世代間不確実性のみを意思決定基準として,より単純な解を提案する。 実験の結果、この単純な解はコストと性能を最適にバランスさせ、27の試験装置中25の既存手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-05-03T14:38:59Z)
• PAL: Program-aided Language Models [112.94785609781503]
  自然言語問題を理解するために,プログラム支援言語モデル(PaL)を提案する。 PaLはソリューションステップをPythonインタプリタのようなプログラムランタイムにオフロードする。 私たちは12のベンチマークで新しい最先端の結果を設定しました。
  論文  参考訳（メタデータ） (2022-11-18T18:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。