論文の概要: Agent in a Bottle: Can LLM Agents Turn Their Capabilities Into Cheap, Scalable Artifacts?

• arxiv url: http://arxiv.org/abs/2610.08775v1
• Date: Tue, 06 Oct 2026 17:57:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:30.161837
• Title: Agent in a Bottle: Can LLM Agents Turn Their Capabilities Into Cheap, Scalable Artifacts?
• Title（参考訳）: ボトルの中のエージェント: LLMのエージェントは、その能力を小さくてスケーラブルなアーティファクトに変えることができるか?
• Abstract要約: 大規模言語モデル(LLM)は、多くの狭いタスクを解決できるが、数百万の関連インスタンスに対して個別にクエリすることは、違法に高価である。 一般的な機能を、品質と償却コストのバランスをとるタスク固有のソリューションに変換する能力です。 BOTTLEDは、エージェントが非競合なワークロードをすべて受信し、固定時間、計算、LLM APIの予算で完了しなければならないベンチマークである。
• 参考スコア（独自算出の注目度）: 58.69315416680399
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) can solve many narrow tasks, but querying them separately for millions of related instances can be prohibitively expensive. Can LLM agents autonomously create cheaper solutions for such workloads? We call this ability "bottling": the ability to turn general capabilities into task-specific solutions that balance answer quality and amortised cost. We introduce BOTTLED, a benchmark in which agents receive an entire unlabelled workload and must complete it under fixed time, compute and LLM API budgets. Agents choose their own approach, such as training a small model or writing a reusable program. Across ten models and three tasks, we find that strong zero-shot task performance does not reliably translate into strong bottling capabilities. Models with similar zero-shot scores can differ substantially after bottling, and 48 of 60 bottling runs score below the lower bound of the 95% confidence interval of their model's zero-shot performance. Moreover, 31 of 60 runs underperform the stronger of two small-model distillation baselines with the same token budget. Nevertheless, bottling can yield substantial savings: on query-product relevance classification, Opus 5 retains about 82% of its zero-shot macro-F1 at roughly 657 times lower reported cost. Bottling is also competitive with Jev, a "system one" model built especially for cheap, repetitive inference: Opus 5 on the same task recovers about 94% of Jev's macro-F1 at a quarter of Jev's projected full-workload cost. BOTTLED provides a basis for evaluating and improving agents' ability to invest limited resources in reusable solutions for large, repetitive workloads.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多くの狭いタスクを解決できるが、数百万の関連インスタンスに対して個別にクエリすることは、違法に高価である。 LLMエージェントは、そのようなワークロードに対するより安価なソリューションを自律的に作成できるのか? 一般的な機能を、品質と償却コストのバランスをとるタスク固有のソリューションに変換する能力です。 BOTTLEDは、エージェントが非競合なワークロードをすべて受信し、固定時間、計算、LLM APIの予算で完了しなければならないベンチマークである。 エージェントは、小さなモデルをトレーニングしたり、再利用可能なプログラムを書くなど、独自のアプローチを選択する。 10のモデルと3つのタスクで、強いゼロショットタスクのパフォーマンスが確実に強力なボット機能に変換されないことが分かりました。 同様のゼロショットスコアを持つモデルは、ボットリング後に大きく異なることができ、60のボットリングのうち48は、モデルのゼロショットパフォーマンスの95%信頼区間の下限以下で実行される。 さらに60点中31点は同じトークン予算で2点の小型蒸留ベースラインよりも性能が低い。 問合せ関連分類では、Opus 5はゼロショットマクロF1の約82%を約657倍のコストで維持している。 ボトリングは、特に安価で反復的な推論のために構築された"システム1"モデルであるJevと競合する: 同じタスクにおけるオプス5は、Jevの計画されたフルワークロードコストの4分の1で、JevのマクロF1の約94%を回復する。 BOTTLEDは、大規模かつ反復的なワークロードに対する再利用可能なソリューションに限られたリソースを投資するエージェントの評価と改善の基盤を提供する。

関連論文リスト

• MINERVA: How Small Can a Manipulation Policy Be and Still Solve LIBERO? [17.278454245145312]
  数十億のパラメータを持つビジョン言語アクション(VLA)モデルが、LIBERO操作ベンチマークを支配している。 我々は,このタスク固有のキャパシティフロアを測定するために,故意にコンパクトなビジュモータポリシーのファミリであるMINERVAを紹介する。
  論文  参考訳（メタデータ） (2026-09-03T11:51:10Z)
• $R^3$-Bench: LLMs Struggle with Resource-Rational Reasoning under Shared Budgets [24.564712210327126]
  認知科学では、リソース合理性(source rationality)は、エージェントが期待値の最大化のために限られた計算を割り当てるべきかどうかを問う。 我々はR3$-Benchを導入し、数学、競合プログラミング、抽象的推論の共用予算で6プロブレムスイートを評価した。 6つのモデルで72個のメインテーブル細胞を超えると、オラクル平均は全てのセルの競合平均値に一致または超え、71では厳密に高い。
  論文  参考訳（メタデータ） (2026-08-17T02:59:58Z)
• RouteMoA: Dynamic Routing without Pre-Inference Boosts Efficient Mixture-of-Agents [91.0187958746262]
  RouteMoAは動的ルーティングを備えた効率的な混合エージェントフレームワークである。 軽量スコアラを使用して、クエリから粗い粒度のパフォーマンスを予測することで、初期スクリーニングを行う。 既存のモデル出力に基づいて、軽量な自己評価とクロスアセスメントによってこれらのスコアを洗練し、追加の推論なしで後部修正を提供する。
  論文  参考訳（メタデータ） (2026-01-26T04:22:22Z)
• Efficient LLM Collaboration via Planning [56.081879390960204]
  小規模で大規模なモデルでは、プランナーと実行担当者として交代で行動し、タスクを協調的に解決するために、多段階のカスケードでプランを交換する。 私たちはCOPEが大規模プロプライエタリモデルに匹敵するパフォーマンスを実現し,推論APIのコストを大幅に削減できることを実証した。
  論文  参考訳（メタデータ） (2025-06-13T08:35:50Z)
• Distilling LLM Agent into Small Models with Retrieval and Code Tools [65.73762766854192]
  Agent Distillationは、推論能力とタスク解決の振る舞いを大きな言語モデルから小さな言語モデルに移行するためのフレームワークである。 その結果,SLMは0.5B,1.5B,3Bのパラメータで,次世代の1.5B,3B,7Bモデルと競合する性能が得られることがわかった。
  論文  参考訳（メタデータ） (2025-05-23T08:20:15Z)
• Plan and Budget: Effective and Efficient Test-Time Scaling on Large Language Model Reasoning [19.258292534503887]
  Plan-and-Budgetは、複雑なクエリをサブクエストに分解し、適応スケジューリングを使用して推定複雑性に基づいてトークン予算を割り当てる、モデルに依存しないテストタイムフレームワークである。 Plan-and-Budgetは、様々なタスクやモデルにわたる推論効率を改善し、最大で70%の精度向上、39%のトークン削減、および$E3$の+187.5%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-22T01:56:29Z)
• Vending-Bench: A Benchmark for Long-Term Coherence of Autonomous Agents [0.0]
  大規模言語モデル(LLM)は、孤立した短期的なタスクにおいて顕著な熟練度を示すが、長い時間的地平線を超えて一貫性のあるパフォーマンスを維持することができない。 Vending-Benchは、LLMベースのエージェントが、単純で長期にわたるビジネスシナリオを管理する能力をテストするために設計されたシミュレーション環境である。
  論文  参考訳（メタデータ） (2025-02-20T15:52:29Z)
• Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes [91.58845026796149]
  大規模言語モデルを上回る小さなモデルを訓練する新しいメカニズムであるDistilling Step-by-stepを導入する。 4つのNLPベンチマークで3つの結果を得た。
  論文  参考訳（メタデータ） (2023-05-03T17:50:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。