論文の概要: External Experience Serving in Production LLM Systems: A Deployment-Oriented Study of Quality-Cost Trade-offs

• arxiv url: http://arxiv.org/abs/2606.11806v1
• Date: Wed, 10 Jun 2026 08:38:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.36849
• Title: External Experience Serving in Production LLM Systems: A Deployment-Oriented Study of Quality-Cost Trade-offs
• Title（参考訳）: 生産LLMシステムにおける外部経験:品質・コストトレードオフの展開指向研究
• Authors: Lin Sun, Heming Zhang, Xiangzheng Zhang,
• Abstract要約: 外部エクスペリエンスを注入することでタスクの品質が向上する一方で、迅速な負担、レイテンシ、サービスプレッシャーも向上する。 我々は,経験のないベースライン,ランダムな経験制御,グローバルプロンプトインジェクション,検索に基づく選択的インジェクションを比較した。
• 参考スコア（独自算出の注目度）: 3.542522302754046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Production LLM systems accumulate reusable operational experience, but the practical deployment issue is not merely whether such experience can help. It is how different serving strategies trade off quality against online cost under realistic constraints. Injecting external experience can improve task quality, yet it also increases prompt burden, latency, and serving pressure. We study \textit{external experience serving} as a deployment-oriented quality-cost trade-off problem. We evaluate this question in a real production moderation setting, with tool-use and GPQA as supporting contrast tasks that expose different output-cost regimes. We compare no-experience baselines, random experience controls, global prompt injection, and retrieval-based selective injection, and analyze both task quality and serving cost. The results show that, once experience becomes case-dependent, selective retrieval provides a stronger operating point than unconditional global injection. They further show that retrieval quality matters more than simply increasing Top-$K$, and that the same serving policy can exhibit substantially different cost-benefit profiles across short-output and decode-heavy regimes. These findings suggest that external experience is best treated as a selective, cost-aware serving decision rather than as a universal add-on. Overall, in the settings studied here, external experience pays off only when both the serving interface and the task-specific cost structure make its quality gains worth the online cost.
• Abstract（参考訳）: LLMシステムは再利用可能な運用経験を蓄積するが、実際の展開問題は、そのような経験が役立つかどうかだけではない。 これは、現実的な制約の下で、異なるサービス戦略がオンラインコストに対して品質をトレードオフする方法です。 外部エクスペリエンスを注入することでタスクの品質が向上する一方で、迅速な負担、レイテンシ、サービスプレッシャーも向上する。 デプロイメント指向の品質-コストトレードオフ問題として,‘textit{external experience serve}’について検討する。 ツールとGPQAは、異なる出力コストのレギュレーションを露呈するコントラストタスクをサポートする。 我々は,未経験ベースライン,ランダム体験制御,グローバルプロンプトインジェクション,検索ベース選択インジェクションを比較し,タスク品質とサービスコストを解析した。 その結果、一度経験がケース依存となると、選択的検索は非条件のグローバルインジェクションよりも強力な操作ポイントを提供することがわかった。 さらに彼らは、検索品質が単にTop-K$を増やすことよりも重要であることを示し、同じサービスポリシーはショートアウトとデコード重大な体制でかなり異なるコストベネフィットプロファイルを示す可能性があることを示している。 これらの結果から,外的経験は普遍的なアドオンとしてではなく,選択的かつコストに配慮したサービス決定として扱われる可能性が示唆された。 全体として、ここで調べた設定では、サービスインターフェースとタスク固有のコスト構造の両方がオンラインコストに価値をもたらす場合にのみ、外部エクスペリエンスが役立ちます。

関連論文リスト

• Assessment of RAG and Fine-Tuning for Industrial Question-Answering-Applications [2.497641182907452]
  本研究では,自動車産業に特化した2つの閉じたデータセットに対するRAGとFTの影響について検討した。 我々の研究結果によると、プレミアムモデルは最初から最高の性能を発揮するが、オープンソースモデルはRAGで拡張すると同等の品質が得られる。
  論文  参考訳（メタデータ） (2026-05-10T13:35:16Z)
• Rethinking Experience Utilization in Self-Evolving Language Model Agents [51.10420305280499]
  自己進化剤は過去の相互作用から経験を蓄積し再利用することで改善する。 本稿では,自己進化型エージェントの重要設計次元としての利用経験について考察する。
  論文  参考訳（メタデータ） (2026-05-08T02:48:49Z)
• SWE Context Bench: A Benchmark for Context Learning in Coding [6.093520696434546]
  SWE-ContextBenchは,プログラムエージェントでの体験再利用を明示的に評価するためのベンチマークである。 SWE-Bench Lite上に構築されたSWE-ContextBenchは、GitHubイシューとプルリクエスト間の実際の依存関係と参照関係から99の関連タスクで300のベースタスクを拡張している。 適切に選択された要約された体験により、解像度が向上し、実行時間とトークンコストが大幅に削減されることを示す。
  論文  参考訳（メタデータ） (2026-02-09T06:44:45Z)
• Large Language Model Agents Are Not Always Faithful Self-Evolvers [84.08646612111092]
  自己進化型大規模言語モデル(LLM)エージェントは、過去の経験を蓄積し再利用することによって継続的に改善される。 本稿では,経験の忠実さ,エージェントの判断が与えられた経験に因果的依存を初めて体系的に調査する。
  論文  参考訳（メタデータ） (2026-01-30T01:05:15Z)
• EvoRoute: Experience-Driven Self-Routing LLM Agent Systems [100.64399490164959]
  EvoRouteは、静的で事前定義されたモデルの割り当てを超越する、自己進化型のモデルルーティングパラダイムである。 挑戦的なエージェントベンチマークの実験によると、既製のエージェントシステムに統合されたEvoRouteは、システムのパフォーマンスを維持または向上するだけでなく、実行コストを最大80%削減し、レイテンシを70%以上削減する。
  論文  参考訳（メタデータ） (2026-01-06T04:06:46Z)
• Self-Refinement Strategies for LLM-based Product Attribute Value Extraction [51.45146101802871]
  本稿では,製品属性値抽出タスクに2つの自己補充手法を適用した。 実験の結果, 2つの自己補充技術は, 処理コストを大幅に増大させながら, 抽出性能を著しく向上させることができないことがわかった。 開発データを持つシナリオでは、ファインチューニングが最もパフォーマンスが高いのに対して、ファインチューニングの上昇コストは製品記述の量が増加するにつれてバランスがとれる。
  論文  参考訳（メタデータ） (2025-01-02T12:55:27Z)
• CoPS: Empowering LLM Agents with Provable Cross-Task Experience Sharing [70.25689961697523]
  クロスタスク体験の共有と選択によるシーケンシャル推論を強化する一般化可能なアルゴリズムを提案する。 我々の研究は、既存のシーケンシャルな推論パラダイムのギャップを埋め、タスク間体験の活用の有効性を検証する。
  論文  参考訳（メタデータ） (2024-10-22T03:59:53Z)
• Iterative Experience Refinement of Software-Developing Agents [81.09737243969758]
  大規模な言語モデル(LLM)は、過去の経験を活用してエラーを低減し、効率を高めることができる。 本稿では,LLMエージェントがタスク実行中に反復的に経験を洗練できる反復体験精錬フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-07T11:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。