論文の概要: Consistent LLM Call Handling Across Java Frameworks: A Reference Implementation and Benchmark

• arxiv url: http://arxiv.org/abs/2610.25480v1
• Date: Sun, 18 Oct 2026 19:05:51 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:28:49.151729
• Title: Consistent LLM Call Handling Across Java Frameworks: A Reference Implementation and Benchmark
• Title（参考訳）: Javaフレームワーク間の一貫性のあるLCMコール処理:リファレンス実装とベンチマーク
• Abstract要約: Javaアプリケーションは、統合フレームワークを通じて大きな言語モデル(LLM)に到達し、失敗するプロバイダを扱うためにそれに依存します。 これらの期待は、信頼できる6つの契約として述べており、スクリプト化されたOpenAI互換プロバイダでSpring AI1とLangChain4j 1.21.0を測定しています。 3つのクライアントは同じ振る舞いをし、91のケースのうち90のケースで契約を満たします。
• 参考スコア（独自算出の注目度）: 16.99229148501035
• License:
• Abstract: Java applications reach large language models (LLMs) through an integration framework, and rely on it to handle a failing provider: to retry what can be retried and nothing else, to wait as long as the provider asks, never to present a truncated answer as complete, and to record each failure in the application's metrics. We state these expectations as a six-clause reliability contract and measure Spring AI 2.0.1 and LangChain4j 1.21.0 against it with a scripted OpenAI-compatible provider: fifteen failure scenarios, synchronous and streaming, three repetitions. LangChain4j meets it in 47 of 77 applicable cases with its defaults and in 51 of 83 when configured explicitly, Spring AI in 72 of 77 and 76 of 83; both deliver a stream that ended without its terminator as a complete answer. We then place one implementation of the contract beneath both frameworks, at the HTTP boundary - an OkHttp interceptor for Spring AI, an HttpClient for LangChain4j, and a java.net.http transport for code without a framework - sharing a 725-line core that depends only on the JDK and the Micrometer Observation API. With it, all three clients behave identically and meet the contract in 90 of 91 cases; the remaining case is a policy trade-off between retrying a hung provider and waiting for a slow first token. Against a local model server the layer rejected none of 700 calls, and it adds a median of 32-217 microseconds to a call.
• Abstract（参考訳）: Javaアプリケーションは、統合フレームワークを通じて大きな言語モデル(LLM)に到達し、障害のあるプロバイダを扱うためにそれに依存します。 私たちはこれらの期待を6クロースな信頼性契約として表現し、スクリプト化されたOpenAI互換プロバイダでSpring AI 2.0.1とLangChain4j 1.21.0を測定します。 LangChain4jは、デフォルトの77ケース中47ケースで、明示的に設定された83ケース中51ケースで、77ケース中72ケースと83ケース中76ケースで、それぞれが、終端子なしで終了するストリームを、完全な回答として提供する。 次に、両フレームワークの下の1つの実装として、HTTPバウンダリ – Spring AI用のOkHttpインターセプタ、LangChain4j用のHttpClient、フレームワークなしでコードのためのjava.net.httpトランスポート – JDKとMicrometer Observation APIのみに依存する725行のコアを共有します。 残りのケースは、吊り下げられたプロバイダを再試行し、遅いファーストトークンを待つことで、ポリシーのトレードオフになります。 ローカルモデルサーバに対して、レイヤは700の呼び出しを一切拒否し、コールに中央値32-217マイクロ秒を追加する。

関連論文リスト

• When Code Becomes an LLM Call: An Empirical Study of Call-Site Contracts in Agentic Systems [35.592602729961754]
  エージェントシステムは、次のツールを選択するなどのロジックの一部を、大きな言語モデル(LLM)を呼び出すことで置き換える。 保証は、プレコンディション、プロンプト制約、ポストコンディションの契約として、各LSMコールサイトのプログラムから得られなければならない。 オープンソースエージェントシステム40の496 LLMコールサイトにおいて,これらの契約について実証的研究を行った。
  論文  参考訳（メタデータ） (2026-10-17T08:14:37Z)
• SCCGBench: Executability-Oriented Evaluation for Real-World Web Service-Call Code Generation [19.54893647681029]
  Service-Call Code Generation Benchmark (SCCGBench)は、実際のGitHubリポジトリから3,135のトレース可能および非汚染のRapidAPIコール関数のベンチマークである。 目的のみ, 検索拡張, ゴールド文書化 Oracle 設定下で, 6つのコード LLM と1つの非神経検索ベースラインを評価した。
  論文  参考訳（メタデータ） (2026-10-09T03:10:33Z)
• From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
  200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。 我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。 このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
  論文  参考訳（メタデータ） (2026-09-01T17:39:26Z)
• Speculative Interaction Agents: Building Real-Time Agents with Asynchronous I/O and Speculative Tool Calling [64.40340291543971]
  我々は,小さなエッジスケールモデルとのリアルタイムインタラクションを実現するための投機的インタラクションエージェントを提案する。 また、ストリーミング入力と非同期応答を処理するためにモデルを適応させるクロックベースのトレーニング手法を提案する。 このアプローチは、Qwen2.5-3B-InstructとLlama-3.2-3B-Instructモデルを複数のツール呼び出しベンチマークで1.6-2.2$times$ Speedupを提供する。
  論文  参考訳（メタデータ） (2026-05-13T11:20:52Z)
• MIRAGE: Online LLM Simulation for Microservice Dependency Testing [5.94231111588812]
  既存のマイクロサービス依存性シミュレーションアプローチでは、テスト実行前に静的アーティファクトを生成する。 オンラインLLMシミュレーションは,LLMが各依存要求に応答するランタイムアプローチである。 このアプローチをMIRAGEでインスタンス化し、3つのマイクロサービスシステムにわたる110のテストシナリオで評価します。
  論文  参考訳（メタデータ） (2026-04-06T16:10:23Z)
• Separating Intelligence from Execution: A Workflow Engine for the Model Context Protocol [0.0]
  MCPエンジンは、実行から切り離される新しいオーケストレーション層です。 エンジンは実行トークン当たりのコストを99%以上削減し、完全なクラスタグラフ(1200以上のノードと2,800以上のリレーションシップを含む)を45秒以内で完了させる。
  論文  参考訳（メタデータ） (2026-03-13T05:12:14Z)
• RepoGenesis: Benchmarking End-to-End Microservice Generation from Readme to Repository [52.98970048197381]
  RepoGenesisは、リポジトリレベルのエンドツーエンドWebマイクロサービス生成のための、最初の多言語ベンチマークである。 18のドメインと11のフレームワークに106のリポジトリ(60のPython、46のJava)があり、1,258のAPIエンドポイントと2,335のテストケースが検証されている。 その結果、高いAC(最大73.91%)とDSR(最大100%)にもかかわらず、最高のパフォーマンスのシステムはPythonで23.67%のPass@1、Javaで21.45%しか達成していないことが明らかになった。
  論文  参考訳（メタデータ） (2026-01-20T13:19:20Z)
• SOPBench: Evaluating Language Agents at Following Standard Operating Procedures and Constraints [59.645885492637845]
  SOPBenchは、各サービス固有のSOPコードプログラムを実行可能な関数の有向グラフに変換する評価パイプラインである。 提案手法では,各サービス固有のSOPコードプログラムを実行可能関数の有向グラフに変換し,自然言語SOP記述に基づいてこれらの関数を呼び出しなければならない。 我々は18の先行モデルを評価し、上位モデルでさえタスクが困難であることを示す。
  論文  参考訳（メタデータ） (2025-03-11T17:53:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。