論文の概要: Build or Adopt? Custom-Built vs. General-Purpose LLM Agent Harnesses for Automotive GUI Testing
- arxiv url: http://arxiv.org/abs/2610.33636v1
- Date: Sat, 24 Oct 2026 12:32:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.413393
- Title: Build or Adopt? Custom-Built vs. General-Purpose LLM Agent Harnesses for Automotive GUI Testing
- Title（参考訳）: ビルドか採用か? 自動車GUIテストのためのカスタムビルト対汎用LLMエージェントハーネス
- Abstract要約: 生産用のカスタムビルドハーネスと2つの汎用ハーネス、Claude CodeとOpenCodeを比較します。
我々は、Volvoの車載インフォテインメント(IVI)テストケースと、パブリックアプリにおけるオープンエンドタスクにおいて、最大4つのモデルでハーネスを評価した。
ボルボの段階的なIVIテストでは、汎用ハーネスはカスタム製のハーネスに適合するが、ラン毎に異なる。
- 参考スコア（独自算出の注目度）: 6.653099191251541
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As general-purpose LLM agent harnesses mature, organizations must decide whether to continue developing in-house systems or adopt existing alternatives. We study this decision at Volvo Group for GUI testing of Android-based in-vehicle infotainment (IVI) systems. We compare a production, custom-built harness with two general-purpose harnesses, Claude Code and OpenCode, keeping the tools, accessed through the Model Context Protocol (MCP), and the models the same. We evaluate the harnesses with up to four models on Volvo's IVI test cases and on open-ended tasks in public apps (Google Maps, Booking.com), and interview ten practitioners: developers, the product owner, and testers. On Volvo's stepwise IVI tests, general-purpose harnesses match the custom-built harness in success but vary more across runs. Their inference cost per task is 2.6-10.7 times higher, yet the engineering effort they save outweighs this: for a nightly IVI regression suite, total monthly cost, including engineering effort and inference, is 3-66% lower. On open-ended public-app tasks, they succeed more often, mainly because they recover better from incorrect actions. Interviews suggest that external advances can turn an in-house harness into technical debt even without deterioration. Adopting a general-purpose harness shifts maintenance from the agent loop to tools and instructions, but gives teams less control over what the model receives. Regardless of the harness, testers want to inspect the agent's actions and ensure that it follows the prescribed test scenario.
- Abstract（参考訳）: 汎用LLMエージェントは成熟しているため、組織は社内システムの開発を継続するか、既存の代替手段を採用するかを決定する必要がある。
この決定は、Volvo Groupで、Androidベースの車載インフォテインメント(IVI)システムのGUIテストについて検討した。
私たちは、Claude CodeとOpenCodeの2つの汎用ハーネスを使って、生産用のカスタムビルドハーネスを比較し、ツールを維持し、Model Context Protocol(MCP)を通してアクセスし、モデルも同じです。
我々は、VolvoのIVIテストケースと公開アプリ(Google Maps、Booking.com)のオープンエンドタスクで最大4つのモデルでハーネスを評価し、開発者、プロダクトオーナ、テスタの10人の実践者へのインタビューを行った。
ボルボの段階的なIVIテストでは、汎用ハーネスはカスタム製のハーネスに適合するが、ラン毎に異なる。
彼らのタスク毎の推論コストは2.6-10.7倍だが、彼らが節約するエンジニアリングの労力は、より多い: 夜間IVIレグレッションスイートでは、エンジニアリングの労力と推論を含む月総コストは3-66%低い。
オープンエンドの公開アプリタスクでは、主に誤ったアクションから回復するため、より頻繁に成功します。
インタビューは、外部の進歩により、社内のハーネスが劣化することなく技術的負債になる可能性があることを示唆している。
汎用ハーネスの採用は、メンテナンスをエージェントループからツールやインストラクションにシフトさせるが、モデルが受け取るものに対するコントロールが軽減される。
ハーネスに関係なく、テスタはエージェントのアクションを検査し、所定のテストシナリオに従うことを保証したい。
関連論文リスト
- When Code Gets Cheap, Evaluation Gets Scarce: An Experience Report on AI-Assisted Agile Software Engineering [1.0297574788321668]
本報告では, コンプライアンスクリティカルなヒューマン・イン・ザ・ループ試験評価システムのエンドツーエンド構築と展開について報告する。
このシステムは、1人の開発者が手書きのコードを書かず、利害関係者のペルソナから監査された行動まで、強制的なプロセスによって保護されている。
AIは、不足しているものを変更することよりも、プログラミングを速くすることで、ソフトウェアエンジニアリングを変える。
論文 参考訳（メタデータ） (2026-10-22T08:35:55Z) - JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs [67.3059941230326]
大規模言語モデル(LLM)エージェントは、ソフトウェアを修正し、コンピュータを操作し、顧客にサービスを提供するが、そのハーネス、そしてそれらを実行するプログラムは、すべてのステップで大きなLLMを呼び出す。
ハーネスがこれらの決定を、ほとんど成功しない決定モデルに委譲する方法を問う。
AgentDecisionBenchは独立した質問から決定モデルをテストし、公開ベンチマークとDecisionGym環境上で実行中のエージェントを制御する。
次に、JevAgentHarnessを設計します。これは、エージェント自身の軌道上の各選択のしきい値に適合し、LLMがその下にあることを判断します。
論文 参考訳（メタデータ） (2026-10-15T07:27:08Z) - Doc2Harness: Benchmarking LLMs on Long-Horizon Harness Engineering of Coding Agents [76.27019209070825]
既存のベンチマークは、固定ハーネスの下で下流タスクの成功を測定し、ハーネスエンジニアリング自体が未調査のままである。
長距離ハーネス工学を直接評価する2段階ベンチマークであるDoc2Harnessを提案する。
19のフロンティアモデルでそれぞれ328のテストケースで3つの独立したビルドで評価され、GPT-6 Astraは53.05%、最も弱いモデルでは27.44%に達した。
論文 参考訳（メタデータ） (2026-10-14T15:24:39Z) - HarnessDev: Can LLMs Create and Evolve Their Own Agent Harness? [61.02699867449589]
評価単位をタスク出力から実行インフラストラクチャにシフトするベンチマークであるHarnessDevを紹介します。
Creationでは、エージェントは最小限のシードと少数のケースから始まり、完全な実行システムを構築する。
Evolutionでは、独自のハーネスから始まり、ベンチマークのパフォーマンス向上を目標として、下流の実行フィードバックを使用して反復的に修正する。
論文 参考訳（メタデータ） (2026-09-01T15:45:33Z) - ToFu: A White-Box, Token-Efficient Agent Harness for Researchers [73.72929185946842]
ToFuは、ファイルを読み、ファイルを編集し、コマンドを実行し、開発ツールと統合する研究者のためのエージェントハーネスだ。
研究助手として、より優れたトークン効率、低コスト、多言語能力で実践的な研究を支援する。
研究対象として、ToFuはホワイトボックスのエージェントハーネスを提供しており、研究者はオーケストレーションロジック、ツール使用の振る舞い、デザインを検査、修正、評価することができる。
論文 参考訳（メタデータ） (2026-07-13T11:26:06Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - The Scaffold Effect in Coding Agents: Harness Choice as a Hidden Variable in Coding-Agent Evaluation [0.0]
Qwen 3.6 PlusとMiniMax M2.5を3つのオープンソースハーネスで評価した。
ハーネスの選択は、解決されたタスク毎のトークンの最大40倍の違いを誘導する。
トークン/レイテンシー予算の下で、パスレートでハーネスモデルペアを選択することを推奨する。
論文 参考訳（メタデータ） (2026-06-08T20:27:06Z) - Meta-Harness: End-to-End Optimization of Model Harnesses [52.31507076660471]
本稿では,大規模言語モデル(LLM)アプリケーションのためのコード検索を行う外部ループシステムであるMeta-Harnessを紹介する。
オンラインテキスト分類では、Meta-Harnessは4倍少ないコンテキストトークンを使用しながら、最先端のコンテキスト管理システムを7.7ポイント改善する。
検索強化数学推論では、200 IMOレベルの問題の精度を5つの保留モデルの平均4.7ポイント向上する。
論文 参考訳（メタデータ） (2026-03-30T05:33:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。