論文の概要: Harness Engineering for Predictable Agentic Systems: An Empirical Study of Deterministic Execution Constraints

• arxiv url: http://arxiv.org/abs/2608.26197v1
• Date: Tue, 25 Aug 2026 07:46:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.11853
• Title: Harness Engineering for Predictable Agentic Systems: An Empirical Study of Deterministic Execution Constraints
• Title（参考訳）: 予測可能なエージェントシステムのハーネスエンジニアリング:決定論的実行制約の実証的研究
• Abstract要約: LLM(Large Language Model)ベースのエージェントは、同一のタスクやツールが与えられたとしても、実行時から実行時までのかなりのばらつきを示す。 エージェントを決定論的実行層にラップする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Model (LLM) based agents exhibit substantial run-to-run execution variance even when given identical tasks and tools -- acceptable for exploratory use but unacceptable in regulated domains such as finance and compliance. We study harness engineering: wrapping an agent in a deterministic execution layer (finite-state control, forced tool selection, output validation, bounded retry, and structured planning) and measuring its effect on execution determinism and task success. Across two synthetic tasks (finance and legal) and two open-weight models (Qwen-2.5-7B-Instruct, Gemma-3-27B), a first-pass harness produces a mixed result: it significantly improves reproducibility in one of four model-task cells, significantly degrades it in two, and has no effect in the fourth. A trace-level diagnostic finds the cause: once tool sequence, state sequence, and output are already highly consistent, an unconstrained free-text planning step becomes the dominant remaining source of variance. Adding Structured Planning -- validating the plan against a fixed schema before any tool is invoked -- eliminates the effect entirely: three of four cells reach a Reproducibility Rate and Determinism Index of 1.000 at N=100, and task success rises to 100% in three of four cells. The gain is not free: token cost falls in every cell, but latency shows a genuine, sample-size-robust split by model -- one becomes faster under the constraint, the other markedly slower. We argue harness engineering is a distinct, effective discipline for agent reliability, but its cost is model-dependent and must be measured, not assumed.
• Abstract（参考訳）: 大規模言語モデル(LLM)ベースのエージェントは、同じタスクやツールが与えられたとしても、実行時から実行時までのかなりのばらつきを示す。 エージェントを決定論的実行層(有限状態制御、強制ツール選択、出力検証、有界再試行、構造化計画)にラップし、実行決定性およびタスク成功への影響を測定する。 2つの合成タスク(ファイナンスと合法)と2つのオープンウェイトモデル(Qwen-2.5-7B-Instruct, Gemma-3-27B)にまたがって、第1パスハーネスは、4つのモデルタスクセルのうちの1つの再現性を著しく改善し、2つのモデルタスクセルを著しく劣化させ、第4パスでは効果がない。 ツールシーケンス、状態シーケンス、出力がすでに高度に一貫性を持っていれば、制約のない自由テキストプランニングステップが分散の主流となる。 構造化計画(Structured Planning)を追加する -- ツールが呼び出される前に固定スキーマに対して計画を検証する -- は、完全に効果を排除している。4つのセルのうち3つは、N=100で1.000の再現率と決定性指数に達し、4つのセルのうち3つでタスク成功が100%上昇する。 トークンのコストはすべてのセルで低下するが、レイテンシーは真に、サンプルサイズのロバストな分割をモデルによって示している。 我々は、ハーネスエンジニアリングはエージェントの信頼性を区別し、効果的な規律であると主張しているが、そのコストはモデルに依存しており、見積もってはならない。

関連論文リスト

• Adaptive Sequential Test Planning for Multi-Mechanism Reliability Qualification via Bayesian Monte Carlo Tree Search [0.0]
  本稿では,信頼度を部分的に観測可能な逐次決定問題として定式化するクローズドループ適応型テスト計画フレームワークを提案する。 これは、木探索に基づく適応テスト計画の新しい適用方法として、マルチメカニズムの信頼性向上に有効であると考えている。
  論文  参考訳（メタデータ） (2026-08-10T14:04:22Z)
• TTHE: Test-Time Harness Evolution [50.26245555541721]
  既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。 我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。 評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。 その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
  論文  参考訳（メタデータ） (2026-07-09T05:53:39Z)
• PolicyTrim: Boosting Intrinsic Policy Efficiency of Vision-Language-Action Models [50.232333672172395]
  VLA(Vision-Language-Action)モデルは、ロボット操作の統一パラダイムを提供するが、実際のデプロイメントは実行効率によってボトルネックになることが多い。 強化学習に基づくポストトレーニングフレームワークである textbfPolicyTrim を提案する。 私たちのフレームワークは、タスクの成功率を損なうことなく、最大5.83$times$エンドツーエンドのデプロイメントスピードアップを提供します。
  論文  参考訳（メタデータ） (2026-06-21T14:54:07Z)
• Synthetic Tabular Generators Fail to Preserve Behavioral Fraud Patterns: A Benchmark on Temporal, Velocity, and Multi-Account Signals [0.0]
  本研究では,4つの行動不正パターン(P1-P4)の分類法を定式化し,事象間タイミング,バースト構造,マルチアカウントグラフモチーフ,速度ルールトリガ率について検討した。 我々は、IEEE-CIS Fraud DetectionとAmazon FraudデータセットでCTGAN、TVAE、GaussianCopula、TabularARGNをベンチマークした。 P1-P4フレームワークは、医療やネットワークセキュリティを含む、エンティティレベルのシーケンシャルデータを持つ任意のドメインに拡張する。
  論文  参考訳（メタデータ） (2026-04-13T19:36:00Z)
• AnomalyAgent: Agentic Industrial Anomaly Synthesis via Tool-Augmented Reinforcement Learning [7.129476412364631]
  本稿では,自己回帰,知識検索,反復的精錬機能を備えた異常合成エージェントであるAnomalyAgentを提案する。 具体的には、AnomalyAgentは、プロンプト生成(PG)、画像生成(IG)、品質評価(QE)、知識検索(KR)、マスク生成(MG)の5つのツールを備えている。 MVTec-ADデータセットでは、AnomalyAgent合成は、異常生成のための2.0.33のIS/IC-L、ResNet34を用いた57.0%の分類精度、単純なUNetを使用して画像/ピクセルレベルで99.3%/74.2%のAPを達成する。
  論文  参考訳（メタデータ） (2026-04-09T07:17:00Z)
• World Action Verifier: Self-Improving World Models via Forward-Inverse Asymmetry [82.93104394404781]
  汎用世界モデルは、スケーラブルなポリシー評価、最適化、計画を約束します。 本稿では,世界モデルによる予測誤りと自己改善を識別するフレームワークであるWorld Action Verifier(WAV)を提案する。
  論文  参考訳（メタデータ） (2026-04-02T12:48:36Z)
• MagicAgent: Towards Generalized Agent Planning [73.21129030631421]
  汎用エージェント計画に特化して設計された基盤モデルである textbfMagicAgent について述べる。 多様な計画タスクにまたがる高品質なトラジェクトリを生成する軽量でスケーラブルな合成データフレームワークを提案する。 MagicAgent-32B と MagicAgent-30B-A3B は様々なオープンソースベンチマークにおいて優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2026-02-22T01:39:16Z)
• $χ_{0}$: Resource-Aware Robust Manipulation via Taming Distributional Inconsistencies [40.920885088894174]
  両腕ロボットの2つのセットは、平ら化、折りたたみ、さまざまな服の吊り下げなど、衣服の操作をオーケストレーションします。 $_0$は、ロボット操作のプロダクションレベルの堅牢性を達成するために、効率的なモジュールが指定された、リソース効率のよいフレームワークである。 実験によると、$_0$は、20時間データと8 A100 GPUだけで、最先端の$_0.5$を成功率で250%近く上回っている。
  論文  参考訳（メタデータ） (2026-02-09T18:59:45Z)
• daVinci-Agency: Unlocking Long-Horizon Agency Data-Efficiently [35.39097522391409]
  大規模言語モデル(LLM)は短期的なタスクで優れており、それらを長期のエージェント合成に拡張することは依然として困難である。 本稿では,PRチェーンから構造化監視を体系的にマイニングするdaVinci-Agencyを提案する。 DaVinci-AgencyのPR基底構造は、本質的には、永続的なゴールサイクルの振る舞いを教えるのに不可欠な因果依存性と反復的な洗練を保っている。
  論文  参考訳（メタデータ） (2026-02-02T13:23:39Z)
• Towards a Science of Scaling Agent Systems [79.64446272302287]
  エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。 協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。 ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
  論文  参考訳（メタデータ） (2025-12-09T06:52:21Z)
• Abduct, Act, Predict: Scaffolding Causal Inference for Automated Failure Attribution in Multi-Agent Systems [20.846301581161978]
  マルチエージェントシステムにおける障害帰属は、批判的だが未解決の課題である。 現在の手法では、これを長い会話ログ上のパターン認識タスクとして扱う。 A2P Scaffoldingは、パターン認識から構造化因果推論タスクへの障害帰属を変換する。
  論文  参考訳（メタデータ） (2025-09-12T16:51:15Z)
• Predicting Emergent Abilities with Infinite Resolution Evaluation [85.89911520190711]
  本稿では,デコードフェーズにおける大規模なサンプリングを通じて,理論的に無限の分解能を持つ評価戦略であるPassUntilを紹介する。 トレーニング開始前に0.05%の偏差でコード生成における2.4Bモデルの性能を予測する。 スケーリング曲線が標準スケーリング法則関数に適合できないような,高速化された出現の種を同定する。
  論文  参考訳（メタデータ） (2023-10-05T02:35:00Z)
• Tracking the risk of a deployed model and detecting harmful distribution shifts [105.27463615756733]
  実際には、デプロイされたモデルのパフォーマンスが大幅に低下しないという、良心的なシフトを無視することは理にかなっている。 我々は,警告を発射する有効な方法は,(a)良性な警告を無視しながら有害なシフトを検知し,(b)誤報率を増大させることなく,モデル性能の連続的なモニタリングを可能にすることを論じる。
  論文  参考訳（メタデータ） (2021-10-12T17:21:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。