論文の概要: Free to Look, Free to Reason: Simple LLM Harnesses Outdiagnose Hand-Crafted Root Cause Analysis Agents

• arxiv url: http://arxiv.org/abs/2610.35767v1
• Date: Mon, 26 Oct 2026 17:12:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:14.125819
• Title: Free to Look, Free to Reason: Simple LLM Harnesses Outdiagnose Hand-Crafted Root Cause Analysis Agents
• Title（参考訳）: フリー、フリー、フリー、フリー、フリー:手作り根起因分析剤を外見するシンプルなLCM
• Abstract要約: 5つのLCM RCAエージェントとRCAtlasの統計的・因果的手法を比較した。 単純なハーネスは最も正確(PR@1 65-77%、中級3モデル)で、発行されたエージェント(16-53%)とLLM以外のメソッド(6-39%)に先行している。
• 参考スコア（独自算出の注目度）: 9.416843316541717
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Root cause analysis (RCA) of microservice failures has attracted many LLM agents whose investigation is hand-crafted, through standard operating procedures, fixed stages and role agents. Each is evaluated on its own data against few baselines, so it is unknown whether this design beats letting a capable model investigate on its own. We compare three simple harnesses that prescribe none of the model's calls (one call over an evidence package, a SQL agent and the Codex coding agent) with five published LLM RCA agents and with statistical and causal methods on RCAtlas, 90 validated cases from eight public datasets, across six models and three reasoning efforts. The simple harnesses are the most accurate (PR@1 65-77% on three mid-tier models), ahead of the published agents (16-53%) and the non-LLM methods (6-39%), on every model on which both families were run. The published agents fix from a tenth to all of their model calls in the program, and a case study shows how these prescriptions skip the decisive evidence. A stronger model mainly improves reliability, a multi-turn harness mainly improves aptitude, and more reasoning effort changes accuracy by a few points at most while multiplying the time by up to seven. Among runs more accurate than the best non-LLM method, every Pareto-optimal run in cost or time uses a simple harness.
• Abstract（参考訳）: マイクロサービス障害の根本原因分析(RCA)は、標準的な操作手順、固定ステージ、ロールエージェントを通じて手作業による調査を行う多くのLLMエージェントを惹きつけている。 それぞれが少数のベースラインに対して独自のデータで評価されているため、この設計が有能なモデルに独自の調査をさせるかどうかは不明だ。 モデルの呼び出しを規定しない3つの単純なハーネス(エビデンスパッケージ、SQLエージェント、Codexコーディングエージェントを1つ呼び出す)と5つのLPM RCAエージェント、RCAtlasの統計学的および因果的手法、8つのパブリックデータセットから90の検証済みケース、6つのモデル、そして3つの理由づけの取り組みを比較した。 単純なハーネスは最も正確(PR@1 65-77%、中級3モデル)で、発行されたエージェント(16-53%)とLLM以外のメソッド(6-39%)に先行している。 発行されたエージェントはプログラム内のモデルコールの10分の1からすべての呼び出しに固定され、ケーススタディではこれらの処方薬が決定的な証拠をスキップする方法を示している。 より強力なモデルでは信頼性が向上し、マルチターンハーネスは主に適度が向上し、推論の労力は最大で数ポイント精度が向上し、時間を最大7倍に増やすことができる。 最高の非LLMメソッドよりも正確な実行では、コストや時間のPareto-Optimalの実行はすべて、単純なハーネスを使用する。

関連論文リスト

• Trial by Trace: Benchmarking AI Agent Harnesses for Reliability and Failure Attribution [12.689002752389735]
  TraceTrial-Benchは、信頼性をコンテキスト、実行、ガバナンス、ライフサイクル、可観測性、ツール、検証の7つのコンポーネントにまとめます。 95のエキスパートレベル、メカニズム指向タスクを実行可能あるいは状態ベースで構築し、意味論的に等価な比較をサポートする。 4つのハーネス、9つのモデル、95のタスクにまたがって、3,420回のランニングでは、59.8%から72.0%までのマクロ平均ハーネススコアが得られ、31.1%のランニングは少なくとも1つのハーネス基準を満たさずにタスク成功を達成している。
  論文  参考訳（メタデータ） (2026-10-23T07:43:26Z)
• Grow the Harness, Not the Context: From Strategy-Free Scaffolds to Reusable Specialist Agents [40.22528682803753]
  大きな言語モデル(LLM)エージェントは、しばしば関連するタスクのストリームを処理するが、標準的なハーネスは、各タスクのコンテキスト内で同じ制御決定を再構築するようモデルに繰り返し要求する。 タスク固有のセマンティック推論のためのLCMコールを保存しながら、繰り返し制御を再利用可能なコードに変換することができるかどうかを検討する。 我々は,障害誘導型トレーニングパラダイムであるGrowing Harnessを紹介し,エージェント自身を戦略のない足場から学習する。
  論文  参考訳（メタデータ） (2026-09-22T17:40:45Z)
• Self-Harness: Harnesses That Improve Themselves [30.839060071524433]
  Self-Harnessは、LLMベースのエージェントが、人間のエンジニアや強力な外部エージェントに頼ることなく、自身の運用ハーネスを改善する新しいパラダイムである。 我々は,最小限の初期ハーネスと多様な家系の3つの基本モデルを用いて,ターミナルベンチ2.0上の自己調和をインスタンス化する。
  論文  参考訳（メタデータ） (2026-06-08T13:50:23Z)
• MentorCollab: Selective Large-to-Small Inference-Time Guidance for Efficient Reasoning [85.05204262206296]
  大きな推論モデル(LRM)は、長い思考の連鎖を生成することによって、強い性能を達成するが、その推論コストは高い。 小型言語モデル(SLM)はより効率的であるが、多段階推論タスクでは困難である。 本研究では, LRM が SLM を選択的かつ簡潔にガイドする推論時協調手法である MentorCollab を提案する。
  論文  参考訳（メタデータ） (2026-02-05T04:58:16Z)
• Verifying Large Language Models' Reasoning Paths via Correlation Matrix Rank [71.09032766271493]
  大規模言語モデル (LLM) は誤りや幻覚を引き起こす傾向がある。 アウトプットを効果的かつ効率的にチェックする方法は、アプリケーションにとって重要な問題となっている。
  論文  参考訳（メタデータ） (2025-10-28T11:01:10Z)
• Error Typing for Smarter Rewards: Improving Process Reward Models with Error-Aware Hierarchical Supervision [20.09181711927194]
  PathFinder-PRMは,新しい階層型,誤り認識型識別型PRMである。 PRMBenchでは、PathFinder-PRMが67.7の最先端PRMSコアを新たに達成し、3倍の少ないデータを使用しながら、以前の最高値(65.5)を上回った。
  論文  参考訳（メタデータ） (2025-05-26T08:56:36Z)
• MALT: Improving Reasoning with Multi-Agent LLM Training [67.76186488361685]
  MALT(Multi-Agent LLM Training)は、推論プロセスを生成、検証、改善ステップに分割する、新しいポストトレーニング戦略である。 MATH、GSM8K、CSQAでは、MALTは、それぞれ15.66%、7.42%、9.40%の相対的な改善で同じベースラインLLMを上回っている。
  論文  参考訳（メタデータ） (2024-12-02T19:30:36Z)
• Language Models are Hidden Reasoners: Unlocking Latent Reasoning Capabilities via Self-Rewarding [74.31981011985681]
  大きな言語モデル(LLM)は印象的な機能を示しているが、それでも複数のステップを必要とする複雑な推論タスクに苦戦している。 LaTRO(LaTent Reasoning Optimization)は、潜在分布からのサンプリングとして推論を定式化するためのフレームワークである。 複数のモデルアーキテクチャを用いて、GSM8KおよびARC-Challengeデータセットの実験を通してLaTROを検証する。
  論文  参考訳（メタデータ） (2024-11-06T22:02:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。