論文の概要: REPORT-OPS: Hybrid Evidence-Guided Reporting with Human-Supervised Refinement for HPC

• arxiv url: http://arxiv.org/abs/2610.19222v1
• Date: Tue, 13 Oct 2026 21:40:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.817157
• Title: REPORT-OPS: Hybrid Evidence-Guided Reporting with Human-Supervised Refinement for HPC
• Title（参考訳）: 報告-OPS:HPC用Human-Supervised Refinementを用いたハイブリッドエビデンスガイドレポート
• Abstract要約: Report-OPSは、要求を解釈し、証拠収集を計画し、可能な説明とドラフトレポートを評価するハイブリッドレポートエージェントである。 凍結HPC運用コーパスにおいて,50のシナリオから構築した68のサニタイズドレポーティングクエリに対するCASE-OPSの評価を行った。
• 参考スコア（独自算出の注目度）: 0.2799896314754614
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Operational reporting for high-performance computing (HPC) facilities requires combining information from monitoring services, schedulers, incident and maintenance records, storage measurements, periodic reports, and operator investigations. Producing a reliable report requires more than retrieving relevant records: the evidence must refer to the correct system, metric definition, time period, and source of authority. We present REPORT-OPS, a hybrid reporting agent in which an LLM interprets requests, plans evidence collection, evaluates possible explanations, and drafts reports, while author-seeded operational policies and automated checks determine whether the available evidence supports the requested conclusion. Depending on the evidence state, the system answers the request, reports a qualified conclusion, or withholds an unsupported claim. During offline refinement, an LLM critic proposes bounded policy changes that a human approves or rejects without editing; accepted candidates are promoted only after automated target, held-out, and regression testing. We evaluate REPORT-OPS on 68 sanitized reporting queries constructed from 50 base scenarios in a frozen HPC operational corpus, using three agent models and two LLM judges. REPORT-OPS achieves 68.63% Pass@80, compared with 7.02% for the strongest retrieval baseline. Evidence gating increases claim-support precision from 40.58% to 90.06%. On the 13-query explanatory subset, explanation accuracy reaches 55.54%. Across five rounds of human-supervised refinement, localized policy updates correct 91.17% of targeted failures and improve performance on related held-out cases by 9.33 percentage points, with no observed regression breaks under release gating. These results demonstrate improved evidence-grounded reporting and within-environment policy reuse; they do not establish unrestricted causal discovery or cross-facility generalization.
• Abstract（参考訳）: ハイパフォーマンスコンピューティング(HPC)施設の運用報告には、監視サービス、スケジューラ、インシデントおよびメンテナンス記録、ストレージ計測、定期的なレポート、およびオペレーターの調査の情報を組み合わせる必要がある。 信頼できるレポートを作成するには、関連する記録を取得する以上のことが必要であり、証拠は正しいシステム、メートル法の定義、期間、権威の源を参照しなければならない。 本稿では, LLM が要求を解釈し, 証拠収集を計画し, 可能な説明, ドラフトの報告を行うハイブリッド報告エージェントである Report-OPS について述べる。 証拠の状況に応じて、システムは要求に答えたり、適格な結論を報告したり、支持された主張を無視する。 オフラインのリファインメントの間、LCM批評家は、人間が編集せずに承認または拒否する制限付きポリシーの変更を提案し、承認された候補は自動的なターゲット、ホールドアウト、回帰テストの後にのみ昇進する。 凍結したHPC運用コーパスにおける50のシナリオから構築した68件の衛生報告クエリに対して,3つのエージェントモデルと2つのLCM判断器を用いて,CASE-OPSを評価した。 Report-OPSは68.63%のPass@80を達成するが、最強の検索ベースラインは7.02%である。 エビデンスゲーティングはクレーム支持精度を40.58%から90.06%に向上させる。 13クエリの説明サブセットでは、説明精度は55.54%に達する。 人事監督による5回にわたる改良、局部的な政策更新により、目標とする障害の91.17%が修正され、関連するホールトアウト事件のパフォーマンスが9.33ポイント向上した。 これらの結果から,エビデンス・グラウンドの報告と環境内政策の再利用が向上し,非制限因果発見やクロスファクティリティの一般化が確立されなかった。

関連論文リスト

• What Coding Agents Leave Unsaid: Measuring Task-State Gaps Between Execution and Reports [10.234017163579312]
  我々は,エージェントが蓄積したユーザ対応レポートと,その全記録された実行状況との間のタスク状態回復可能性のギャップを定量化する。 エージェントは要求に対するタスクステートの質問の93.6%に答え、フルコンテキストの読者は92.7%を回復し、レポートのみの読者は52.0%を回復し、40.7ポイントのギャップがある。 CTXGAPは、補完的な評価次元としてレポートベースのタスク状態回復性を確立する。
  論文  参考訳（メタデータ） (2026-10-14T11:20:15Z)
• VeriHarness: Scaling Agentic Verification for Long-Horizon Tasks [56.74345405508208]
  LLMエージェントはますます複雑で長期のタスクをこなし、そのアウトプットを検証することがますます困難になっている。 本研究では, 基準応答へのアクセスや試験時の潤滑油の分解を行わずに, 固定ベースモデルで検証能力を強化する方法について検討する。 コンセンサスによってエラーを隠蔽できる一方で、不一致はしばしば正しい代替手段を公開することに気付きました。 これらの観察はVeriHarnessを動機付け、ジェネレータが使用する基礎となるLLMを、ワークスペース、エビデンスツール、再利用可能な検証スキルを与えることによって、エージェント検証器に変える。
  論文  参考訳（メタデータ） (2026-10-01T03:02:17Z)
• APTInvestBench: Evaluating Autonomous APT Investigation under Varying Telemetry [13.609670317095196]
  大規模言語モデル(LLM)エージェントは、セキュリティオペレーションセンター(SOC)が高度な永続的脅威(APT)を調べるのに役立つ。 しかし、1つのテレメトリ設定での成功は、ログ収集、保持、サンプリングの変更に対する堅牢性を確立しない。 APTInvestBenchは、自律型APT調査におけるクロステレメトリの堅牢性を評価するためのベンチマークである。
  論文  参考訳（メタデータ） (2026-09-30T04:21:45Z)
• Auditing Agent Actions through Query-Conditioned Attribution [7.93056778736348]
  既存の属性の定式化は、多様な監査対象に対して疑問特異的なトレースを提供しない。 我々は、自然言語監査クエリを入力とする新しいタスクである、クエリ条件付きエージェントアクション属性を定式化する。 提案手法は,オープンウェイトベースラインよりも推論コストの低いソースとエビデンスを一貫して達成する。
  論文  参考訳（メタデータ） (2026-09-27T15:37:05Z)
• A-SR: Self-Evolving Agentic LLMs for Symbolic Regression via Hierarchical Coordination [51.06539604709775]
  本稿では、制御ユニットを表現編集からロール条件のエビデンスビューへシフトさせる自己進化型エージェントフレームワークであるA-SRを提案する。 A-SRは、コーディネートプロトコル、オンライン評価器・リワードロールポリシー、および状態制御プロセスメモリ間のルーティングによる公式発見をコーディネートする。
  論文  参考訳（メタデータ） (2026-08-05T14:01:10Z)
• A corrective agentic hybrid RAG and an operations-grounded evaluation for a scientific facility [0.0]
  APS-RAG(Advanced Photon Source Retrieval Augmented Generation)を提案する。 検索エンジンは、密度、スパース、知識グラフチャネルをクエリ型適応逆数融合で融合する。 APS-Benchは50問の質問応答(QA)データセットで、監査可能な金の回答を提供する。
  論文  参考訳（メタデータ） (2026-07-27T17:01:30Z)
• Do Agent Benchmarks Measure Capability? Protocol Validity in the Age of Agentic AI [6.058290832294911]
  エージェントベンチマークは、リポジトリの編集、Web研究、端末の使用、長期のインタラクションをますます評価している。 最近の報奨ベンチマークとシステムレポートは、エージェントが代わりに公開ソリューションを回復し、評価成果物を読み、ジェネレータ構造を推論し、フィードバックを操作し、不正なスコアリングパスの恩恵を受けることができることを示している。 我々は、プロトコルの有効性を定式化し、露出を特定し、エージェントがどのように使用したかを決定し、その結果のスコアが誤解を招くかどうかを評価するポストホック監査であるHackDetectを導入する。
  論文  参考訳（メタデータ） (2026-07-24T14:55:19Z)
• ACCORD: Action-Conditioned Contextual Grounding for Language Agents [69.73525608707764]
  ACCORD(Action-Conditioned Contextual Grounding)は、適応的なグラウンドのためのエージェントフレームワークである。 現状のエージェントは、しばしばそうすることができないことを示す。それらは、観察された特定の情報よりもむしろ仮定から行動し、収集した可能性のある情報を見落とし、既に返された証拠を組み込むことに失敗する。
  論文  参考訳（メタデータ） (2026-06-15T09:05:55Z)
• Time to REFLECT: Can We Trust LLM Judges for Evidence-based Research Agents? [61.49434544687523]
  本稿では,エージェント環境におけるきめ細かい故障検出を目的としたメタ評価ベンチマークREFLECTを紹介する。 REFLECTはプロセスレベルの障害モードと結果レベルの障害モードの詳細な分類を定義し、制御および局所的な介入を実行することでインスタンス化する。 私たちの実験では、最高のパフォーマンスモデルでさえ、推論、ツール使用、レポート品質の失敗に対して、全体的なアキュラシーを55%以下に達成しています。
  論文  参考訳（メタデータ） (2026-05-18T23:55:08Z)
• Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
  ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。 我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。 データセットの精度は6%向上した。
  論文  参考訳（メタデータ） (2024-10-07T00:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。