論文の概要: AskALCF: A Self-Improving Agentic System for Intelligent HPC User Support
- arxiv url: http://arxiv.org/abs/2611.15700v1
- Date: Wed, 11 Nov 2026 16:38:54 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.197578
- Title: AskALCF: A Self-Improving Agentic System for Intelligent HPC User Support
- Title(参考訳): AskALCF: インテリジェントHPCユーザサポートのための自己改善エージェントシステム
- Abstract要約: 本稿では,HPCユーザサポートのためのエージェントログ分析および改善パイプラインであるAskALCFを提案する。
その診断コアは、回答品質評価と2スコープの充足テストを組み合わせている。
2,174回にわたってAskALCFは41.4%から14.2%に減らした。
- 参考スコア(独自算出の注目度): 10.85882630779485
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: AI-based question-answering systems are increasingly used for user support, including at high-performance computing (HPC) facilities. However, existing systems lack a systematic, deployment-oriented approach for evaluating final-answer quality and attributing failures to specific components. They also remain largely static after deployment, apart from periodic knowledge-base updates. We present AskALCF, an agentic log-analysis and improvement pipeline for HPC user support. AskALCF evaluates production interactions at a fine-grained level, identifies whether failures arise from missing knowledge, retrieval, prompting, model behavior, or tool execution, and routes each failure to an actionable repair. Its diagnostic core combines answer-quality assessment with a two-scope sufficiency test that distinguishes information missing from the documentation corpus from information present but not retrieved. We further introduce a controlled harness-training process that uses expert references, null edits, and explicit ship, revert, or decline decisions to improve the diagnostic pipeline reliably. Across 2,174 support turns, AskALCF reduced unattributable failures from 41.4% to 14.2%, while harness training improved expert agreement from 108/150 to 123/150 turns. These results demonstrate a governed form of self-evolution in which production evidence drives targeted system improvements. By turning production interactions into fine-grained diagnoses and actionable repairs, AskALCF provides a systematic foundation for continuously improving deployed AI support systems beyond knowledge-base updates alone.
- Abstract(参考訳): AIベースの質問応答システムは、ハイパフォーマンスコンピューティング(HPC)機能など、ユーザサポートにますます利用されている。
しかしながら、既存システムには、最終回答の品質を評価し、特定のコンポーネントに障害をもたらすような、システマティックでデプロイメント指向のアプローチが欠如している。
定期的な知識ベースの更新とは別に、デプロイ後も大部分が静的である。
本稿では,HPCユーザサポートのためのエージェントログ分析および改善パイプラインであるAskALCFを提案する。
AskALCFは、運用レベルのインタラクションを評価し、不足した知識、検索、プロンプト、モデル動作、あるいはツール実行から障害が発生するかどうかを特定し、各障害を実行可能な修復にルーティングする。
その診断コアは、回答品質評価と2スコープの十分性テストを組み合わせることで、文書コーパスから欠落した情報を、現在存在するが回収されていない情報と区別する。
さらに、専門家の参照、ヌル編集、明示的な出荷、逆転、または減少の決定を使って診断パイプラインを確実に改善する制御されたハーネストレーニングプロセスを導入します。
2,174回のサポートターンで、AskALCFは41.4%から14.2%に減らし、ハーネストレーニングは108/150から123/150に改善した。
これらの結果は、生産証拠がシステム改善を目標とする自己進化の統制形態を示すものである。
AskALCFは、プロダクションインタラクションをきめ細かな診断と実行可能な修復に変換することによって、知識ベースの更新だけでなく、デプロイされたAIサポートシステムを継続的に改善するための体系的な基盤を提供する。
関連論文リスト
- CARE: Grounded Recursive Self-Improvement for Production Customer-Service Agents [50.79568861593788]
CARE(Customer-service Agent Retrospective and Evolve)は、顧客サービスでこのプロセスを運用する基盤となるRSIフレームワークである。
その目標は、フロンティアのプロプライエタリな既存企業を、デプロイ後も学び続ける、社内のミドルサイズのモデルに置き換えることだ。
論文 参考訳(メタデータ) (2026-11-02T09:39:52Z) - Learning Calibrated Confidence for Multi-Agent Collaboration [62.653645806120274]
Webで検索する複雑な情報は、複数のドキュメントから証拠を集め、それらをまたがる推論を必要とすることが多い。
ほとんどのマルチエージェントシステムは、定量的な信号を提供しておらず、ダウンストリームエージェントは、受信した情報を信頼するか、検証するかを判断する。
各エージェントは、強化学習におけるタスク性能と信頼性校正を協調的に最適化することにより、その回答に対する正当性確率を生成することを学習する。
論文 参考訳(メタデータ) (2026-10-29T12:30:00Z) - Diviner: Agentic RCA with Human-Governed Adaptation for Large-Scale Infrastructure [8.38237067986868]
大規模分散システムにおける根本原因分析(RCA)は、単一の症状がサービス、データ、構成、計算、組織の境界をまたぐことができるため、難しい。
本稿では,Metaで運用されているエージェントRCAシステムであるDivinerについて紹介する。
論文 参考訳(メタデータ) (2026-10-15T05:20:23Z) - BRIDGE: Selective Boundary Repair with Dependency Graph Evidence in Multi-Agent Systems [59.26551527044981]
methodは、ハンドオフ修復を明示的な依存性の摂動に対する選択的介入として扱うランタイム制御フレームワークである。
SILO-BENCHでは12.3パーセンテージ、TeamBenchでは11.1ポイントまでタスクの成功を加速させる。
論文 参考訳(メタデータ) (2026-10-13T06:31:57Z) - Debugging the Debuggers: Failure-Anchored Structured Recovery for Software Engineering Agents [26.16025682022058]
PROBEは、ソフトウェアエンジニアリングエージェントの構造化リカバリのための、障害対応フレームワークである。
PROBEは、リポジトリレベルのソフトウェア修復、エンタープライズワークフローのリカバリ、AIOpsサービス緩和の3つの設定で評価します。
論文 参考訳(メタデータ) (2026-05-09T06:02:08Z) - VIGIL: Towards Edge-Extended Agentic AI for Enterprise IT Support [7.77807923684412]
VIGILはエッジ拡張型エージェントAIシステムで、デスクトップ常駐エージェントを配置して、位置診断、企業知識の検索、およびポリシーを優先した修復を、明示的な同意とエンドツーエンドの可観測性を持って、ユーザデバイス上で直接行う。
VIGILの100のリソース制約されたエンドポイント上での運用ループを10週間のパイロットテストで、VIGILはインタラクションラウンドを39%削減し、少なくとも4倍高速な診断を実現し、マッチしたケースの82%でセルフサービス解決をサポートする。
利用者は、4つの検証済み機器にまたがる優れたユーザビリティ、高い信頼、低認知負荷を報告し、質的なフィードバックは透明性を強調している。
論文 参考訳(メタデータ) (2026-03-17T04:24:19Z) - Automated Self-Testing as a Quality Gate: Evidence-Driven Release Management for LLM Applications [51.56484100374058]
我々は,エビデンスに基づくリリース決定を伴う品質ゲートを導入する自動自己テストフレームワークを提案する。
内部展開型多エージェント対話型AIシステムの縦型ケーススタディにより,本フレームワークの評価を行った。
論文 参考訳(メタデータ) (2026-03-13T20:44:15Z) - Reinforcement Learning Integrated Agentic RAG for Software Test Cases Authoring [0.0]
本稿では,品質工学(QE)における業務要件文書から作成するソフトウェアテストケースの自動処理の継続的改善を実現するために,強化学習(RL)を自律エージェントと統合するフレームワークを提案する。
提案するReinforcement Infused Agentic RAG(Retrieve, Augment, Generate)フレームワークは,QEフィードバックや評価,欠陥発見結果から学習するAIエージェントを用いて,テストケース生成戦略を自動改善することで,この制限を克服する。
論文 参考訳(メタデータ) (2025-12-05T17:52:26Z) - Demystifying deep search: a holistic evaluation with hint-free multi-hop questions and factorised metrics [89.1999907891494]
We present WebDetective, a benchmark of hint-free multi-hop questions with a control Wikipedia sandbox。
25の最先端モデルに対する我々の評価は、すべてのアーキテクチャにまたがる体系的な弱点を明らかにしている。
私たちはエージェントワークフローであるEvidenceLoopを開発し、ベンチマークが特定する課題を明示的にターゲットしています。
論文 参考訳(メタデータ) (2025-10-01T07:59:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。