論文の概要: Before the Ticket: Grounding HPC User Support in Documentation and Resolved Tickets with an Agentic LLM Assistant
- arxiv url: http://arxiv.org/abs/2610.31703v1
- Date: Wed, 21 Oct 2026 19:01:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.246875
- Title: Before the Ticket: Grounding HPC User Support in Documentation and Resolved Tickets with an Agentic LLM Assistant
- Title（参考訳）: チケット前:エージェントLLMアシスタントによる文書化と解決ティケットにおけるHPCユーザサポートの接地
- Abstract要約: HPCヘルプデスクに到達したほとんどの質問は、すでにセンターのユーザーガイドや、前学期の誰かが提出したチケットで回答されている。
オーケストレータは、モデルコンテキストプロトコル上の2つのツール、検索拡張生成(RAG)、ライブドキュメント上の2つのツールを呼び出します。
Llama-3-8Bモデルは、歴史的チケットから抽出された11,244のクエリ解決ペアにQLoRAを微調整し、解答をマージする。
- 参考スコア（独自算出の注目度）: 1.2342325960607348
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most questions that reach an HPC help desk have already been answered in the center's user guides or in a ticket someone else filed last semester; users still file new tickets because the guides are hard to navigate and the ticket history is not theirs to search. We present an assistant that answers from both sources: an orchestrator calls two tools over the Model Context Protocol, retrieval-augmented generation (RAG) over the live documentation and a Llama-3-8B model fine-tuned with QLoRA on 11,244 query-resolution pairs mined from historical tickets, and merges their answers. Every model runs on-premises or on the university's hosted LLM service because ticket data may not leave the institution. On 400 held-out tickets from Purdue's Rosen Center for Advanced Computing, disjoint from training and free of near-duplicates, and evaluated by two judges from model families that generated none of the answers, fine-tuning on resolutions rewritten into self-service guidance is the clear winner in agreement with RCAC's resolutions (BERTScore F1 improves from 0.06 to 0.27 over the base model) and is judged most correct on average. The end-to-end system does not improve on its tools, although they are complementary: choosing the better answer per question would exceed either tool (judged correctness 3.41 versus 3.20, an oracle bound), while the merge follows the documentation tool in 78% of answers. Returning one tool's answer instead recovers the fine-tuned tool's quality (3.19 versus 2.66), but neither a learned selector nor an LLM verifier beats that tool alone.
- Abstract（参考訳）: HPCヘルプデスクに到達したほとんどの質問は、既にセンターのユーザーガイドや、前学期の他の誰かが提出したチケットで回答されている。
オーケストレータがModel Context Protocol上で2つのツールを呼び出し、ライブドキュメント上での検索拡張生成(RAG)と、歴史的チケットから抽出された11,244のクエリ解決ペアに対してQLoRAで微調整されたLlama-3-8Bモデルをマージする。
全てのモデルは、チケットデータが施設を離れない可能性があるため、オンプレミスまたは大学のLLMサービスで実行される。
Purdue's Rosen Center for Advanced Computingの400枚のチケットでは、トレーニングから離脱し、ほぼ重複しない状態であり、答えを生成しないモデルファミリーの2人の審査員によって評価され、自己サービスガイダンスに書き換えられた解像度の微調整はRCACの解像度(BERTScore F1はベースモデルで0.06から0.27に改善)と一致し、平均して最も正確であると判断される。
いずれのツール(正解率 3.41 対 オラクル境界 3.20 対 正解数 3.20 対 正解数 3.2 対 正解数 3.1 対 正解数 3.1 対 正解数 3.20 )でも、マージは78%の回答でドキュメントツールに従う。
1つのツールの回答を返すと、微調整されたツールの品質(3.19対2.66)が回復するが、学習したセレクタもLLM検証器もそのツールに勝ってはいない。
関連論文リスト
- JevAgentHarness: Benchmarking, Deploying and Training Decision Models That Share Control with LLMs [67.3059941230326]
大規模言語モデル(LLM)エージェントは、ソフトウェアを修正し、コンピュータを操作し、顧客にサービスを提供するが、そのハーネス、そしてそれらを実行するプログラムは、すべてのステップで大きなLLMを呼び出す。
ハーネスがこれらの決定を、ほとんど成功しない決定モデルに委譲する方法を問う。
AgentDecisionBenchは独立した質問から決定モデルをテストし、公開ベンチマークとDecisionGym環境上で実行中のエージェントを制御する。
次に、JevAgentHarnessを設計します。これは、エージェント自身の軌道上の各選択のしきい値に適合し、LLMがその下にあることを判断します。
論文 参考訳（メタデータ） (2026-10-15T07:27:08Z) - TimeEvo: Failure-Driven Self-Evolution of a Time Series Agent [58.343983191487276]
時系列エージェントは、外部ツールを呼び出すことで分析的な質問に答える。
Human-Agent Tool Misalignment: 21のエキスパートキュレートされたツールのライブラリは、いくつかのタスクを支援し、他の人を傷つけます。
TimeEvoは、エージェントの診断された障害を能力ギャップに集約し、それぞれの測定を計画し、ペアの入場ゲートを通してのみ候補ライブラリを許可する。
論文 参考訳（メタデータ） (2026-09-23T03:08:12Z) - When Tools Get in the Way: The Effect of Unnecessary Tool Availability on LLM Answering [7.146717861821737]
ツールは外部情報を必要とするタスクに役立ちますが、その可用性はまた、モデルを必要としない質問の扱い方を変えるかもしれません。
我々は、関連するが不要なツールを作ることが、モデルが自身の知識から答える能力に影響するかどうか、また、先行するツールの相互作用がこの振る舞いを変えるかどうかを問う。
論文 参考訳（メタデータ） (2026-09-12T21:15:58Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳（メタデータ） (2026-08-26T18:22:03Z) - Joint Optimization of Tool Creation and Use for Large Language Model Agents [69.07066297088187]
SMITH (-grounded Multi-task Iterative Tool Honing) は、単一のポリシー内でツールの作成とツールの使用を訓練する。
SMITHで訓練された4B Qwen3は、正確に検証された13の手続き的推論タスクで、保持されたタスクで平均79.8のマクロ平均精度に達する。
また、TabMWP-Hardでは40.4、ドメイン外のGQAでは42.6に到達している。
論文 参考訳（メタデータ） (2026-08-25T13:59:34Z) - AgentDebugX: An Open-Source Toolkit for Failure Observability, Attribution, and Recovery in LLM Agents [83.37969790806069]
LLMエージェントのエラーは、エラーが表面化するステップが原因ではないことが多いため、デバッグが難しい。
Agent DebuggerXはオープンソースのフレームワークで、デバッグをDe Detect, Attribute, Recover, Rerunのクローズドループとして整理する。
コアとなるDeep Debuggerは、グローバルな軌跡理解を通じてマルチターン根本原因診断を行う。
論文 参考訳（メタデータ） (2026-07-21T06:21:13Z) - Knowing When to Ask: Segment-Level Credit Assignment for LLM Tool Use [0.0]
textbfCARL(textbfCompetence-textbfAware textbfReinforcement textbfL)を提案する。
モデル自身のロールアウトに対して、パラメトリックな知識がどこに十分で、外部の助けを必要とするかを学ぶために、評論家を訓練する。
AUC 0.93の7Bでのツール依存の質問とパラメトリックで解ける質問を分離する。
論文 参考訳（メタデータ） (2026-05-27T00:11:31Z) - AlphaApollo: Orchestrating Foundation Models and Professional Tools into a Self-Evolving System for Deep Agentic Reasoning [110.57865233597762]
自己進化型エージェント推論システムであるAlphaApolloについて述べる。
基礎モデル(FM)における2つのボトルネックに対処することを目的としている。
AlphaApolloは、意図的に検証可能な推論を可能にするために、複数のモデルをプロのツールで編成する。
論文 参考訳（メタデータ） (2025-10-05T15:42:24Z) - TaDaa: real time Ticket Assignment Deep learning Auto Advisor for
customer support, help desk, and issue ticketing systems [0.0]
プロジェクトには,1) 問題を適切なグループに割り当てる,2) 問題をベストリゾルバに割り当てる,3) 関連性の高いチケットをリゾルバに割り当てる,といった機能がある。
我々は3k以上のグループと10k以上のリゾルバを持つチケットシステムサンプルデータセットを1つ利用し、グループ提案で95.2%、リゾルバ提案で79.0%、トップ3で9.0%の精度を得る。
論文 参考訳（メタデータ） (2022-07-18T18:08:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。