論文の概要: Towards LLM Accelerated Rapid Reviews for Software Tool Discovery -- Case for Log Anomaly Detection

• arxiv url: http://arxiv.org/abs/2606.16839v1
• Date: Mon, 15 Jun 2026 15:17:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.661738
• Title: Towards LLM Accelerated Rapid Reviews for Software Tool Discovery -- Case for Log Anomaly Detection
• Title（参考訳）: LLM Accelerated Rapid Reviews for Software Tool Discovery -- ログ異常検出の事例
• Authors: Jesse Nyyssölä, Hamza Bin Mazhar, Alexander Bakhtin, Matteo Esposito, Nana Reinikainen, Yuqing Wang, Ying Song, Davide Taibi, Mika Mäntylä,
• Abstract要約: 提案するパイプラインは,LLMスクリーニングと関連する研究を識別し,それらに提示されたツールを抽出し,LLMベースの符号化エージェントで実行する。 このアプローチにはおよそ4時間の人的作業が必要で、うち3時間は手動でPDFをダウンロードし、12時間 LLM の実行時間が必要でした。 実践者が構築したツールは学術論文を欠くことが多いため、将来的にはGitHubやPyPIといったツールホスティングプラットフォームに分析を拡張することを目指しています。
• 参考スコア（独自算出の注目度）: 46.43844768475097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In software engineering research, the primary outcome is frequently a tool. However, for practitioners and academics alike, it is hard to tell which tools are maintained and do they work out of the box. In this paper, we propose a pipeline to identify relevant studies with LLM screening, extract the tools presented in them, and run them with LLM-based coding agent. To evaluate the feasibility of our approach we focus on software log anomaly detection tools. We begin the study by designing a broad search string that yields 3233 hits from Scopus. We request two LLMs to provide an inclusion probability for each title-abstract pair according to the inclusion and exclusion criteria. From the 3233 exported abstracts, this screening reduced the number of included papers to 569, out of which we could download 470. These papers included 206 unique links and after manual evaluation we determined 83 to be tools. Finally, we ran the LLM-based coding agent on these 83 links, and got 24 successfully running tools. As replicating our approach would require roughly only 4 hours of human effort, of which 3 hours were manual PDF downloading, and 12 hours of LLM running time, this demonstrates promising efficiency when utilizing LLMs in rapid reviews. Because practitioner-built tools often lack academic papers, in the future we aim to expand our analysis to tool-hosting platforms such as GitHub and PyPI. In the future, we plan to formalize our workflow as LLM Agent Skills to make our approach easier to adopt.
• Abstract（参考訳）: ソフトウェア工学の研究において、主な成果はツールであることが多い。 しかし、実践家や学者たちにとっては、どのツールがメンテナンスされているのか、どのツールが最初から使えるのかを知ることは困難である。 本稿では,LLMスクリーニングと関連する研究を識別し,それらに提示されたツールを抽出し,LLMベースの符号化エージェントで実行するためのパイプラインを提案する。 提案手法の有効性を評価するため,ソフトウェアログ異常検出ツールに着目した。 研究は、スコパスから3233ヒットの広い探索文字列を設計することから開始する。 我々は2つのLDMに対して,包含基準と排他基準に従って,各タイトル・抽象ペアの包含確率を与えるよう要求する。 3233のエクスポートされた抽象資料から、このスクリーニングにより、含まれた論文の数が569に削減され、そのうち470件がダウンロード可能になった。 これらの論文には206のユニークなリンクが含まれており、手作業による評価の結果、83はツールであると判断された。 最後に、この83リンク上でLLMベースのコーディングエージェントを実行し、24の成功したツールを実行しました。 このアプローチを複製するには,約4時間の人的作業が必要で,そのうち3時間は手作業によるPDFダウンロード,12時間のLCM実行時間が必要になります。 実践者が構築したツールは学術論文を欠くことが多いため、将来的にはGitHubやPyPIといったツールホスティングプラットフォームに分析を拡張することを目指しています。 将来的には LLM Agent Skills としてワークフローを形式化し,アプローチの採用を容易にする予定です。

関連論文リスト

• Self-Training Large Language Models for Tool-Use Without Demonstrations [15.17750971071501]
  大規模言語モデル (LLMs) は、実際の不正確さや計算ミスに悩まされがちである。 最近の研究は、これらの欠点を緩和するツールを備えたLCMを強化しているが、しばしば金の工具使用デモを必要とする。 本稿では,LLMが実演なしでツールの活用を学べるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-02-09T12:06:10Z)
• Tool Learning in the Wild: Empowering Language Models as Automatic Tool Agents [56.822238860147024]
  大規模な言語モデルを外部ツールで拡張することは、彼らのユーティリティを拡張するための有望なアプローチとして現れました。 以前のメソッドは、ツールドキュメントを手動で解析し、コンテキスト内デモを作成し、ツールをLLMがステップバイステップの推論で使用する構造化フォーマットに変換する。 LLMがツール使用ワークフローを自動化できるフレームワークであるAutoToolsを提案する。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [63.08202389132155]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。