論文の概要: Towards LLM Accelerated Rapid Reviews for Software Tool Discovery -- Case for Log Anomaly Detection

• arxiv url: http://arxiv.org/abs/2606.16839v1
• Date: Mon, 15 Jun 2026 15:17:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:34.661738
• Title: Towards LLM Accelerated Rapid Reviews for Software Tool Discovery -- Case for Log Anomaly Detection
• Title（参考訳）: LLM Accelerated Rapid Reviews for Software Tool Discovery -- ログ異常検出の事例
• Abstract要約: 提案するパイプラインは,LLMスクリーニングと関連する研究を識別し,それらに提示されたツールを抽出し,LLMベースの符号化エージェントで実行する。 このアプローチにはおよそ4時間の人的作業が必要で、うち3時間は手動でPDFをダウンロードし、12時間 LLM の実行時間が必要でした。 実践者が構築したツールは学術論文を欠くことが多いため、将来的にはGitHubやPyPIといったツールホスティングプラットフォームに分析を拡張することを目指しています。
• 参考スコア（独自算出の注目度）: 46.43844768475097
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In software engineering research, the primary outcome is frequently a tool. However, for practitioners and academics alike, it is hard to tell which tools are maintained and do they work out of the box. In this paper, we propose a pipeline to identify relevant studies with LLM screening, extract the tools presented in them, and run them with LLM-based coding agent. To evaluate the feasibility of our approach we focus on software log anomaly detection tools. We begin the study by designing a broad search string that yields 3233 hits from Scopus. We request two LLMs to provide an inclusion probability for each title-abstract pair according to the inclusion and exclusion criteria. From the 3233 exported abstracts, this screening reduced the number of included papers to 569, out of which we could download 470. These papers included 206 unique links and after manual evaluation we determined 83 to be tools. Finally, we ran the LLM-based coding agent on these 83 links, and got 24 successfully running tools. As replicating our approach would require roughly only 4 hours of human effort, of which 3 hours were manual PDF downloading, and 12 hours of LLM running time, this demonstrates promising efficiency when utilizing LLMs in rapid reviews. Because practitioner-built tools often lack academic papers, in the future we aim to expand our analysis to tool-hosting platforms such as GitHub and PyPI. In the future, we plan to formalize our workflow as LLM Agent Skills to make our approach easier to adopt.
• Abstract（参考訳）: ソフトウェア工学の研究において、主な成果はツールであることが多い。 しかし、実践家や学者たちにとっては、どのツールがメンテナンスされているのか、どのツールが最初から使えるのかを知ることは困難である。 本稿では,LLMスクリーニングと関連する研究を識別し,それらに提示されたツールを抽出し,LLMベースの符号化エージェントで実行するためのパイプラインを提案する。 提案手法の有効性を評価するため,ソフトウェアログ異常検出ツールに着目した。 研究は、スコパスから3233ヒットの広い探索文字列を設計することから開始する。 我々は2つのLDMに対して,包含基準と排他基準に従って,各タイトル・抽象ペアの包含確率を与えるよう要求する。 3233のエクスポートされた抽象資料から、このスクリーニングにより、含まれた論文の数が569に削減され、そのうち470件がダウンロード可能になった。 これらの論文には206のユニークなリンクが含まれており、手作業による評価の結果、83はツールであると判断された。 最後に、この83リンク上でLLMベースのコーディングエージェントを実行し、24の成功したツールを実行しました。 このアプローチを複製するには,約4時間の人的作業が必要で,そのうち3時間は手作業によるPDFダウンロード,12時間のLCM実行時間が必要になります。 実践者が構築したツールは学術論文を欠くことが多いため、将来的にはGitHubやPyPIといったツールホスティングプラットフォームに分析を拡張することを目指しています。 将来的には LLM Agent Skills としてワークフローを形式化し,アプローチの採用を容易にする予定です。

関連論文リスト

• TraceLab: Characterizing Coding Agent Workloads for LLM Serving [16.402747744601612]
  約4300のコーディングエージェントセッションのトレースをリリースし、約35万のLDMステップと43万のツールコールを含む。 我々の分析によると、コーディングエージェントのワークロードは、長い自律ループ、短いアウトプットを持つ長いコンテキスト、多種多様で複雑なツールコール、高いが不完全なプレフィックスキャッシュヒット率を特徴としている。 これらの結果は,低オーバーヘッドツールコール,付加長対応プリフィル,セマンティック対応ツールレイテンシ予測,人体接触ギャップ周辺のKV-cache管理の改善など,サービス提供を最適化する具体的な機会を示唆している。
  論文  参考訳（メタデータ） (2026-06-29T16:59:05Z)
• Self-Training Large Language Models for Tool-Use Without Demonstrations [15.17750971071501]
  大規模言語モデル (LLMs) は、実際の不正確さや計算ミスに悩まされがちである。 最近の研究は、これらの欠点を緩和するツールを備えたLCMを強化しているが、しばしば金の工具使用デモを必要とする。 本稿では,LLMが実演なしでツールの活用を学べるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-02-09T12:06:10Z)
• Learning to Ask: When LLM Agents Meet Unclear Instruction [55.65312637965779]
  大きな言語モデル(LLM)は、言語スキルだけでは達成不可能なタスクに対処するための外部ツールを活用することができる。 我々は、不完全な命令下でのLLMツールの使用性能を評価し、エラーパターンを分析し、Noisy ToolBenchと呼ばれる挑戦的なツール使用ベンチマークを構築した。 Ask-when-Needed (AwN) という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-08-31T23:06:12Z)
• Tool Learning in the Wild: Empowering Language Models as Automatic Tool Agents [56.822238860147024]
  大規模な言語モデルを外部ツールで拡張することは、彼らのユーティリティを拡張するための有望なアプローチとして現れました。 以前のメソッドは、ツールドキュメントを手動で解析し、コンテキスト内デモを作成し、ツールをLLMがステップバイステップの推論で使用する構造化フォーマットに変換する。 LLMがツール使用ワークフローを自動化できるフレームワークであるAutoToolsを提案する。
  論文  参考訳（メタデータ） (2024-05-26T11:40:58Z)
• Towards Completeness-Oriented Tool Retrieval for Large Language Models [60.733557487886635]
  現実世界のシステムは多種多様なツールを組み込んでおり、全てのツールを大規模言語モデルに入力することは不可能である。 既存のツール検索手法は主にユーザクエリとツール記述間のセマンティックマッチングに焦点を当てている。 我々は,ユーザクエリとツール記述のセマンティックな類似性だけでなく,ツールの協調的情報も考慮した,新しいモデル診断型協調学習型ツール検索手法であるCOLTを提案する。
  論文  参考訳（メタデータ） (2024-05-25T06:41:23Z)
• LLMs in the Imaginarium: Tool Learning through Simulated Trial and Error [54.954211216847135]
  既存の大規模言語モデル(LLM)は30%から60%の範囲でしか正当性に至らない。 試行錯誤(STE)を模擬したツール拡張LDMの生物学的なインスピレーション法を提案する。 STEは、試行錯誤、想像力、記憶という、生物学的システムにおけるツール使用行動の成功のための3つの重要なメカニズムを編成する。
  論文  参考訳（メタデータ） (2024-03-07T18:50:51Z)
• Efficient Tool Use with Chain-of-Abstraction Reasoning [63.08202389132155]
  大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。 マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。 マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-01-30T21:53:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。