論文の概要: Beyond Maintenance Manual Multimodal RAG: Suggesting What Tool
- arxiv url: http://arxiv.org/abs/2609.05116v1
- Date: Fri, 04 Sep 2026 13:09:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.052295
- Title: Beyond Maintenance Manual Multimodal RAG: Suggesting What Tool
- Title(参考訳): 手動マルチモーダルRAGのメンテナンスを超えて - ツールの提案
- Abstract要約: 航空機技術者は、ほぼすべてのタスクにメンテナンスマニュアル(MM)を参考にする必要がある。
MRAGはこの問題に対処するために提案されており、技術者は自然言語クエリを通じて、付随する数字とともにプロシージャを検索することができる。
本稿では,MRAGパイプラインの拡張であるMRAG-SWATを提案する。
- 参考スコア(独自算出の注目度): 0.14323566945483493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Aircraft technicians are required to consult the maintenance manual (MM) for nearly every task, and locating the relevant procedure across hundreds of pages remains time-consuming. Multimodal retrieval augmented generation (MRAG) has been proposed to address this, allowing technicians to retrieve procedures, together with the accompanying figures, through natural-language queries. However, retrieval alone does not tell the technicians which tools the task requires. The MM identifies special tools only when the corresponding step is reached, and it does not state hand tool requirements at all; to select hand tools, technicians are required to find the hardware dimension from the illustrated parts catalog (IPC) and infer the right tool from it. We therefore propose MRAG-SWAT, an extension of the MRAG pipeline that returns the required hand tools and special tools alongside the retrieved procedure. The framework was implemented for the Lycoming IO-360-N1A engine and demonstrated on eight test queries. By presenting the correct tools together with the procedure, MRAG-SWAT may help reduce repeated trips to the tool crib, prevent damage to aircraft caused by improper tool selection, and thereby avoid additional maintenance tasks and support continued airworthiness.
- Abstract(参考訳): 航空機の技術者は、ほぼすべてのタスクに対してメンテナンスマニュアル(MM)を参照する必要がある。
この問題を解決するためにMRAG(Multimodal search augmented generation)が提案されている。
しかし、検索だけでは、そのタスクに必要なツールを技術者に教えない。
MMは、対応するステップに到達する場合にのみ特別なツールを識別し、ハンドツールの要件を全く記述しない。手動ツールを選択するには、図形部品カタログ(IPC)からハードウェア寸法を見つけ、それから適切なツールを推測する必要がある。
そこで我々はMRAGパイプラインの拡張であるMRAG-SWATを提案する。
このフレームワークはLycoming IO-360-N1Aエンジン用に実装され、8つのテストクエリで実証された。
MRAG-SWATは、適切なツールを手順と共に提示することにより、ツールベビーベッドへの繰り返しの移動を減らし、不適切なツール選択による航空機の損傷を防止し、追加のメンテナンスタスクを回避し、継続的な空力維持を支援することができる。
関連論文リスト
- When Tools Get in the Way: The Effect of Unnecessary Tool Availability on LLM Answering [7.146717861821737]
ツールは外部情報を必要とするタスクに役立ちますが、その可用性はまた、モデルを必要としない質問の扱い方を変えるかもしれません。
我々は、関連するが不要なツールを作ることが、モデルが自身の知識から答える能力に影響するかどうか、また、先行するツールの相互作用がこの振る舞いを変えるかどうかを問う。
論文 参考訳(メタデータ) (2026-09-12T21:15:58Z) - Reducing Technician Search Burden: A Multimodal RAG for Cessna 172 Maintenance Manual [0.10874100424278171]
セスナ172保守マニュアル(C172-MM)のために開発されたマルチモーダル手動レトリバー(MMR)
検索性能は, 手順, ダイアグラム, 注意・安全情報, 仕様を含む合成クエリを用いて評価した。
5ページの平均検索時間は11.93秒、応答生成は4.95秒で、1クエリあたり0.0091ドルだった。
論文 参考訳(メタデータ) (2026-08-19T02:39:35Z) - Tools Are Not Islands: Set-Level Tool Retrieval for LLM Agents via Query-Conditioned Hyperedge Prediction [4.596769167229008]
本稿では,HyperedgeベースのSEtレベルツール検索のためのHYSETを提案する。
i)ツールセット自体がスコアの単位となるツール共起動ハイパーグラフ上でのクエリ条件付きハイパーエッジ予測としてツール検索を定式化し、(ii)濃度固有の相互作用を通じてサイズに依存したツール互換性をキャプチャし、(iii)下流エージェントの変更を必要としない事前選択モジュールとしてHYSETを設計する。
論文 参考訳(メタデータ) (2026-07-28T13:45:08Z) - AdaReasoner: Dynamic Tool Orchestration for Iterative Visual Reasoning [66.24374176797075]
textbfAdaReasonerは、ツール固有の、あるいは明示的な教師付き行動ではなく、一般的な推論スキルとしてツールの使用を学ぶマルチモーダルモデルのファミリーである。
AdaReasonerは、(i)スケーラブルなデータキュレーションパイプラインによって、長期にわたる多段階のツールインタラクションにモデルを公開し、(ii)ツール-GRPO、(ii)ツールの選択とシークエンシングをエンドツーエンドの成功に基づいて優先順位付けする強化学習アルゴリズム、(iii)ツールの使用を動的に規制する適応学習メカニズムによって実現されている。
論文 参考訳(メタデータ) (2026-01-26T16:04:43Z) - Prompt Injection Attack to Tool Selection in LLM Agents [60.95349602772112]
一般的なアプローチは、与えられたタスクに対してツールライブラリから最も適切なツールを選択するための2段階のプロセス(式と例選択)に従う。
本研究では、no-boxシナリオにおける新しいプロンプトインジェクション攻撃ツール選択であるtextitToolHijackerを紹介する。
論文 参考訳(メタデータ) (2025-04-28T13:36:43Z) - PTR: Precision-Driven Tool Recommendation for Large Language Models [43.53494041932615]
大規模言語モデル(LLM)のためのPTR(Precision-driven Tool Recommendation)アプローチを提案する。
PTRは、過去のツールバンドルの利用を利用して、初期的かつ簡潔なツールセットをキャプチャし、ツールマッチングを実行することで、ツールセットを動的に調整する。
LLMのツールレコメンデーションの有効性を評価するために,新しいデータセットRecToolsとメトリクスTRACCを提案する。
論文 参考訳(メタデータ) (2024-11-14T17:33:36Z) - Re-Invoke: Tool Invocation Rewriting for Zero-Shot Tool Retrieval [47.81307125613145]
Re-Invokeは、トレーニングなしで大規模ツールセットに効果的にスケールするために設計された教師なしツール検索手法である。
我々は、クエリ毎に最も関連性の高いツールを特定するために、意図に基づいて、新しいマルチビュー類似度ランキング戦略を採用する。
評価の結果、Re-Invokeはシングルツールとマルチツールの両方のシナリオにおいて、最先端の代替よりも大幅に優れていた。
論文 参考訳(メタデータ) (2024-08-03T22:49:27Z) - What Are Tools Anyway? A Survey from the Language Model Perspective [67.18843218893416]
言語モデル(LM)は強力だが、主にテキスト生成タスクに向いている。
LMが使用する外部プログラムとしてツールを統一的に定義する。
各種ツールの効率を実証的に検討した。
論文 参考訳(メタデータ) (2024-03-18T17:20:07Z) - Large Language Models as Tool Makers [85.00361145117293]
我々はLLM A s Tool Makers (LATM) と呼ばれるクローズドループフレームワークを導入する。
ツール作成: 1 つのツール作成: LLM がタスクセットのためのツールを作成するツールメーカとして機能する 2 つのツール使用: 別の LLM がツールユーザとして機能し、ツールメーカが問題解決のために構築したツールを適用する。
論文 参考訳(メタデータ) (2023-05-26T17:50:11Z) - ART: Automatic multi-step reasoning and tool-use for large language
models [105.57550426609396]
大規模言語モデル(LLM)は、数秒とゼロショットの設定で複雑な推論を行うことができる。
各推論ステップは、コアLLM機能を超えて計算をサポートする外部ツールに依存することができる。
プログラムとして中間推論ステップを自動生成するために凍結LDMを使用するフレームワークであるART(Automatic Reasoning and Tool-use)を導入する。
論文 参考訳(メタデータ) (2023-03-16T01:04:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。