論文の概要: Can LLM Agents Efficiently Identify Appliance Faults? Insights From Diagnosing a Simulated Appliance

• arxiv url: http://arxiv.org/abs/2610.19291v1
• Date: Tue, 13 Oct 2026 23:12:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.844705
• Title: Can LLM Agents Efficiently Identify Appliance Faults? Insights From Diagnosing a Simulated Appliance
• Title（参考訳）: LLMエージェントはアプライアンス障害を効果的に特定できるか? : シミュレーションアプライアンス診断からの考察
• Abstract要約: インダストリー4.0」では、統合センサー、分析ツール、その他のデジタル技術が産業を補助し、可視性と自動化を増強する。 シミュレーション機器を用いたLCMエージェントの故障診断タスクであるCoffeeBenchを紹介する。 LLMは、センサ情報のみから障害を一貫して識別する難しさを評価できるが、最高の性能のものは、障害選択空間を反復的に洗練し、最終的に診断を成功させることができる。
• 参考スコア（独自算出の注目度）: 2.1271842650005577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In so-called "Industry 4.0," integrated sensors, analytics tools, and other digital technologies supplement industrial workflows, potentiating enhanced visibility and automation. Prognostics and health management (PHM) and natural language processing (NLP) practitioners alike have explored the application of large language models (LLMs) to industrial asset management, but many prior works' focus on exam-like benchmarks has limited their assessment of LLMs' ability to automate practical operations. Herein, we introduce CoffeeBench, a fault diagnostics task for LLM agents, using a simulated appliance. The LLMs we evaluate struggle to consistently identify faults from the sensor information alone, but the best-performing ones can iteratively refine the fault-option space to eventually obtain a successful diagnosis. Our subsequent analyses, therefore, focus on: differentiating models by diagnostic efficiency (RQ1); examining the lagging performance of the three worst models (RQ2); and identifying viable heuristics for selective prediction (RQ3), including that initial diagnostic uncertainty and LLM-judged soundness of reasoning are high-signal predictors of diagnostic success. In addition to our benchmark results (Section 3.1), we provide practical insights for improving the performance of the open-weight models on CoffeeBench, such as by explicitly tracking episode state on their behalf to reduce timeouts (Section 3.2) or applying a deliberation loop to refine diagnostic hypotheses (Section 3.3).
• Abstract（参考訳）: いわゆる"Industry 4.0"では、統合センサー、分析ツール、その他のデジタル技術が産業ワークフローを補完し、可視化と自動化の強化を推進している。 プログノスティック・ヘルスマネジメント(PHM)や自然言語処理(NLP)の実践者たちも、大規模言語モデル(LLM)の産業資産管理への適用を探求してきたが、これまでは試験的なベンチマークに重点を置いてきた多くの研究は、LLMの実用的運用の自動化能力の評価を制限してきた。 本稿では,LLMエージェントの故障診断タスクであるCoffeeBenchについて,シミュレーションアプライアンスを用いて紹介する。 評価したLCMは,センサ情報のみから障害を一貫して識別するのに苦労するが,最良性能のものは反復的にフォールトオプション空間を洗練し,最終的に診断が成功する。 診断効率によるモデルの差別化 (RQ1) 、3つの最悪のモデルの遅延性能(RQ2) 、選択予測のための実用的ヒューリスティック(RQ3) の同定 (初期診断の不確かさとLLM-judged Soundness of reasoning) は診断成功の高信号予測因子である。 ベンチマーク結果(Section 3.1)に加えて、タイムアウトを減らすためにエピソード状態を明示的に追跡すること(Section 3.2)や、診断仮説を洗練するための検討ループを適用すること(Section 3.3)など、CoffeeBench上でのオープンウェイトモデルの性能向上のための実践的な洞察を提供する。

関連論文リスト

• EHRBench: An Automated and Reliable EHR-based Benchmark for Clinical Decision Making with LLMs [51.129595320595094]
  臨床意思決定 (CDM) は、臨床医が診断を推測し、治療を選択し、不完全な証拠の下で将来の健康結果を予測する、現実的な臨床の中心である。 LLMモデルは、強力な言語能力、幅広い生物医学的知識、効率性のために、これらの決定をサポートするためにますます使われています。 LLMの実際の臨床決定タスクに対する信頼性は、まだ十分に理解されていない。
  論文  参考訳（メタデータ） (2026-05-28T22:38:26Z)
• EviCare: Enhancing Diagnosis Prediction with Deep Model-Guided Evidence for In-Context Reasoning [62.61394722212386]
  EviCareは、大規模言語モデルにディープモデルガイダンスを統合する、コンテキスト内推論フレームワークである。 LLMのみのベースラインと深層モデルのみのベースラインを2つの実世界のEHRベンチマークで連続的に上回っている。
  論文  参考訳（メタデータ） (2026-04-12T04:35:14Z)
• LLM-Assisted Logic Rule Learning: Scaling Human Expertise for Time Series Anomaly Detection [0.9740025522928777]
  時系列異常検出はサプライチェーン管理において積極的な操作を行う上で重要である。 本稿では,大規模言語モデル(LLM)を利用して,人間の専門知識を解釈可能な論理ベースのルールに体系的にエンコードするフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-27T06:37:37Z)
• Timely Clinical Diagnosis through Active Test Selection [49.091903570068155]
  本稿では,現実の診断推論をよりうまくエミュレートするためのACTMED (Adaptive Clinical Test selection via Model-based Experimental Design)を提案する。 LLMは柔軟なシミュレータとして機能し、構造化されたタスク固有のトレーニングデータを必要とせずに、患者状態のもっともらしい分布を生成し、信念の更新をサポートする。 我々は、実世界のデータセット上でACTMEDを評価し、診断精度、解釈可能性、リソース使用量を改善するためにテスト選択を最適化できることを示す。
  論文  参考訳（メタデータ） (2025-10-21T18:10:45Z)
• Exploring LLM-based Frameworks for Fault Diagnosis [2.2562573557834686]
  大規模言語モデル(LLM)に基づくシステムは,センサリッチ産業環境における自律型健康モニタリングの新たな機会を提供する。 本研究では,LLMがセンサデータから直接障害を検出し,分類すると同時に,自然言語の推論を通じて本質的に説明可能なアウトプットを生成する可能性について検討する。
  論文  参考訳（メタデータ） (2025-09-27T04:53:15Z)
• Learning to Hear Broken Motors: Signature-Guided Data Augmentation for Induction-Motor Diagnostics [40.044978986425676]
  3相エンジンのインテリジェント診断における機械学習(ML)アルゴリズムの適用は、診断性能と精度を大幅に向上させる可能性がある。 本稿では,エンジン物理モデルを考慮した教師なし異常発生手法を提案する。 SGDA(Signature-Guided Data Augmentation)は、健康な電流信号の周波数領域において、物理的に可塑性な断層を直接合成する、教師なしのフレームワークである。
  論文  参考訳（メタデータ） (2025-06-10T03:36:16Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• Improving Interactive Diagnostic Ability of a Large Language Model Agent Through Clinical Experience Learning [17.647875658030006]
  本研究では,性能劣化現象の根底にあるメカニズムについて検討する。 我々は,中国とアメリカの医療施設から350万件以上の電子医療記録を活用する,PPME ( Plug-and-play) LLM エージェントを開発した。 本研究は, 初期疾患の診断・調査のための専門モデルを統合し, 指導的, 強化的学習技術を用いて訓練した。
  論文  参考訳（メタデータ） (2025-02-24T06:24:20Z)
• X2-DFD: A framework for eXplainable and eXtendable Deepfake Detection [55.77552681618732]
  X2-DFDは、eXplainableおよびeXtendableフレームワークであり、ディープフェイク検出のためのマルチモーダルな多言語モデル(MLLM)に基づいている。 最初の段階であるモデル特徴評価は、MLLMの偽造関係の特徴の検出可能性を体系的に評価する。 2番目のステージであるExplainable dataset Constructionは、Strong Feature StrengtheningとWeak Feature Supplementingの2つの重要なモジュールで構成されている。 3番目のステージであるファインチューニングと推論では、構築されたデータセット上でMLLMを微調整し、最終的な検出と説明のためにデプロイする。
  論文  参考訳（メタデータ） (2024-10-08T15:28:33Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。