論文の概要: FactoryLLM: A Safe and Open-Source AI Playground for Evaluating LLMs in Smart Factories

• arxiv url: http://arxiv.org/abs/2606.14119v1
• Date: Fri, 12 Jun 2026 04:58:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.753505
• Title: FactoryLLM: A Safe and Open-Source AI Playground for Evaluating LLMs in Smart Factories
• Title（参考訳）: FactoryLLM: スマートファクトリにおけるLLM評価のための安全でオープンソースのAIプレイグラウンド
• Authors: Yash Pulse, Yong-Bin Kang, Abhik Banerjee, Abdur Forkan, Prem Prakash Jayaraman,
• Abstract要約: スマートファクトリの故障診断とリカバリは、重要な情報が複数のマシンのマニュアルに分散しているため困難である。 本研究では,LLMに基づく検索拡張生成(RAG)モデルの評価を目的とした,安全かつオープンソースのAIグラウンドであるFactoryLLMを提案する。
• 参考スコア（独自算出の注目度）: 2.5347528088992424
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fault diagnostics and recovery in smart factories is challenging because critical information is dispersed across manuals of multiple machines which are interconnected through the manufacturing process. Large Language Models (LLMs) can provide a promising approach. In this paper, we propose FactoryLLM, a safe and open-source AI playground designed for evaluating different LLM-based retrieval-augmented generation (RAG) models by analysing documents from multiple machines across the manufacturing process. FactoryLLM enables the user to configure the LLM, and assess performance when reasoning over multiple documents, through a dual evaluation setup using both RAGAS and NVIDIA's LLM-as-a-Judge metrics. FactoryLLM is safe because it allows users to run local or open-source LLMs without sharing sensitive industrial data, providing a controlled environment for experimentation. We demonstrate the efficacy of FactoryLLM through a case study which involves an Autonomous Intelligent Vehicle and its Mobile Planner software, evaluating three LLMs across 30 maintenance queries derived from approximately 600 pages of cross-machine documentation. The results suggest that FactoryLLM is effective in cross-machine document reasoning: every model achieved a groundedness score above 0.88. The full code and documentation for community to test FactoryLLM with their manufacturing specific scenarios are publicly available.
• Abstract（参考訳）: スマートファクトリの故障診断と回復は,製造プロセスを通じて相互接続される複数のマシンのマニュアルに重要な情報が分散しているため,困難である。 大きな言語モデル(LLM)は有望なアプローチを提供することができる。 本稿では,複数のマシンからの文書を製造プロセス全体にわたって分析することにより,異なるLLMベース検索拡張生成(RAG)モデルの評価を目的とした,安全かつオープンソースのAIグラウンドであるFactoryLLMを提案する。 FactoryLLMは、ユーザが複数のドキュメントを推論する際のパフォーマンスを、RAGASとNVIDIAのLCM-as-a-Judgeメトリクスの両方を使用して、二重評価設定で設定できる。 FactoryLLMは、機密性の高い産業データを共有することなく、ローカルまたはオープンソースのLLMを実行できるため、安全であり、実験のための制御された環境を提供する。 約600ページのクロスマシンドキュメンテーションから得られた,30のメンテナンスクエリにわたる3つのLSMを評価した結果,FactoryLLMの有効性を実証した。 その結果,FactoryLLMは機械間文書推論に有効であることが示唆された。 FactoryLLMを特定のシナリオでテストするための、コミュニティのための完全なコードとドキュメントが公開されている。

関連論文リスト

• On LLM-Assisted Generation of Smart Contracts from Business Processes [0.08192907805418582]
  大規模言語モデル(LLM)は、ソフトウェアの生成方法の現実を変えました。 本稿では、ビジネスプロセス記述からスマートコントラクトコードを生成するためのLCMの使用について探索的研究を行う。 以上の結果から,LLMの性能はスマートコントラクト開発に必要な信頼性に劣ることがわかった。
  論文  参考訳（メタデータ） (2025-07-30T20:39:45Z)
• FusionFactory: Fusing LLM Capabilities with Multi-LLM Log Data [60.09659670497899]
  大規模言語モデル(LLM)は、さまざまなモデルのランドスケープを持ち、それぞれが異なるタスクで優れています。 この多様性は、研究者に複数のLLMを実際に採用させ、貴重なマルチLLMログデータを残します。 1)実世界のサービスシナリオ(例えば、ローカルおよびAPIベースのサービス)との互換性と、(2)様々なユーザニーズを満たすためにLLMパイプラインの異なる段階での運用の柔軟性である。
  論文  参考訳（メタデータ） (2025-07-14T17:58:02Z)
• An Empirical Study of Many-to-Many Summarization with Large Language Models [82.10000188179168]
  大規模言語モデル(LLM)は強い多言語能力を示しており、実アプリケーションでM2MS(Multi-to-Many summarization)を実行する可能性を秘めている。 本研究は,LLMのM2MS能力に関する系統的研究である。
  論文  参考訳（メタデータ） (2025-05-19T11:18:54Z)
• A Real-World Benchmark for Evaluating Fine-Grained Issue Solving Capabilities of Large Language Models [11.087034068992653]
  FAUN-Eval は LLM の Fine-grAined issUe solviNg 機能を評価するために特別に設計されたベンチマークである。 30の有名なGitHubリポジトリからキュレートされたデータセットを使って構築されている。 FAUN-Evalでは,4つのクローズドソースモデルと6つのオープンソースモデルを含む10個のLLMを評価した。
  論文  参考訳（メタデータ） (2024-11-27T03:25:44Z)
• Using Large Language Models to Understand Telecom Standards [35.343893798039765]
  大きな言語モデル(LLM)は、関連する情報へのより高速なアクセスを提供する。 質問応答(QA)アシスタントとして使用される最先端のLCMの性能を評価する。 その結果,LLMはテレコム技術文書の信頼できる参照ツールとして利用できることがわかった。
  論文  参考訳（メタデータ） (2024-04-02T09:54:51Z)
• Towards Generating Executable Metamorphic Relations Using Large Language Models [46.26208489175692]
  大規模言語モデル(LLM)を用いた要件から実行可能なMRを自動的に抽出する手法を提案する。 提案手法の有効性を評価するため,シーメンス・インダストリー・ソフトウェアと共同で質問紙調査を行った。
  論文  参考訳（メタデータ） (2024-01-30T13:52:47Z)
• Knowledge Fusion of Large Language Models [73.28202188100646]
  本稿では,大規模言語モデル(LLM)における知識融合の概念を紹介する。 我々は、それらの集合的知識と独特な強みを外部化し、それによってターゲットモデルの能力が、どのソースLLMよりも高められるようにします。 この結果から,LLMの融合により,推論やコモンセンス,コード生成など,対象モデルの性能が向上することが確認された。
  論文  参考訳（メタデータ） (2024-01-19T05:02:46Z)
• Do-Not-Answer: A Dataset for Evaluating Safeguards in LLMs [59.596335292426105]
  本稿では,大規模な言語モデルにおけるセーフガードを評価するための,最初のオープンソースデータセットを収集する。 我々は、自動安全性評価において、GPT-4に匹敵する結果を得るために、BERTライクな分類器をいくつか訓練する。
  論文  参考訳（メタデータ） (2023-08-25T14:02:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。