論文の概要: Retrieval-based and Fine-tuned LLM Approaches for Industrial Asset Health Monitoring and Decision Support
- arxiv url: http://arxiv.org/abs/2607.24824v1
- Date: Sat, 18 Jul 2026 06:39:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:39.082697
- Title: Retrieval-based and Fine-tuned LLM Approaches for Industrial Asset Health Monitoring and Decision Support
- Title(参考訳): 産業資産の健康モニタリングと意思決定支援のための検索型及び微調整型LCMアプローチ
- Abstract要約: 工場はポンプ、タービン、圧縮機など多くの重要な機械を運用している。
本研究は,検索専用手法とオープンソースの大言語モデル (LLM) がいかに故障センサの診断的推論を行うかを検討する。
- 参考スコア(独自算出の注目度): 0.5217870815854703
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Industrial plants run many important machines such as pumps, turbines, and compressors. Although engineers can use their experience to identify and diagnose machine problems, transferring this reasoning ability to computer systems remains difficult. This work studies how well a retrieval-only method and an open-source large language model (LLM) perform failure-sensor diagnostic reasoning using the FailureSensorIQ benchmark, a multiple-choice question-answering task introduced by IBM Research. In the retrieval-only approach, each answer option is converted into an option-level query and scored using similar correct and incorrect records from the training data. TF-IDF, BM25, semantic search, and hybrid search are tested and compared. In the LLM-based approach, the Qwen2.5-7B-Instruct model is evaluated using zero-shot prompting, few-shot prompting, and QLoRA fine-tuning. The results show that semantic search and hybrid search perform better than pure keyword-matching techniques, indicating that meaning-based similarity is more important for industrial failure-sensor reasoning. Among the LLM-based methods, the fine-tuned model achieves the best performance and substantially improves over zero-shot and few-shot prompting. Error analysis shows that performance decreases as the number of answer options increases. Robustness analysis also shows that all methods are sensitive to option shuffling, changed labels, paraphrasing, and additional distractors.
- Abstract(参考訳): 工場はポンプ、タービン、圧縮機など多くの重要な機械を運用している。
技術者は自身の経験を機械の問題を識別し、診断するために利用することができるが、この推論能力をコンピュータシステムに転送することは依然として困難である。
本研究は,IBM Researchが導入したマルチチョイス質問応答タスクであるFailureSensorIQベンチマークを用いて,検索専用手法とオープンソースの大言語モデル(LLM)がいかにうまくフェールセンサ診断を行うかを検討する。
検索のみのアプローチでは、各回答オプションはオプションレベルのクエリに変換され、トレーニングデータから類似の正誤レコードを使用してスコアされる。
TF-IDF、BM25、セマンティックサーチ、ハイブリッドサーチを試験・比較した。
LLMに基づくアプローチでは、Qwen2.5-7B-Instructモデルはゼロショットプロンプト、少数ショットプロンプト、QLoRAファインタニングを用いて評価される。
その結果,意味的検索とハイブリッド検索は,意味に基づく類似性が産業的失敗感推論において重要であることを示す純粋キーワードマッチング手法よりも優れていることがわかった。
LLMベースの手法のうち、微調整されたモデルは最高の性能を達成し、ゼロショットと少数ショットのプロンプトよりも大幅に改善される。
誤り解析は、解答オプションの数が増えるにつれて、性能が低下することを示している。
ロバストネス分析はまた、全てのメソッドがオプションシャッフル、ラベルの変更、パラフレージング、追加のイントラクタに敏感であることを示している。
関連論文リスト
- Think Harder and Don't Overlook Your Options: Revisiting Issue-Commit Linking with LLM-Assisted Retrieval [7.078973963849209]
本稿では,BTLink,EasyLink,FRLink,RCLinker,Hybrid-Linkerなど,既定のイシューコミットリンクリカバリ手法について検討する。
その結果, 密集検索手法は, 関連するコミットの特定において, スパース検索手法よりも優れていることがわかった。
従来の機械学習ベースのリグレード技術は、LLMベースのアプローチよりも高いパフォーマンスを実現する。
論文 参考訳(メタデータ) (2026-05-01T06:34:38Z) - Beyond Raw Detection Scores: Markov-Informed Calibration for Boosting Machine-Generated Text Detection [105.14032334647932]
機械生成テキスト(MGT)は偽情報やフィッシングなどのリスクを生じさせ、信頼性の高い検出の必要性を強調している。
MGTの統計的に区別可能な特徴を抽出するメトリックベース法は、オーバーフィットしがちな複雑なモデルベース法よりも実用的であることが多い。
本稿では,2つのコンテキスト検出スコアの関係をモデル化したマルコフ情報を用いたスコアキャリブレーション手法を提案する。
論文 参考訳(メタデータ) (2026-02-08T16:06:12Z) - Beyond Fast and Slow: Cognitive-Inspired Elastic Reasoning for Large Language Models [39.03483371038282]
CogERは、人間の階層的推論にインスパイアされたフレームワークである。
外部ツールを必要とするクエリに対して、Cognitive Tool-Assisted Reasoningを導入する。
CogERは最先端のTest-Timeスケーリングメソッドより優れています。
論文 参考訳(メタデータ) (2025-12-17T05:11:58Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳(メタデータ) (2025-08-05T17:55:24Z) - Stepwise Reasoning Checkpoint Analysis: A Test Time Scaling Method to Enhance LLMs' Reasoning [81.50681925980135]
本稿では,ステップワイズ推論チェックポイント分析(SRCA)を提案する。
本研究は,(1)中間チェックポイント回答による経路推論をグループ化して品質を確保しつつ多様性を維持するAnswer-Clustered Search,(2)最終決定にすべての中間回答を活用するCheckpoint Candidate Augmentationの2つの主要な戦略を取り入れた。
提案手法は経路均質化を効果的に低減し,高品質な中間結果を活用することにより耐故障機構を創出する。
論文 参考訳(メタデータ) (2025-05-23T12:42:50Z) - Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering [78.89231943329885]
大規模言語モデル(LLM)の評価には,MCQA(Multiple-Choice Question Answering)が広く用いられている。
報告されたLCMの性能には,複数の要因が大きな影響を及ぼす可能性が示唆された。
既存の回答抽出手法が人間の判断と一致しているかどうかを解析する。
論文 参考訳(メタデータ) (2025-03-19T08:45:03Z) - Bag of Tricks for Inference-time Computation of LLM Reasoning [10.366475014241407]
複雑度の異なる推論タスクに対して,様々な推論時間計算戦略を検証・ベンチマークする。
我々のアブレーション研究は、これまで見過ごされていた戦略が性能を大幅に向上させることができることを示している。
我々は,8つの推論タスクにまたがる6つの代表的手法を体系的に評価することにより,推論時間計算の標準ベンチマークを確立する。
論文 参考訳(メタデータ) (2025-02-11T02:31:11Z) - On Speeding Up Language Model Evaluation [48.51924035873411]
我々はこの空間を探索するために$textitadaptive$アプローチを提案する。
我々は、マルチアームの包帯に頼り、次の(メソッド、バリデーションサンプル)ペアを順次識別して評価する。
典型的資源の5~15%のみを用いて,トップパフォーマンスの手法を同定できることを示す。
論文 参考訳(メタデータ) (2024-07-08T17:48:42Z) - Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [83.90988015005934]
不確実性定量化は機械学習アプリケーションにおいて重要な要素である。
最新のUQベースラインの集合を実装した新しいベンチマークを導入する。
我々は、11タスクにわたるUQと正規化技術に関する大規模な実証的研究を行い、最も効果的なアプローチを特定した。
論文 参考訳(メタデータ) (2024-06-21T20:06:31Z) - GEqO: ML-Accelerated Semantic Equivalence Detection [3.5521901508676774]
クラスタリソースの効率的な利用とジョブ実行時間の削減には,共通計算が不可欠だ。
大規模分析エンジンの等価性を検出するには、完全に自動化された効率的でスケーラブルなソリューションが必要である。
本稿では,大規模で意味論的に等価な計算を効率的に識別する,ポータブルで軽量な機械学習ベースのフレームワークであるGEqOを提案する。
論文 参考訳(メタデータ) (2024-01-02T16:37:42Z) - Efficient Detection of LLM-generated Texts with a Bayesian Surrogate Model [14.98695074168234]
本稿では,特に大規模言語モデル(LLM)から機械生成テキストを検出する新しい手法を提案する。
ベイジアンサロゲートモデルを用いて、ベイジアン不確実性に基づいて典型的なサンプルを選択し、典型的なサンプルから他のサンプルへのスコアを補間し、クエリ効率を向上させる。
実験の結果,提案手法はクエリコストの低い既存手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2023-05-26T04:23:10Z) - Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。
本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。
我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
論文 参考訳(メタデータ) (2023-05-01T02:37:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。