論文の概要: Coal Mining Question Answering with LLMs
- arxiv url: http://arxiv.org/abs/2410.02959v1
- Date: Thu, 03 Oct 2024 20:02:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 15:10:40.022578
- Title: Coal Mining Question Answering with LLMs
- Title(参考訳): LLMによる石炭採掘問題への回答
- Authors: Antonio Carlos Rivera, Anthony Moore, Steven Robinson,
- Abstract要約: 石炭採掘は複雑でリスクの高い産業であり、正確で状況に応じた情報が安全かつ効率的な運用に不可欠である。
現在のQAシステムは、マイニング関連クエリの技術的および動的性質を扱うのに苦労している。
GPT-4 などの LLM を導出する多ターンプロンプトエンジニアリングフレームワークを提案する。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: In this paper, we present a novel approach to coal mining question answering (QA) using large language models (LLMs) combined with tailored prompt engineering techniques. Coal mining is a complex, high-risk industry where accurate, context-aware information is critical for safe and efficient operations. Current QA systems struggle to handle the technical and dynamic nature of mining-related queries. To address these challenges, we propose a multi-turn prompt engineering framework designed to guide LLMs, such as GPT-4, in answering coal mining questions with higher precision and relevance. By breaking down complex queries into structured components, our approach allows LLMs to process nuanced technical information more effectively. We manually curated a dataset of 500 questions from real-world mining scenarios and evaluated the system's performance using both accuracy (ACC) and GPT-4-based scoring metrics. Experiments comparing ChatGPT, Claude2, and GPT-4 across baseline, chain-of-thought (CoT), and multi-turn prompting methods demonstrate that our method significantly improves both accuracy and contextual relevance, with an average accuracy improvement of 15-18\% and a notable increase in GPT-4 scores. The results show that our prompt-engineering approach provides a robust, adaptable solution for domain-specific question answering in high-stakes environments like coal mining.
- Abstract(参考訳): 本稿では,大規模言語モデル (LLMs) を用いた石炭鉱業質問応答 (QA) の手法を提案する。
石炭採掘は複雑でリスクの高い産業であり、正確で状況に応じた情報が安全かつ効率的な運用に不可欠である。
現在のQAシステムは、マイニング関連クエリの技術的および動的性質を扱うのに苦労している。
これらの課題に対処するために, GPT-4 などの LLM を誘導する多ターンプロンプトエンジニアリングフレームワークを提案する。
複雑なクエリを構造化されたコンポーネントに分割することで、LLMはより効率的にニュアンス付き技術情報を処理することができる。
実世界の鉱業シナリオから500の質問のデータセットを手作業で収集し,精度(ACC)とGPT-4に基づく評価指標を用いてシステムの性能評価を行った。
ChatGPT, Claude2, GPT-4をベースライン, チェーン・オブ・シント(CoT), マルチターン・プロンプト法で比較した結果, 平均精度15~18倍, GPT-4スコアが顕著に向上した。
その結果, 石炭採掘のような高度環境下でのドメイン固有質問応答に対して, 迅速かつ適応的な解法が得られた。
関連論文リスト
- Benchmarking LLMs for Optimization Modeling and Enhancing Reasoning via Reverse Socratic Synthesis [60.23133327001978]
大規模言語モデル(LLM)は、数学的推論においてその問題解決能力を示した。
本稿では,人間可読入力と出力を用いたエンドツーエンド最適化問題のベンチマークであるE-OPTを提案する。
論文 参考訳(メタデータ) (2024-07-13T13:27:57Z) - CoTAR: Chain-of-Thought Attribution Reasoning with Multi-level Granularity [8.377398103067508]
本稿では、属性の精度を高めるために、属性指向のチェーン・オブ・ソート推論手法を提案する。
GPT-4を用いた2つの文脈付き質問応答データセットの評価により,属性の精度と正確性が改善された。
論文 参考訳(メタデータ) (2024-04-16T12:37:10Z) - Benchmarking GPT-4 on Algorithmic Problems: A Systematic Evaluation of Prompting Strategies [47.129504708849446]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらした。
LLMは体系的な一般化を欠き、学習された統計正則をトレーニング分布の外へ外挿することができる。
本稿では,最も先進的なLCMの1つであるGPT-4の系統的なベンチマークを行う。
論文 参考訳(メタデータ) (2024-02-27T10:44:52Z) - RAG vs Fine-tuning: Pipelines, Tradeoffs, and a Case Study on
Agriculture [2.4184993026516213]
我々は、微調整とRAGのためのパイプラインを提案し、人気のあるLarge Language Modelのトレードオフを提示する。
この結果から,データセット生成パイプラインの有効性が示唆された。
論文 参考訳(メタデータ) (2024-01-16T14:44:47Z) - Biomedical knowledge graph-optimized prompt generation for large language models [1.6658478064349376]
大規模言語モデル(LLM)は前例のない速度で採用されているが、バイオメディシンのような知識集約ドメインでは依然として課題に直面している。
本稿では,トークン最適化およびロバストな知識グラフに基づくRetrieval Augmented Generationフレームワークを紹介する。
論文 参考訳(メタデータ) (2023-11-29T03:07:00Z) - Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。
FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。
テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
論文 参考訳(メタデータ) (2023-11-14T18:41:54Z) - Let's Chat to Find the APIs: Connecting Human, LLM and Knowledge Graph
through AI Chain [21.27256145010061]
本稿では,APIレコメンデーションのための知識誘導型クエリ明確化手法を提案する。
我々は、知識グラフ(KG)によって導かれる大きな言語モデル(LLM)を用いて、語彙外障害(OOV)を克服する。
我々のアプローチは、5つのステップからなるAIチェーンとして設計されており、それぞれが別々のLLMコールによって処理される。
論文 参考訳(メタデータ) (2023-09-28T03:31:01Z) - LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities [66.36633042421387]
知識グラフ(KG)の構築と推論のための大規模言語モデル(LLM)の評価。
我々は,LLMと外部ソースを用いたマルチエージェントベースのアプローチであるAutoKGを提案し,KGの構築と推論を行う。
論文 参考訳(メタデータ) (2023-05-22T15:56:44Z) - Policy Information Capacity: Information-Theoretic Measure for Task
Complexity in Deep Reinforcement Learning [83.66080019570461]
課題の難易度について,環境にとらわれない,アルゴリズムにとらわれない2つの定量的指標を提案する。
これらの指標は、様々な代替案よりも、正規化タスク可解性スコアとの相関が高いことを示す。
これらのメトリクスは、鍵設計パラメータの高速かつ計算効率の良い最適化にも使用できる。
論文 参考訳(メタデータ) (2021-03-23T17:49:50Z) - Self-Teaching Machines to Read and Comprehend with Large-Scale
Multi-Subject Question Answering Data [58.36305373100518]
主観的問合せデータが機械読解作業に有用かどうかは不明である。
大規模多目的多目的質問回答データセットであるExamQAを収集する。
我々は、Web検索エンジンが返す不完全でノイズの多いスニペットを、各質問応答インスタンスの関連するコンテキストとして使用し、弱いラベル付きMRCインスタンスに変換する。
論文 参考訳(メタデータ) (2021-02-01T23:18:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。