論文の概要: Coal Mining Question Answering with LLMs

• arxiv url: http://arxiv.org/abs/2410.02959v1
• Date: Thu, 3 Oct 2024 20:02:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 04:45:27.613208
• Title: Coal Mining Question Answering with LLMs
• Title（参考訳）: LLMによる石炭採掘問題への回答
• Authors: Antonio Carlos Rivera, Anthony Moore, Steven Robinson,
• Abstract要約: 石炭採掘は複雑でリスクの高い産業であり、正確で状況に応じた情報が安全かつ効率的な運用に不可欠である。 現在のQAシステムは、マイニング関連クエリの技術的および動的性質を扱うのに苦労している。 GPT-4 などの LLM を導出する多ターンプロンプトエンジニアリングフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this paper, we present a novel approach to coal mining question answering (QA) using large language models (LLMs) combined with tailored prompt engineering techniques. Coal mining is a complex, high-risk industry where accurate, context-aware information is critical for safe and efficient operations. Current QA systems struggle to handle the technical and dynamic nature of mining-related queries. To address these challenges, we propose a multi-turn prompt engineering framework designed to guide LLMs, such as GPT-4, in answering coal mining questions with higher precision and relevance. By breaking down complex queries into structured components, our approach allows LLMs to process nuanced technical information more effectively. We manually curated a dataset of 500 questions from real-world mining scenarios and evaluated the system's performance using both accuracy (ACC) and GPT-4-based scoring metrics. Experiments comparing ChatGPT, Claude2, and GPT-4 across baseline, chain-of-thought (CoT), and multi-turn prompting methods demonstrate that our method significantly improves both accuracy and contextual relevance, with an average accuracy improvement of 15-18\% and a notable increase in GPT-4 scores. The results show that our prompt-engineering approach provides a robust, adaptable solution for domain-specific question answering in high-stakes environments like coal mining.
• Abstract（参考訳）: 本稿では,大規模言語モデル (LLMs) を用いた石炭鉱業質問応答 (QA) の手法を提案する。 石炭採掘は複雑でリスクの高い産業であり、正確で状況に応じた情報が安全かつ効率的な運用に不可欠である。 現在のQAシステムは、マイニング関連クエリの技術的および動的性質を扱うのに苦労している。 これらの課題に対処するために, GPT-4 などの LLM を誘導する多ターンプロンプトエンジニアリングフレームワークを提案する。 複雑なクエリを構造化されたコンポーネントに分割することで、LLMはより効率的にニュアンス付き技術情報を処理することができる。 実世界の鉱業シナリオから500の質問のデータセットを手作業で収集し,精度(ACC)とGPT-4に基づく評価指標を用いてシステムの性能評価を行った。 ChatGPT, Claude2, GPT-4をベースライン, チェーン・オブ・シント(CoT), マルチターン・プロンプト法で比較した結果, 平均精度15～18倍, GPT-4スコアが顕著に向上した。 その結果, 石炭採掘のような高度環境下でのドメイン固有質問応答に対して, 迅速かつ適応的な解法が得られた。

関連論文リスト

• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• AT-RAG: An Adaptive RAG Model Enhancing Query Efficiency with Topic Filtering and Iterative Reasoning [0.0]
  本稿では,効率的な文書検索と推論のためのトピックモデリングを取り入れた新しい多段階RAGAT-RAGを提案する。 BERTopicを用いてクエリにトピックを動的に割り当て,検索精度と効率を向上する。 その結果,既存手法に比べて精度,完全性,妥当性が著しく向上した。
  論文  参考訳（メタデータ） (2024-10-16T01:57:56Z)
• Evaluating ChatGPT on Nuclear Domain-Specific Data [0.0]
  本稿では,大規模言語モデル(LLM)であるChatGPTの,高度に専門化された核データ分野におけるQ&Aタスクへの適用について検討する。 主な焦点は、キュレートされたテストデータセット上でのChatGPTのパフォーマンスの評価である。 LLMにRAGパイプラインを組み込むことにより, 性能の向上が図られた。
  論文  参考訳（メタデータ） (2024-08-26T08:17:42Z)
• Enhancing Agricultural Machinery Management through Advanced LLM Integration [0.7366405857677226]
  人工知能の農業実践への統合は、農業における効率性と持続可能性に革命をもたらす可能性がある。 本稿では,大規模言語モデル(LLM),特にGPT-4を活用して,農業機械経営における意思決定プロセスを強化する手法を提案する。
  論文  参考訳（メタデータ） (2024-07-30T06:49:55Z)
• CoTAR: Chain-of-Thought Attribution Reasoning with Multi-level Granularity [8.377398103067508]
  本稿では、属性の精度を高めるために、属性指向のチェーン・オブ・ソート推論手法を提案する。 GPT-4を用いた2つの文脈付き質問応答データセットの評価により,属性の精度と正確性が改善された。
  論文  参考訳（メタデータ） (2024-04-16T12:37:10Z)
• Benchmarking GPT-4 on Algorithmic Problems: A Systematic Evaluation of Prompting Strategies [47.129504708849446]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらした。 LLMは体系的な一般化を欠き、学習された統計正則をトレーニング分布の外へ外挿することができる。 本稿では,最も先進的なLCMの1つであるGPT-4の系統的なベンチマークを行う。
  論文  参考訳（メタデータ） (2024-02-27T10:44:52Z)
• Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
  生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。 FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。 テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
  論文  参考訳（メタデータ） (2023-11-14T18:41:54Z)
• LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities [66.36633042421387]
  知識グラフ(KG)の構築と推論のための大規模言語モデル(LLM)の評価。 我々は,LLMと外部ソースを用いたマルチエージェントベースのアプローチであるAutoKGを提案し,KGの構築と推論を行う。
  論文  参考訳（メタデータ） (2023-05-22T15:56:44Z)
• Policy Information Capacity: Information-Theoretic Measure for Task Complexity in Deep Reinforcement Learning [83.66080019570461]
  課題の難易度について,環境にとらわれない,アルゴリズムにとらわれない2つの定量的指標を提案する。 これらの指標は、様々な代替案よりも、正規化タスク可解性スコアとの相関が高いことを示す。 これらのメトリクスは、鍵設計パラメータの高速かつ計算効率の良い最適化にも使用できる。
  論文  参考訳（メタデータ） (2021-03-23T17:49:50Z)
• Self-Teaching Machines to Read and Comprehend with Large-Scale Multi-Subject Question Answering Data [58.36305373100518]
  主観的問合せデータが機械読解作業に有用かどうかは不明である。 大規模多目的多目的質問回答データセットであるExamQAを収集する。 我々は、Web検索エンジンが返す不完全でノイズの多いスニペットを、各質問応答インスタンスの関連するコンテキストとして使用し、弱いラベル付きMRCインスタンスに変換する。
  論文  参考訳（メタデータ） (2021-02-01T23:18:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。