論文の概要: Unlocking the Potential: Benchmarking Large Language Models in Water Engineering and Research

• arxiv url: http://arxiv.org/abs/2407.21045v1
• Date: Mon, 22 Jul 2024 12:32:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-04 19:28:03.126314
• Title: Unlocking the Potential: Benchmarking Large Language Models in Water Engineering and Research
• Title（参考訳）: 可能性の解き放つ - ウォーターエンジニアリングと研究における大規模言語モデルのベンチマーク
• Authors: Boyan Xu, Liang Wen, Zihao Li, Yuxing Yang, Guanlan Wu, Xiongpeng Tang, Yu Li, Zihao Wu, Qingxian Su, Xueqing Shi, Yue Yang, Rui Tong, How Yong Ng,
• Abstract要約: この研究は、様々な水工学および研究課題にまたがる大規模言語モデルの貢献を初めて評価した。 我々は,水工学と研究に関連する973の課題を,「汚水処理」「環境復元」「水処理と分布の低下」「衛生」「嫌気性消化」に分類した。 これらの課題に対して、7つのLCM(GPT-4, GPT-3.5, Gemini, GLM-4, ERNIE, QWEN, Llama3)の性能評価を行った。
• 参考スコア（独自算出の注目度）: 29.000093936272695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in Large Language Models (LLMs) have sparked interest in their potential applications across various fields. This paper embarked on a pivotal inquiry: Can existing LLMs effectively serve as "water expert models" for water engineering and research tasks? This study was the first to evaluate LLMs' contributions across various water engineering and research tasks by establishing a domain-specific benchmark suite, namely, WaterER. Herein, we prepared 983 tasks related to water engineering and research, categorized into "wastewater treatment", "environmental restoration", "drinking water treatment and distribution", "sanitation", "anaerobic digestion" and "contaminants assessment". We evaluated the performance of seven LLMs (i.e., GPT-4, GPT-3.5, Gemini, GLM-4, ERNIE, QWEN and Llama3) on these tasks. We highlighted the strengths of GPT-4 in handling diverse and complex tasks of water engineering and water research, the specialized capabilities of Gemini in academic contexts, Llama3's strongest capacity to answer Chinese water engineering questions and the competitive performance of Chinese-oriented models like GLM-4, ERNIE and QWEN in some water engineering tasks. More specifically, current LLMs excelled particularly in generating precise research gaps for papers on "contaminants and related water quality monitoring and assessment". Additionally, they were more adept at creating appropriate titles for research papers on "treatment processes for wastewaters", "environmental restoration", and "drinking water treatment". Overall, this study pioneered evaluating LLMs in water engineering and research by introducing the WaterER benchmark to assess the trustworthiness of their predictions. This standardized evaluation framework would also drive future advancements in LLM technology by using targeting datasets, propelling these models towards becoming true "water expert".
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、様々な分野にわたる潜在的な応用への関心を喚起している。 既存のLLMは、水工学や研究タスクの「水エキスパートモデル」として効果的に機能するのか? この研究は、ドメイン固有のベンチマークスイート、すなわちWaterERを確立することで、様々な水工学および研究課題におけるLLMの貢献を初めて評価した。 そこで我々は,水工学と研究に関連する973の課題を,「汚水処理」「環境復元」「水処理と分布の低下」「衛生」「嫌気性消化」「汚染物質評価」に分類した。 これらの課題に対して、7つのLCM(GPT-4, GPT-3.5, Gemini, GLM-4, ERNIE, QWEN, Llama3)の性能評価を行った。 我々は,水工学および水工学研究の多様かつ複雑なタスクの処理におけるGPT-4の強み,学術的文脈におけるGeminiの特殊能力,中国の水工学的疑問に答えるLlama3の最大の能力,およびいくつかの水工学的課題におけるGLM-4,ERNIE,QWENといった中国指向モデルの競争性能について強調した。 より具体的には、現在のLLMは「汚染物質および関連する水質モニタリングおよび評価」に関する論文の正確な研究ギャップを生じさせるのに優れていた。 さらに、彼らは「排水処理プロセス」、「環境修復」、「排水処理」に関する研究論文の適切なタイトルを作成することに長けていた。 本研究は,水工学および研究におけるLCMの評価の先駆者であり,予測の信頼性を評価するためにWaterERベンチマークを導入した。 この標準化された評価フレームワークは、ターゲットデータセットを使用して将来のLLM技術の進歩を促進し、これらのモデルを真の「水の専門家」へと推進する。

関連論文リスト

• ChemEval: A Comprehensive Multi-Level Chemical Evaluation for Large Language Models [62.37850540570268]
  この領域の既存のベンチマークは、化学研究専門家の特定の要求を適切に満たさない。 ChemEvalは化学の4つの重要な進歩レベルを特定し、42の異なる化学タスクで12次元のLCMを評価する。 その結果, LLMは文献の理解と指導に優れる一方で, 高度な化学知識を必要とするタスクでは不足していることがわかった。
  論文  参考訳（メタデータ） (2024-09-21T02:50:43Z)
• Watermarking Techniques for Large Language Models: A Survey [34.785207813971134]
  大規模言語モデル(LLM)の濫用は、知的財産権問題、学術的不正行為、虚偽の内容、幻覚など、人間の社会に潜在的に害を与える。 我々の知る限り、LLM透かし技術の詳細を精査し分析する最初の徹底的なレビューである。
  論文  参考訳（メタデータ） (2024-08-26T06:50:11Z)
• MASSW: A New Dataset and Benchmark Tasks for AI-Assisted Scientific Workflows [58.56005277371235]
  我々は,Multi-Aspect Summarization of ScientificAspectsに関する総合テキストデータセットであるMASSWを紹介する。 MASSWには過去50年間にわたる17の主要なコンピュータサイエンスカンファレンスから152,000以上の査読論文が含まれている。 我々は、この新しいデータセットを用いてベンチマーク可能な、複数の新しい機械学習タスクを通じて、MASSWの有用性を実証する。
  論文  参考訳（メタデータ） (2024-06-10T15:19:09Z)
• Aquatic Navigation: A Challenging Benchmark for Deep Reinforcement Learning [53.3760591018817]
  ゲームエンジンとDeep Reinforcement Learningの統合の最近の進歩を利用して,水上ナビゲーションのための新しいベンチマーク環境を提案する。 具体的には、最も広く受け入れられているアルゴリズムの一つであるPPOに着目し、先進的なトレーニング手法を提案する。 実験により,これらの成分をうまく組み合わせることで,有望な結果が得られることが示された。
  論文  参考訳（メタデータ） (2024-05-30T23:20:23Z)
• Exploring Boundary of GPT-4V on Marine Analysis: A Preliminary Case Study [31.243696199790413]
  大規模言語モデル(LLM)は、汎用アシスタントとして様々なクエリに応答する強力な能力を示している。 連続的マルチモーダル大言語モデル(MLLM)は、視覚信号を知覚する能力を持つLLMに権限を与える。 GPT-4(Generative Pre-trained Transformers)のローンチは、研究コミュニティに大きな関心を集めている。
  論文  参考訳（メタデータ） (2024-01-04T08:53:08Z)
• What can Large Language Models do in chemistry? A comprehensive benchmark on eight tasks [41.9830989458936]
  自然言語処理タスクに強力な能力を持つ大規模言語モデル(LLM)が出現している。 化学領域全体にわたる幅広いタスクにおいてLLMの能力を評価することを目的としている。
  論文  参考訳（メタデータ） (2023-05-27T14:17:33Z)
• Is ChatGPT Good at Search? Investigating Large Language Models as Re-Ranking Agents [56.104476412839944]
  大規模言語モデル(LLM)は、様々な言語関連タスクにまたがる顕著なゼロショットの一般化を実証している。 本稿では、情報検索(IR)における関連性ランキングのためのジェネレーティブLLMについて検討する。 LLMのデータ汚染に関する懸念に対処するため,我々はNovereEvalという新しいテストセットを収集した。 実世界のアプリケーションの効率を向上させるため、ChatGPTのランキング能力を小さな特殊モデルに蒸留する可能性を探る。
  論文  参考訳（メタデータ） (2023-04-19T10:16:03Z)
• Just Tell Me: Prompt Engineering in Business Process Management [63.08166397142146]
  GPT-3や他の言語モデル(LM)は、様々な自然言語処理(NLP)タスクに効果的に対処できる。 私たちは、迅速なエンジニアリングは、BPM研究にLMの能力をもたらすことができると論じています。
  論文  参考訳（メタデータ） (2023-04-14T14:55:19Z)
• AquaFeL-PSO: A Monitoring System for Water Resources using Autonomous Surface Vehicles based on Multimodal PSO and Federated Learning [0.0]
  水資源の保存、モニタリング、管理は、ここ数十年で大きな課題となっている。 本稿では,水質センサを備えた自動表面車両を用いた水質モニタリングシステムを提案する。
  論文  参考訳（メタデータ） (2022-11-28T10:56:12Z)
• Water Level Estimation Using Sentinel-1 Synthetic Aperture Radar Imagery And Digital Elevation Models [0.0]
  Sentinel-1 Synthetic Aperture Radar ImageryとDigital Elevation Modelデータセットを用いた新しい水位抽出手法を提案する。 実験の結果、このアルゴリズムは世界中の3つの貯水池で0.93mの低い平均誤差を達成した。
  論文  参考訳（メタデータ） (2020-12-11T18:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。