論文の概要: Domain-Adaptive Pretraining Enhances Water Treatment Semantic Representation for Large-Scale Structured Literature Mining

• arxiv url: http://arxiv.org/abs/2609.26034v1
• Date: Tue, 22 Sep 2026 11:33:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.344845
• Title: Domain-Adaptive Pretraining Enhances Water Treatment Semantic Representation for Large-Scale Structured Literature Mining
• Title（参考訳）: 大規模構造化文学マイニングのためのドメイン適応型プレトレーニングエンハンス水処理セマンティック表現
• Abstract要約: WaterBERTは、意味表現と構造化情報抽出のために設計されたドメイン適応エンコーダモデルである。 WaterBERTは、約297億のトークンからなる大規模水処理コーパスの継続事前訓練によって開発された。 WaterBERT-BERTopicは、事前に定義されたカテゴリなしで、一貫性、多様性、およびドメイン固有の研究トピックを特定した。
• 参考スコア（独自算出の注目度）: 6.317703565513301
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Water treatment research is expanding rapidly, but much of the knowledge acquired from this research remains scattered across unstructured literature. The field still lacks a dedicated language model that can efficiently capture water treatment-specific domain semantics for large-scale literature mining. Here, we address this by developing WaterBERT, a domain-adapted encoder model designed for semantic representation and structured information extraction from water treatment texts. WaterBERT was developed by continual pretraining on a large-scale water treatment corpus comprising about 2.97 billion tokens. Three fine-tuned models based on WaterBERT were systematically evaluated on downstream tasks, achieving the best overall performance among general-purpose and domain-specific BERT models, with F1 scores of 90.12% for multiclass treatment process classification, 79.50% for named entity recognition, and 74.04% for relation extraction. Beyond these benchmark tasks, we further demonstrated WaterBERT's advantages for large-scale literature processing. Applied to 5,144 Environmental Science & Technology articles, WaterBERT-BERTopic identified coherent, diverse, and domain-specific research topics without predefined categories. Building on WaterBERT, we processed 693,211 abstracts at substantially lower cost than commercial LLMs while retaining competitive extraction performance to construct a structured water treatment knowledge graph. The knowledge graph was then integrated with lexical and dense retrieval to develop a Water Knowledge-Enhanced Retrieval System (WaterKERS), which achieved a relevance score of 77.7, substantially outperforming text-based retrieval baselines (54.7-64.5). Through WaterBERT, this study provides a compact and scalable semantic foundation for large-scale information processing and evidence mapping in water treatment research.
• Abstract（参考訳）: 水処理の研究は急速に拡大しているが、この研究から得られた知識の多くは、構造化されていない文献に散らばっている。 この分野には、大規模な文献採掘のための水処理固有のドメインセマンティクスを効率的にキャプチャできる専用の言語モデルがない。 本稿では,水処理テキストから意味表現と構造化情報抽出を目的としたドメイン適応エンコーダモデルであるWaterBERTを開発することにより,この問題に対処する。 WaterBERTは、約297億のトークンからなる大規模水処理コーパスの継続事前訓練によって開発された。 WaterBERTに基づく3つの微調整モデルを下流タスクで体系的に評価し、汎用およびドメイン固有のBERTモデルで最高の総合性能を達成し、F1スコアはマルチクラス処理プロセス分類で90.12%、名前付きエンティティ認識で79.50%、関係抽出で74.04%であった。 これらのベンチマークタスク以外にも、大規模文献処理におけるWaterBERTの利点をさらに実証した。 環境科学と技術に関する5,144の論文に適用されたWaterBERT-BERTopicは、あらかじめ定義されたカテゴリを含まない一貫性、多様性、ドメイン固有の研究トピックを特定した。 WaterBERT 上に構築した 693,211 個の抽象材料を商業用 LLM よりも大幅に低コストで処理し, 競合抽出性能を維持して構造化水処理知識グラフを構築した。 知識グラフは語彙検索と密集検索と統合され、ウォーター知識強化検索システム(WaterKERS)を開発し、77.7の関連スコアを獲得し、テキストベースの検索ベースライン(54.7-64.5)を大幅に上回った。 水処理研究における大規模情報処理とエビデンスマッピングのためのコンパクトでスケーラブルなセマンティック基盤を提供する。

関連論文リスト

• Retrieval-Augmented Water Level Forecasting for Everglades [1.2163458046014013]
  本稿では,予測前のモデル入力を豊かにするために,Retrieval-Augmented Forecasting (RAF) を水文学領域に導入する。 RAFは、歴史的データから関連するパターンを特定し、組み込んで、文脈認識と予測精度を高める。 本研究では,エバーグレーズにおける実世界のデータに関する総合的な評価を行い,RAFフレームワークが水位予測精度を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2025-08-06T21:27:12Z)
• HySemRAG: A Hybrid Semantic Retrieval-Augmented Generation Framework for Automated Literature Synthesis and Methodological Gap Analysis [55.2480439325792]
  HySemRAGは、Extract, Transform, Load (ETL)パイプラインとRetrieval-Augmented Generation (RAG)を組み合わせたフレームワークである。 システムは、マルチ層アプローチを通じて既存のRAGアーキテクチャの制限に対処する。
  論文  参考訳（メタデータ） (2025-08-01T20:30:42Z)
• Unlocking the Potential: Benchmarking Large Language Models in Water Engineering and Research [29.000093936272695]
  この研究は、様々な水工学および研究課題にまたがる大規模言語モデルの貢献を初めて評価した。 我々は,水工学と研究に関連する973の課題を,「汚水処理」「環境復元」「水処理と分布の低下」「衛生」「嫌気性消化」に分類した。 これらの課題に対して、7つのLCM(GPT-4, GPT-3.5, Gemini, GLM-4, ERNIE, QWEN, Llama3)の性能評価を行った。
  論文  参考訳（メタデータ） (2024-07-22T12:32:22Z)
• SciRIFF: A Resource to Enhance Language Model Instruction-Following over Scientific Literature [97.31347312130119]
  SciRIFF(Scientific Resource for Instruction-Following and Finetuning)は、トレーニングと評価のための137K命令フォローインスタンスのデータセットで、54のタスクをカバーする。 これらのタスクは、情報抽出、要約、質問応答、クレーム検証、分類の5つの中核的な科学文献理解能力にまたがる。 SciRIFFは、さまざまな科学分野にわたる研究文献から情報を抽出し、合成するための、完全に専門家によって書かれた高品質な命令追跡データセットである。
  論文  参考訳（メタデータ） (2024-06-10T21:22:08Z)
• PathLDM: Text conditioned Latent Diffusion Model for Histopathology [62.970593674481414]
  そこで我々は,高品質な病理像を生成するためのテキスト条件付き遅延拡散モデルPathLDMを紹介した。 提案手法は画像とテキストデータを融合して生成プロセスを強化する。 我々は,TCGA-BRCAデータセット上でのテキスト・ツー・イメージ生成において,SoTA FIDスコア7.64を達成し,FID30.1と最も近いテキスト・コンディショナブル・コンペティタを著しく上回った。
  論文  参考訳（メタデータ） (2023-09-01T22:08:32Z)
• DeepAqua: Self-Supervised Semantic Segmentation of Wetland Surface Water Extent with SAR Images using Knowledge Distillation [44.99833362998488]
  トレーニングフェーズ中に手動アノテーションを不要にする自己教師型ディープラーニングモデルであるDeepAquaを提案する。 我々は、光とレーダーをベースとしたウォーターマスクが一致する場合を利用して、水面と植物の両方を検知する。 実験の結果,DeepAquaの精度は7%向上し,Intersection Over Unionが27%,F1が14%向上した。
  論文  参考訳（メタデータ） (2023-05-02T18:06:21Z)
• ATLANTIS: A Benchmark for Semantic Segmentation of Waterbody Images [11.694400268453366]
  ATLANTISは,水系とその関連オブジェクトのセマンティックセグメンテーションのための新しいベンチマークである。 ATLANTISは5,195枚の水たまりの画像と56種類のオブジェクトの高品質なピクセルレベルの手動アノテーションで構成されている。 新しいディープニューラルネットワークであるAquaNetは、水生領域と非水生領域を2つの異なる経路で処理することで、水域のセマンティックセマンティックセグメンテーションのために開発された。
  論文  参考訳（メタデータ） (2021-11-22T22:56:14Z)
• Water Level Estimation Using Sentinel-1 Synthetic Aperture Radar Imagery And Digital Elevation Models [0.0]
  Sentinel-1 Synthetic Aperture Radar ImageryとDigital Elevation Modelデータセットを用いた新しい水位抽出手法を提案する。 実験の結果、このアルゴリズムは世界中の3つの貯水池で0.93mの低い平均誤差を達成した。
  論文  参考訳（メタデータ） (2020-12-11T18:42:15Z)
• A Data Scientist's Guide to Streamflow Prediction [55.22219308265945]
  我々は,水文降雨要素と流出モデルに着目し,洪水の予測と流れの予測に応用する。 このガイドは、データサイエンティストが問題や水文学的な概念、そしてその過程で現れる詳細を理解するのを助けることを目的としています。
  論文  参考訳（メタデータ） (2020-06-05T08:04:37Z)
• Data Pre-Processing and Evaluating the Performance of Several Data Mining Methods for Predicting Irrigation Water Requirement [2.2108425580353774]
  近年の干ばつや人口増加は、利用可能な限られた水資源の使用に対する前例のない需要を植え付けている。 灌水地域の水管理を改善するためには,将来的な水需要の予測モデルが必要である。 データマイニングはそのようなモデルを構築するのに効果的に利用できる。
  論文  参考訳（メタデータ） (2020-03-01T05:42:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。