論文の概要: CliMedBERT: A Pre-trained Language Model for Climate and Health-related Text

• arxiv url: http://arxiv.org/abs/2212.00689v1
• Date: Thu, 1 Dec 2022 17:44:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 15:55:17.049254
• Title: CliMedBERT: A Pre-trained Language Model for Climate and Health-related Text
• Title（参考訳）: CliMedBERT:気候および健康関連テキストのための事前学習言語モデル
• Authors: B. Jalalzadeh Fard, S. A. Hasan, J. E. Bell
• Abstract要約: 我々は、気候や健康に関する情報とは異なるバリエーションを持つ複数のドメイン固有言語モデル(LM)を開発することを検討する。 これは、検討されたドメインに対して複数のドメイン固有言語モデルを開発することを提案する最初の作業である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Climate change is threatening human health in unprecedented orders and many ways. These threats are expected to grow unless effective and evidence-based policies are developed and acted upon to minimize or eliminate them. Attaining such a task requires the highest degree of the flow of knowledge from science into policy. The multidisciplinary, location-specific, and vastness of published science makes it challenging to keep track of novel work in this area, as well as making the traditional knowledge synthesis methods inefficient in infusing science into policy. To this end, we consider developing multiple domain-specific language models (LMs) with different variations from Climate- and Health-related information, which can serve as a foundational step toward capturing available knowledge to enable solving different tasks, such as detecting similarities between climate- and health-related concepts, fact-checking, relation extraction, evidence of health effects to policy text generation, and more. To our knowledge, this is the first work that proposes developing multiple domain-specific language models for the considered domains. We will make the developed models, resources, and codebase available for the researchers.
• Abstract（参考訳）: 気候変動は前例のない命令や様々な方法で人間の健康を脅かしている。 これらの脅威は、効果的かつエビデンスに基づく政策が開発され、それらを最小化または排除するために行動しない限り拡大することが期待されている。 そのようなタスクを達成するには、科学から政策への知識の流れの最高度が必要である。 出版科学の多分野、位置特化、及び広大な分野において、この領域における新しい研究の追跡を困難にし、科学を政策に注入する伝統的な知識合成手法を非効率にする。 そこで本研究では,気候関連情報と健康関連情報とのバリエーションが異なる複数のドメイン固有言語モデル(lms)を開発し,気候関連概念と健康関連概念の類似性の検出,事実チェック,関係抽出,政策テキスト生成に対する健康影響の証拠など,さまざまな課題を解決するための基本的なステップとして機能する。 我々の知る限り、これは検討されたドメインに対して複数のドメイン固有言語モデルを開発することを提案する最初の作業である。 開発したモデル、リソース、コードベースを研究者に提供します。

関連論文リスト

• Towards unearthing neglected climate innovations from scientific literature using Large Language Models [0.0]
  この研究は、科学論文の包括的リポジトリであるOpenAlexから得られた、キュレートされたデータセットを用いている。 我々は,7次元の科学論文から,気候変動緩和の可能性,技術開発段階,展開準備状況について,題名と肩書きのペアを評価した。 次に、言語モデルのアウトプットを人間の評価と比較し、将来有望だが見落とされた気候のイノベーションを特定する効果を評価する。
  論文  参考訳（メタデータ） (2024-11-15T09:17:40Z)
• Towards Holistic Disease Risk Prediction using Small Language Models [2.137491464843808]
  様々な病気のリスクを同時に予測することを目的とした,小言語モデルと複数のデータソースを接続するフレームワークを提案する。 本実験では,12種類のタスクをマルチタスク学習装置に組み込んだ。
  論文  参考訳（メタデータ） (2024-08-13T15:01:33Z)
• DISCOVERYWORLD: A Virtual Environment for Developing and Evaluating Automated Scientific Discovery Agents [49.74065769505137]
  本研究では,新しい科学的発見の完全なサイクルを実行するエージェントの能力を開発し,ベンチマークする最初の仮想環境であるDiscoVERYWORLDを紹介する。 8つのトピックにまたがる120の異なる課題タスクが含まれており、3レベルの難易度といくつかのパラメトリックなバリエーションがある。 従来の環境においてよく機能する強力なベースラインエージェントが、ほとんどのdiscoVERYWORLDタスクに苦労していることがわかった。
  論文  参考訳（メタデータ） (2024-06-10T20:08:44Z)
• Scientific Large Language Models: A Survey on Biological & Chemical Domains [47.97810890521825]
  大規模言語モデル(LLM)は、自然言語理解の強化において、変革的な力として現れてきた。 LLMの応用は従来の言語境界を超えて、様々な科学分野で開発された専門的な言語システムを含んでいる。 AI for Science(AI for Science)のコミュニティで急成長している分野として、科学LLMは包括的な探査を義務付けている。
  論文  参考訳（メタデータ） (2024-01-26T05:33:34Z)
• Analyzing Regional Impacts of Climate Change using Natural Language Processing Techniques [0.9387233631570752]
  我々は、気候学における特定の地理を特定するために、名前付きエンティティ認識(NER)にBERT(Bidirectional Representations from Transformers)を用いる。 地域ごとの気候傾向分析を行い、特定の地域での気候変動に関連する主要なテーマや関心点を特定する。 これらの地域固有の気候データの詳細な調査は、よりカスタマイズされた政策作成、適応、緩和戦略の作成を可能にする。
  論文  参考訳（メタデータ） (2024-01-11T16:44:59Z)
• Diversifying Knowledge Enhancement of Biomedical Language Models using Adapter Modules and Knowledge Graphs [54.223394825528665]
  我々は、軽量なアダプターモジュールを用いて、構造化された生体医学的知識を事前訓練された言語モデルに注入するアプローチを開発した。 バイオメディカル知識システムUMLSと新しいバイオケミカルOntoChemの2つの大きなKGと、PubMedBERTとBioLinkBERTの2つの著名なバイオメディカルPLMを使用している。 計算能力の要件を低く保ちながら,本手法がいくつかの事例において性能改善につながることを示す。
  論文  参考訳（メタデータ） (2023-12-21T14:26:57Z)
• Unifying Molecular and Textual Representations via Multi-task Language Modelling [11.474894472719543]
  化学・自然言語の両領域で幅広いタスクを解くことができる,最初のマルチドメインマルチタスク言語モデルを提案する。 我々のモデルは、単一のドメインやタスク固有のモデルに対して、高価な事前トレーニングを必要とせずに、化学と自然言語を同時に扱うことができる。 我々の研究は、そのようなモデルが物理科学の発見を堅牢かつ効率的に加速できることを示唆している。
  論文  参考訳（メタデータ） (2023-01-29T23:56:45Z)
• Modeling Information Change in Science Communication with Semantically Matched Paraphrases [50.67030449927206]
  SPICEDは、情報変化の度合いに注釈を付けた科学的な発見の最初のパラフレーズデータセットである。 SPICEDには、ニュース記事、ソーシャルメディアの議論、オリジナル論文の全文から抽出された6000の科学的発見ペアが含まれている。 SPICEDで訓練されたモデルは、実世界の科学的主張の事実チェックのための証拠検索において下流のパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2022-10-24T07:44:38Z)
• Language Generation Models Can Cause Harm: So What Can We Do About It? An Actionable Survey [50.58063811745676]
  この研究は、言語生成モデルから潜在的脅威や社会的害に対処するための実践的な方法の調査を提供する。 言語生成者のさまざまなリスク・ハームを検知・改善するための戦略の構造化された概要を提示するために、言語モデルリスクのいくつかの先行研究を取り上げる。
  論文  参考訳（メタデータ） (2022-10-14T10:43:39Z)
• Data-Centric Epidemic Forecasting: A Survey [56.99209141838794]
  この調査は、様々なデータ駆動の方法論および実践的進歩を掘り下げるものである。 疫学的なデータセットと,流行予測に関連する新しいデータストリームを列挙する。 また,これらの予測システムの現実的な展開において生じる経験や課題についても論じる。
  論文  参考訳（メタデータ） (2022-07-19T16:15:11Z)
• PathologyBERT -- Pre-trained Vs. A New Transformer Language Model for Pathology Domain [2.3628956573813498]
  大規模な病理データベースのテキストマイニングが成功すれば、「ビッグデータ」がん研究の進展に重要な役割を果たす可能性がある。 病理学の分野での急速なデータマイニング開発を支援するために、病理学固有の言語空間は存在しない。 PathologyBERTは,347,173例の病理組織学的報告に基づいて訓練された,訓練済みの仮面言語モデルである。
  論文  参考訳（メタデータ） (2022-05-13T20:42:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。