Fugu-MT 論文翻訳(概要): PhysBERT: A Text Embedding Model for Physics Scientific Literature

論文の概要: PhysBERT: A Text Embedding Model for Physics Scientific Literature

arxiv url: http://arxiv.org/abs/2408.09574v1
Date: Sun, 18 Aug 2024 19:18:12 GMT
ステータス: 処理完了
システム内更新日: 2024-08-20 18:14:03.988087
Title: PhysBERT: A Text Embedding Model for Physics Scientific Literature
Title（参考訳）: PhysBERT:物理科学研究のためのテキスト埋め込みモデル
Authors: Thorsten Hellert, João Montenegro, Andrea Pollastro,
Abstract要約: 本稿では,最初の物理固有テキスト埋め込みモデルであるPhysBERTを紹介する。 120万のarXiv物理論文のキュレートされたコーパスで事前訓練され、教師付きデータで微調整されたPhysBERTは、物理学固有のタスクに関する一般的なモデルよりも優れています。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The specialized language and complex concepts in physics pose significant challenges for information extraction through Natural Language Processing (NLP). Central to effective NLP applications is the text embedding model, which converts text into dense vector representations for efficient information retrieval and semantic analysis. In this work, we introduce PhysBERT, the first physics-specific text embedding model. Pre-trained on a curated corpus of 1.2 million arXiv physics papers and fine-tuned with supervised data, PhysBERT outperforms leading general-purpose models on physics-specific tasks including the effectiveness in fine-tuning for specific physics subdomains.
Abstract（参考訳）: 物理学における特殊言語と複雑な概念は、自然言語処理(NLP)を通して情報抽出に重大な課題をもたらす。有効なNLPアプリケーションの中心はテキスト埋め込みモデルであり、テキストを高密度なベクトル表現に変換して効率的な情報検索と意味解析を行う。本稿では,最初の物理固有テキスト埋め込みモデルであるPhysBERTを紹介する。 120万のarXiv物理論文のキュレートされたコーパスで事前訓練され、教師付きデータで微調整されたPhysBERTは、特定の物理サブドメインに対する微調整の有効性を含む、物理学固有のタスクに関する一般的なモデルにおいて、主要な汎用モデルよりも優れています。

関連論文リスト

Astro-HEP-BERT: A bidirectional language model for studying the meanings of concepts in astrophysics and high energy physics [0.0]
このプロジェクトは、科学の歴史、哲学、社会学の応用に双方向トランスフォーマーを適用することの有効性と可能性を示す。トレーニングプロセス全体は、無償のコード、事前訓練された重み、テキスト入力を使用して実行され、1つのMacBook Pro Laptopで完了した。予備的な評価は、Astro-HEP-BERTのCWEが、より大きなデータセットでスクラッチからトレーニングされたドメイン適応BERTモデルと互換性があることを示している。
論文参考訳（メタデータ） (2024-11-22T11:59:15Z)
Towards World Simulator: Crafting Physical Commonsense-Based Benchmark for Video Generation [51.750634349748736]
テキスト・ツー・ビデオ(T2V)モデルは複雑なプロンプトの可視化に大きく貢献している。しかし、直感的な物理を正確に表現するこれらのモデルの能力はほとんど解明されていない。本稿では,T2V生成における物理コモンセンスの正しさを評価するためにPhyGenBenchを導入する。
論文参考訳（メタデータ） (2024-10-07T17:56:04Z)
Transport-Embedded Neural Architecture: Redefining the Landscape of physics aware neural models in fluid mechanics [0.0]
二周期領域上で定義される物理問題であるTaylor-Green vortexは、標準物理インフォームドニューラルネットワークと我々のモデルの両方の性能を評価するベンチマークとして使用される。その結果,標準物理インフォームドニューラルネットワークは解の正確な予測に失敗し,初期条件を時間的に返却するだけでなく,物理の時間的変化をうまく捉えていることがわかった。
論文参考訳（メタデータ） (2024-10-05T10:32:51Z)
Latent Intuitive Physics: Learning to Transfer Hidden Physics from A 3D Video [58.043569985784806]
本稿では,物理シミュレーションのための伝達学習フレームワークである潜在直観物理学を紹介する。単一の3Dビデオから流体の隠れた性質を推測し、新しいシーンで観察された流体をシミュレートすることができる。我々は,本モデルの有効性を3つの方法で検証する: (i) 学習されたビジュアルワールド物理を用いた新しいシーンシミュレーション, (ii) 観測された流体力学の将来予測, (iii) 教師付き粒子シミュレーション。
論文参考訳（メタデータ） (2024-06-18T16:37:44Z)
ContPhy: Continuum Physical Concept Learning and Reasoning from Videos [86.63174804149216]
ContPhyは、マシン物理常識を評価するための新しいベンチマークである。私たちは、さまざまなAIモデルを評価し、ContPhyで満足なパフォーマンスを達成するのに依然として苦労していることがわかった。また、近年の大規模言語モデルとパーティクルベースの物理力学モデルを組み合わせるためのオラクルモデル(ContPRO)を導入する。
論文参考訳（メタデータ） (2024-02-09T01:09:21Z)
Human Trajectory Prediction via Neural Social Physics [63.62824628085961]
軌道予測は多くの分野において広く研究され、多くのモデルベースおよびモデルフリーな手法が研究されている。ニューラル微分方程式モデルに基づく新しい手法を提案する。我々の新しいモデル(ニューラル社会物理学またはNSP)は、学習可能なパラメータを持つ明示的な物理モデルを使用するディープニューラルネットワークである。
論文参考訳（メタデータ） (2022-07-21T12:11:18Z)
Calibrating constitutive models with full-field data via physics informed neural networks [0.0]
実フィールド変位データに基づくモデルパラメータ化の発見のための物理インフォームド深層学習フレームワークを提案する。我々は、ニューラルネットワークの予測に物理的な制約を課すために、強い形式ではなく、支配方程式の弱い形式で作業する。我々は、インフォメーション機械学習が実現可能な技術であり、モデルのキャリブレーションにフルフィールド実験データをどのように利用するかというパラダイムを変える可能性があることを実証した。
論文参考訳（メタデータ） (2022-03-30T18:07:44Z)
Physically Explainable CNN for SAR Image Classification [59.63879146724284]
本稿では,SAR画像分類のための新しい物理誘導型ニューラルネットワークを提案する。提案フレームワークは,(1)既存の説明可能なモデルを用いて物理誘導信号を生成すること,(2)物理誘導ネットワークを用いた物理認識特徴を学習すること,(3)従来の分類深層学習モデルに適応的に物理認識特徴を注入すること,の3つの部分からなる。実験の結果,提案手法はデータ駆動型CNNと比較して,分類性能を大幅に向上することがわかった。
論文参考訳（メタデータ） (2021-10-27T03:30:18Z)
Physics-Integrated Variational Autoencoders for Robust and Interpretable Generative Modeling [86.9726984929758]
我々は、不完全物理モデルの深部生成モデルへの統合に焦点を当てる。本稿では,潜在空間の一部が物理によって基底づけられたVAEアーキテクチャを提案する。合成および実世界のデータセットの集合に対して生成的性能改善を示す。
論文参考訳（メタデータ） (2021-02-25T20:28:52Z)
Physics-Guided Machine Learning for Scientific Discovery: An Application in Simulating Lake Temperature Profiles [8.689056739160593]
本稿では,RNNと物理モデルを組み合わせた物理誘導リカレントニューラルネットワークモデル(PGRNN)を提案する。 PGRNNは物理法則と整合した出力を生成しながら、物理モデルよりも予測精度を向上させることができることを示す。湖沼の温度のダイナミクスをモデル化する文脈において,本手法を提示し,評価するが,より広い範囲の科学・工学分野に適用できる。
論文参考訳（メタデータ） (2020-01-28T15:44:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。