Fugu-MT 論文翻訳(概要): Improving astroBERT using Semantic Textual Similarity

論文の概要: Improving astroBERT using Semantic Textual Similarity

arxiv url: http://arxiv.org/abs/2212.00744v1
Date: Tue, 29 Nov 2022 16:15:32 GMT
ステータス: 処理完了
システム内更新日: 2022-12-02 16:39:54.527138
Title: Improving astroBERT using Semantic Textual Similarity
Title（参考訳）: 意味的テキスト類似性を用いたAstroBERTの改良
Authors: Felix Grezes, Thomas Allen, Sergi Blanco-Cuaresma, Alberto Accomazzi, Michael J. Kurtz, Golnaz Shapurian, Edwin Henneken, Carolyn S. Grant, Donna M. Thompson, Timothy W. Hostetler, Matthew R. Templeton, Kelly E. Lockhart, Shinyi Chen, Jennifer Koch, Taylor Jacovich, and Pavlos Protopapas
Abstract要約: AstroBERTは、NASAの天体物理学データシステム(ADS)の天文学論文で使われるテキストに合わせた機械学習言語モデルである。 AstroBERTは、天体物理学特有のタスクにおいて、既存の公開言語モデルよりもいかに改善されているかを示す。我々は、ADSが科学論文のユニークな構造、引用グラフ、引用コンテキストを活用して、AstroBERTをさらに改善する計画について詳述する。
参考スコア（独自算出の注目度）: 0.785116730789274
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The NASA Astrophysics Data System (ADS) is an essential tool for researchers that allows them to explore the astronomy and astrophysics scientific literature, but it has yet to exploit recent advances in natural language processing. At ADASS 2021, we introduced astroBERT, a machine learning language model tailored to the text used in astronomy papers in ADS. In this work we: - announce the first public release of the astroBERT language model; - show how astroBERT improves over existing public language models on astrophysics specific tasks; - and detail how ADS plans to harness the unique structure of scientific papers, the citation graph and citation context, to further improve astroBERT.
Abstract（参考訳）: NASA Astrophysics Data System(ADS)は、天文学と天体物理学の科学文献を探索できる研究者にとって不可欠なツールであるが、自然言語処理の最近の進歩をまだ活用していない。 ADASS 2021で我々は、ADSの天文学論文で使われるテキストに合わせた機械学習言語モデルAstroBERTを紹介した。 In this work: - announced the first public release of the astroBERT language model; - showing how astroBERT improves existing public language model on astrophysics specific task; - and details how ADS plans to leverage the unique structure of scientific papers, the citation graph and citation context, to improve astroBERT。

関連論文リスト

Astro-HEP-BERT: A bidirectional language model for studying the meanings of concepts in astrophysics and high energy physics [0.0]
このプロジェクトは、科学の歴史、哲学、社会学の応用に双方向トランスフォーマーを適用することの有効性と可能性を示す。トレーニングプロセス全体は、無償のコード、事前訓練された重み、テキスト入力を使用して実行され、1つのMacBook Pro Laptopで完了した。予備的な評価は、Astro-HEP-BERTのCWEが、より大きなデータセットでスクラッチからトレーニングされたドメイン適応BERTモデルと互換性があることを示している。
論文参考訳（メタデータ） (2024-11-22T11:59:15Z)
Delving into the Utilisation of ChatGPT in Scientific Publications in Astronomy [0.0]
この結果から,ChatGPTは学術テキストを生成する際に人間よりも多用され,100万記事が検索されることがわかった。 2024年、ChatGPTが好む単語のリストを特定し、これらの単語が制御グループに対して統計的に有意な増加を示した。これらの結果は、天文学論文の執筆においてこれらのモデルが広く採用されていることを示唆している。
論文参考訳（メタデータ） (2024-06-25T07:15:10Z)
SciInstruct: a Self-Reflective Instruction Annotated Dataset for Training Scientific Language Models [57.96527452844273]
我々はSciInstructを紹介した。SciInstructは、大学レベルの科学的推論が可能な科学言語モデルを訓練するための科学指導スイートである。我々は、物理学、化学、数学、公式な証明を含む多種多様な高品質なデータセットをキュレートした。 SciInstructの有効性を検証するため、SciInstruct、すなわちChatGLM3(6Bと32B)、Llama3-8B-Instruct、Mistral-7B: MetaMathを用いて言語モデルを微調整した。
論文参考訳（メタデータ） (2024-01-15T20:22:21Z)
AstroLLaMA-Chat: Scaling AstroLLaMA with Conversational and Diverse Datasets [7.53209156977206]
天文学に着目した質問応答におけるLLM性能向上の可能性について検討する。専門的なトピック理解における顕著な改善を天文学コーパスのキュレートセットを用いて達成する。 AstroLLaMAの拡張として、ドメイン固有の会話データセット上で7B LLaMAモデルを微調整し、チャット対応のAstroLLaMAをコミュニティ利用向けにリリースする。
論文参考訳（メタデータ） (2024-01-03T04:47:02Z)
GeoGalactica: A Scientific Large Language Model in Geoscience [95.15911521220052]
大規模言語モデル(LLM)は、自然言語処理(NLP)における幅広いタスクを解く一般的な知識と能力で大きな成功を収めている。我々は、LLMを地学に特化させ、さらに、地学の膨大なテキストでモデルを事前訓練し、また、カスタム収集した指導チューニングデータセットで得られたモデルを教師付き微調整(SFT)する。我々はGeoGalacticaを65億のトークンを含む地球科学関連のテキストコーパスで訓練し、最大の地球科学固有のテキストコーパスとして保存する。次に、100万対の命令チューニングでモデルを微調整する。
論文参考訳（メタデータ） (2023-12-31T09:22:54Z)
Large Language Models for Scientific Synthesis, Inference and Explanation [56.41963802804953]
大規模言語モデルがどのように科学的合成、推論、説明を行うことができるかを示す。我々は,この「知識」を科学的文献から合成することで,大きな言語モデルによって強化できることを示す。このアプローチは、大きな言語モデルが機械学習システムの予測を説明することができるというさらなる利点を持っている。
論文参考訳（メタデータ） (2023-10-12T02:17:59Z)
AstroLLaMA: Towards Specialized Foundation Models in Astronomy [1.1694367694169385]
我々は、arXivの30万以上の天文学的抽象化を用いて、LLaMA-2から微調整された7ビリオンパラメータモデルAstroLLaMAを紹介した。我々のモデルは、最先端の基礎モデルよりも、より洞察に富み、科学的に関係のあるテキスト補完と埋め込み抽出を生成する。公式リリースは、自動要約や会話エージェントの開発など、天文学に焦点を当てた研究を促進することを目的としている。
論文参考訳（メタデータ） (2023-09-12T11:02:27Z)
The Semantic Scholar Open Data Platform [79.4493235243312]
セマンティック・スカラー(Semantic Scholar、S2)は、学術文献の発見と理解を支援することを目的としたオープンデータプラットフォームおよびウェブサイトである。我々は、学術的なPDFコンテンツ抽出と知識グラフの自動構築のための最先端技術を用いて、パブリックおよびプロプライエタリなデータソースを組み合わせる。このグラフには、構造解析されたテキスト、自然言語要約、ベクトル埋め込みなどの高度な意味的特徴が含まれている。
論文参考訳（メタデータ） (2023-01-24T17:13:08Z)
Speech-to-Speech Translation For A Real-world Unwritten Language [62.414304258701804]
本研究では、ある言語から別の言語に音声を翻訳する音声音声翻訳(S2ST)について研究する。我々は、トレーニングデータ収集、モデル選択、ベンチマークデータセットのリリースからエンドツーエンドのソリューションを提示します。
論文参考訳（メタデータ） (2022-11-11T20:21:38Z)
Building astroBERT, a language model for Astronomy & Astrophysics [1.4587241287997816]
我々は、NASA Astrophysics Data System (ADS)データセットに、最新の機械学習と自然言語処理技術を適用している。われわれはGoogleの研究に基づく文脈的言語モデルであるastroBERTをトレーニングしています。 AstroBERTを使用することで、ADSデータセットの強化と発見性の向上を目標とし、特に、独自のエンティティ認識ツールを開発しています。
論文参考訳（メタデータ） (2021-12-01T16:01:46Z)
First Full-Event Reconstruction from Imaging Atmospheric Cherenkov Telescope Real Data with Deep Learning [55.41644538483948]
チェレンコフ望遠鏡アレイは、地上のガンマ線天文学の未来である。地上で作られた最初のプロトタイプ望遠鏡であるLarge Size Telescope 1は現在、最初の科学データを収集している。我々は、深層畳み込みニューラルネットワークに基づくフルイベント再構築の開発とその実データへの適用を初めて提示する。
論文参考訳（メタデータ） (2021-05-31T12:51:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。