論文の概要: AstroLLaMA: Towards Specialized Foundation Models in Astronomy
- arxiv url: http://arxiv.org/abs/2309.06126v1
- Date: Tue, 12 Sep 2023 11:02:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-13 13:31:46.631561
- Title: AstroLLaMA: Towards Specialized Foundation Models in Astronomy
- Title(参考訳): AstroLLaMA:天文学における特別な基礎モデルを目指して
- Authors: Tuan Dung Nguyen, Yuan-Sen Ting, Ioana Ciuc\u{a}, Charlie O'Neill,
Ze-Chang Sun, Maja Jab{\l}o\'nska, Sandor Kruk, Ernest Perkowski, Jack
Miller, Jason Li, Josh Peek, Kartheik Iyer, Tomasz R\'o\.za\'nski, Pranav
Khetarpal, Sharaf Zaman, David Brodrick, Sergio J. Rodr\'iguez M\'endez,
Thang Bui, Alyssa Goodman, Alberto Accomazzi, Jill Naiman, Jesse Cranney,
Kevin Schawinski, UniverseTBD
- Abstract要約: 我々は、arXivの30万以上の天文学的抽象化を用いて、LLaMA-2から微調整された7ビリオンパラメータモデルAstroLLaMAを紹介した。
我々のモデルは、最先端の基礎モデルよりも、より洞察に富み、科学的に関係のあるテキスト補完と埋め込み抽出を生成する。
公式リリースは、自動要約や会話エージェントの開発など、天文学に焦点を当てた研究を促進することを目的としている。
- 参考スコア(独自算出の注目度): 1.1694367694169385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models excel in many human-language tasks but often falter in
highly specialized domains like scholarly astronomy. To bridge this gap, we
introduce AstroLLaMA, a 7-billion-parameter model fine-tuned from LLaMA-2 using
over 300,000 astronomy abstracts from arXiv. Optimized for traditional causal
language modeling, AstroLLaMA achieves a 30% lower perplexity than Llama-2,
showing marked domain adaptation. Our model generates more insightful and
scientifically relevant text completions and embedding extraction than
state-of-the-arts foundation models despite having significantly fewer
parameters. AstroLLaMA serves as a robust, domain-specific model with broad
fine-tuning potential. Its public release aims to spur astronomy-focused
research, including automatic paper summarization and conversational agent
development.
- Abstract(参考訳): 大規模な言語モデルは、多くの人間の言語課題において優れているが、学術天文学のような高度に専門的な領域でしばしば崩れる。
このギャップを埋めるために、arXivから30万以上の天文学的抽象化を用いてLLaMA-2から微調整された7ビリオンパラメータモデルAstroLLaMAを導入する。
従来の因果言語モデリングに最適化されたAstroLLaMAは、Llama-2よりも30%低いパープレキシティを実現し、ドメイン適応が顕著である。
我々のモデルは、パラメータが著しく少ないにもかかわらず、より洞察力が高く科学的に関係のあるテキスト補完と組込み抽出を生成する。
AstroLLaMAは、幅広い微調整ポテンシャルを持つ堅牢なドメイン固有モデルとして機能する。
その公開リリースは、自動要約や会話エージェントの開発を含む天文学的な研究を促進することを目的としている。
関連論文リスト
- Mastering Text, Code and Math Simultaneously via Fusing Highly
Specialized Language Models [96.89219688955222]
大規模言語モデル(LLM)は、3つのドメインすべてにまたがって高いパフォーマンスを同時に達成しようと試みている。
本稿では,すでに高度に特殊化されているモデルを融合する手法を提案する。
提案されているハウジングフレームワークであるUltraFuserは、すでに言語、コーディング、数学について十分に訓練されている3つの異なるスペシャリストで構成されている。
論文 参考訳(メタデータ) (2024-03-13T06:18:48Z) - AstroLLaMA-Chat: Scaling AstroLLaMA with Conversational and Diverse
Datasets [7.53209156977206]
天文学に着目した質問応答におけるLLM性能向上の可能性について検討する。
専門的なトピック理解における顕著な改善を天文学コーパスのキュレートセットを用いて達成する。
AstroLLaMAの拡張として、ドメイン固有の会話データセット上で7B LLaMAモデルを微調整し、チャット対応のAstroLLaMAをコミュニティ利用向けにリリースする。
論文 参考訳(メタデータ) (2024-01-03T04:47:02Z) - SeaLLMs -- Large Language Models for Southeast Asia [67.89986877809292]
東南アジア(SEA)言語に焦点を当てた,革新的な言語モデルであるSeaLLMを紹介した。
SeaLLMはLlama-2モデルに基づいて構築され、さらに拡張語彙、特殊命令、アライメントチューニングによる事前訓練が継続されている。
包括的評価により,SeaLLM-13bモデルは言語タスクやアシスタントスタイルの指示追従能力に優れた性能を示した。
論文 参考訳(メタデータ) (2023-12-01T17:17:56Z) - Sheared LLaMA: Accelerating Language Model Pre-training via Structured
Pruning [57.12877119005303]
我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。
提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
論文 参考訳(メタデータ) (2023-10-10T15:13:30Z) - Harnessing the Power of Adversarial Prompting and Large Language Models
for Robust Hypothesis Generation in Astronomy [0.0]
我々は、NASAの天体物理学データシステムから1000以上の論文を供給し、インコンテキストプロンプトを用いている。
本研究は,文脈内プロンプトを用いた仮説生成の大幅な向上を示唆するものである。
本研究は, GPT-4による知識ベースから重要な詳細を抽出し, 意味のある仮説を導出する能力について述べる。
論文 参考訳(メタデータ) (2023-06-20T16:16:56Z) - Point spread function modelling for astronomical telescopes: a review
focused on weak gravitational lensing studies [2.967246997200238]
ポイントスプレッド関数(PSF)の正確なモデリングは、天文学的な観測において最も重要である。
本稿では,より物理的に高強度なPSFモデリングに必要な光学的背景を紹介する。
我々は,光学・検出器レベルのコントリビュータや大気など,PSFの様々な物理的コントリビュータについて概説する。
論文 参考訳(メタデータ) (2023-06-12T19:01:50Z) - Domain Specialization as the Key to Make Large Language Models
Disruptive: A Comprehensive Survey [90.81725789120534]
大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。
広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。
しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
論文 参考訳(メタデータ) (2023-05-30T03:00:30Z) - Geometric Latent Diffusion Models for 3D Molecule Generation [172.15028281732737]
生成モデル、特に拡散モデル(DM)は、特徴豊富な測地を生成する上で有望な結果を得た。
我々はGeoLDM(Geometric Latent Diffusion Models)と呼ばれる新しい3次元分子生成法を提案する。
論文 参考訳(メタデータ) (2023-05-02T01:07:22Z) - Applications of AI in Astronomy [0.0]
本稿では、天文学、天体物理学、宇宙論における機械学習(ML)およびその他のAI手法の使用の概要について述べる。
過去10年間で、さまざまなML/AI応用を含む天文学文献が指数関数的に成長してきた。
データの複雑さが増し続ければ、協力的な人間とAIの発見につながるさらなる進歩が期待できる。
論文 参考訳(メタデータ) (2022-12-03T00:38:59Z) - Improving astroBERT using Semantic Textual Similarity [0.785116730789274]
AstroBERTは、NASAの天体物理学データシステム(ADS)の天文学論文で使われるテキストに合わせた機械学習言語モデルである。
AstroBERTは、天体物理学特有のタスクにおいて、既存の公開言語モデルよりもいかに改善されているかを示す。
我々は、ADSが科学論文のユニークな構造、引用グラフ、引用コンテキストを活用して、AstroBERTをさらに改善する計画について詳述する。
論文 参考訳(メタデータ) (2022-11-29T16:15:32Z) - Semi-Supervised Domain Adaptation for Cross-Survey Galaxy Morphology
Classification and Anomaly Detection [57.85347204640585]
We developed a Universal Domain Adaptation method DeepAstroUDA。
異なるタイプのクラスオーバーラップしたデータセットに適用することができる。
初めて、我々は2つの非常に異なる観測データセットに対するドメイン適応の有効利用を実演した。
論文 参考訳(メタデータ) (2022-11-01T18:07:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。