論文の概要: AstroLLaMA: Towards Specialized Foundation Models in Astronomy

• arxiv url: http://arxiv.org/abs/2309.06126v1
• Date: Tue, 12 Sep 2023 11:02:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-09-13 13:31:46.631561
• Title: AstroLLaMA: Towards Specialized Foundation Models in Astronomy
• Title（参考訳）: AstroLLaMA:天文学における特別な基礎モデルを目指して
• Abstract要約: 我々は、arXivの30万以上の天文学的抽象化を用いて、LLaMA-2から微調整された7ビリオンパラメータモデルAstroLLaMAを紹介した。 我々のモデルは、最先端の基礎モデルよりも、より洞察に富み、科学的に関係のあるテキスト補完と埋め込み抽出を生成する。 公式リリースは、自動要約や会話エージェントの開発など、天文学に焦点を当てた研究を促進することを目的としている。
• 参考スコア（独自算出の注目度）: 1.1694367694169385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models excel in many human-language tasks but often falter in highly specialized domains like scholarly astronomy. To bridge this gap, we introduce AstroLLaMA, a 7-billion-parameter model fine-tuned from LLaMA-2 using over 300,000 astronomy abstracts from arXiv. Optimized for traditional causal language modeling, AstroLLaMA achieves a 30% lower perplexity than Llama-2, showing marked domain adaptation. Our model generates more insightful and scientifically relevant text completions and embedding extraction than state-of-the-arts foundation models despite having significantly fewer parameters. AstroLLaMA serves as a robust, domain-specific model with broad fine-tuning potential. Its public release aims to spur astronomy-focused research, including automatic paper summarization and conversational agent development.
• Abstract（参考訳）: 大規模な言語モデルは、多くの人間の言語課題において優れているが、学術天文学のような高度に専門的な領域でしばしば崩れる。 このギャップを埋めるために、arXivから30万以上の天文学的抽象化を用いてLLaMA-2から微調整された7ビリオンパラメータモデルAstroLLaMAを導入する。 従来の因果言語モデリングに最適化されたAstroLLaMAは、Llama-2よりも30%低いパープレキシティを実現し、ドメイン適応が顕著である。 我々のモデルは、パラメータが著しく少ないにもかかわらず、より洞察力が高く科学的に関係のあるテキスト補完と組込み抽出を生成する。 AstroLLaMAは、幅広い微調整ポテンシャルを持つ堅牢なドメイン固有モデルとして機能する。 その公開リリースは、自動要約や会話エージェントの開発を含む天文学的な研究を促進することを目的としている。

関連論文リスト

• Intern-S1-Pro: Scientific Multimodal Foundation Model at Trillion Scale [243.02537333434245]
  Intern-S1-Proは、最初の1トリリオンパラメータの科学マルチモーダル基礎モデルである。 その科学的専門知識は、重要な科学分野にまたがって100以上の専門的なタスクを習得するために大幅に拡張されている。 XTuner と LMDeploy は、1-トリリオンパラメータレベルでの強化学習(RL)の訓練を効率的に行う。
  論文  参考訳（メタデータ） (2026-03-26T05:21:45Z)
• AstroMMBench: A Benchmark for Evaluating Multimodal Large Language Models Capabilities in Astronomy [6.247581175023764]
  AstroMMBenchは、天文学的画像理解において、マルチモーダル大言語モデル(MLLM)を評価するための最初の包括的なベンチマークである。 AstroMMBenchは、6つの天体物理学のサブフィールドにわたる621の多重選択質問で構成され、品質と関連性について15のドメイン専門家によってキュレートされ、レビューされている。 結果、Ovis2-34Bは、強力なクローズドソースモデルと比較して高い総合精度(70.5%)を達成した。
  論文  参考訳（メタデータ） (2025-09-29T09:02:30Z)
• Intern-S1: A Scientific Multimodal Foundation Model [282.73189976071427]
  Intern-S1は、一般的な理解と推論機能を備えた専門的なジェネラリストである。 Intern-S1はオフラインおよびオンライン強化学習(RL)をInternBootCampで実施する。 包括的な評価ベンチマークでは、Intern-S1はオープンソースモデル間の一般的な推論タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2025-08-21T17:58:00Z)
• AstroVisBench: A Code Benchmark for Scientific Computing and Visualization in Astronomy [59.32718342798908]
  AstroVisBenchは天文学領域における科学計算と可視化の両方のための最初のベンチマークである。 本稿では,最先端言語モデルの評価を行い,天文学研究に有用なアシスタントとして携わる能力に大きなギャップがあることを示す。
  論文  参考訳（メタデータ） (2025-05-26T21:49:18Z)
• AstroMLab 4: Benchmark-Topping Performance in Astronomy Q&A with a 70B-Parameter Domain-Specialized Reasoning Model [3.911100968725141]
  汎用的な大規模言語モデルは、しばしば専門的なドメイン知識に苦しむ。 本研究では、ドメイン特化自然言語AIアシスタントであるAstroSage-70Bを紹介する。 天文学、天体物理学、宇宙科学、天体物理学、宇宙論、天文学機器の研究と教育のために設計された。
  論文  参考訳（メタデータ） (2025-05-23T07:58:50Z)
• ORBIT: Cost-Effective Dataset Curation for Large Language Model Domain Adaptation with an Astronomy Case Study [26.39743358097732]
  ORBITは、ノイズの多いWebソースから大量の高品質なドメイン固有データセットをキュレートするための費用効率のよい手法である。 1Bの天文学部分集合上の微調整テキストscLLaMA-3-8Bは、MMLUの天文学ベンチマークの性能を69%から76%に改善した。 このモデル (Orbit-LLaMA) はtextscLLaMA-3-8B-base より優れており, GPT-4o の評価では1000の天文学的な質問に対して 73% のケースで好んでいる。
  論文  参考訳（メタデータ） (2024-12-19T01:35:47Z)
• AstroMLab 2: AstroLLaMA-2-70B Model and Benchmarking Specialised LLMs for Astronomy [4.729846733874557]
  本研究は天文学における特殊なLSMを定量的に評価することを目的とする。 LLaMA-2-7BをベースとしたAstroLLaMAシリーズは,ベースモデルと比較して性能が低かった。 その結果,70Bモデル上での連続的事前訓練は大きな改善をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-09-29T16:02:22Z)
• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• AstroMLab 1: Who Wins Astronomy Jeopardy!? [4.162245706139047]
  このデータセットは、天文学と天文学の年次レビューから算出された4,425の多重選択質問からなる。 Claude-3.5-Sonnetは最大4.6ポイント、85.0%の精度でライバルを上回っている。 LLaMA-3-70b (80.6%) と Qwen-2-72b (77.7%) はいくつかの優れたプロプライエタリモデルと競合している。
  論文  参考訳（メタデータ） (2024-07-15T19:28:14Z)
• At First Sight: Zero-Shot Classification of Astronomical Images with Large Multimodal Models [0.0]
  VLM(Vision-Language Multimodal Models)は、天文学におけるゼロショット分類の可能性を提供する。 低表面輝度銀河と人工物のゼロショット分類のために, GPT-4o と LLaVA-NeXT の2つのモデルについて検討した。 自然言語により、これらのモデルがトレーニングや微調整を伴わずに、かなりの精度(典型的には80%以上)を達成したことが示される。
  論文  参考訳（メタデータ） (2024-06-24T18:17:54Z)
• SpaRC and SpaRP: Spatial Reasoning Characterization and Path Generation for Understanding Spatial Reasoning Capability of Large Language Models [70.01883340129204]
  空間推論は 生物学的と人工知能の両方において 重要な要素です 本稿では,現在最先端の大規模言語モデル (LLM) の空間的推論能力について包括的に検討する。
  論文  参考訳（メタデータ） (2024-06-07T01:06:34Z)
• Astro-NER -- Astronomy Named Entity Recognition: Is GPT a Good Domain Expert Annotator? [0.0]
  我々は、微調整LDMモデルからの予測を用いて、天文学文学における科学的実体の注釈付けにおいて、非ドメインの専門家を支援するアプローチを実験した。 本結果から, ドメインエキスパートとLLM支援非専門家との間には適度な合意が得られ, ドメインエキスパートとLLMモデルの予測との間には公平な合意が得られた。 5000の注釈付き天文学記事のタイトルを含むデータセットが公開されている。
  論文  参考訳（メタデータ） (2024-05-04T08:04:39Z)
• Mastering Text, Code and Math Simultaneously via Fusing Highly Specialized Language Models [93.92762966380793]
  大規模言語モデル(LLM)は、3つのドメインすべてにまたがって高いパフォーマンスを同時に達成しようと試みている。 本稿では,すでに高度に特殊化されているモデルを融合する手法を提案する。 提案されているハウジングフレームワークであるUltraFuserは、すでに言語、コーディング、数学について十分に訓練されている3つの異なるスペシャリストで構成されている。
  論文  参考訳（メタデータ） (2024-03-13T06:18:48Z)
• AstroLLaMA-Chat: Scaling AstroLLaMA with Conversational and Diverse Datasets [7.53209156977206]
  天文学に着目した質問応答におけるLLM性能向上の可能性について検討する。 専門的なトピック理解における顕著な改善を天文学コーパスのキュレートセットを用いて達成する。 AstroLLaMAの拡張として、ドメイン固有の会話データセット上で7B LLaMAモデルを微調整し、チャット対応のAstroLLaMAをコミュニティ利用向けにリリースする。
  論文  参考訳（メタデータ） (2024-01-03T04:47:02Z)
• SeaLLMs -- Large Language Models for Southeast Asia [76.50157503379086]
  東南アジア(SEA)言語に焦点を当てた,革新的な言語モデルであるSeaLLMを紹介した。 SeaLLMはLlama-2モデルに基づいて構築され、さらに拡張語彙、特殊命令、アライメントチューニングによる事前訓練が継続されている。 包括的評価により,SeaLLM-13bモデルは言語タスクやアシスタントスタイルの指示追従能力に優れた性能を示した。
  論文  参考訳（メタデータ） (2023-12-01T17:17:56Z)
• Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning [52.29522018586365]
  我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。 提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
  論文  参考訳（メタデータ） (2023-10-10T15:13:30Z)
• Domain Specialization as the Key to Make Large Language Models Disruptive: A Comprehensive Survey [100.24095818099522]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野を著しく進歩させた。 広範囲のアプリケーションに対して、非常に有用でタスクに依存しない基盤を提供する。 しかし、特定の領域における洗練された問題を解決するために直接LLMを適用することは、多くのハードルを満たす。
  論文  参考訳（メタデータ） (2023-05-30T03:00:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。