論文の概要: Rethinking Domain Specialization for Open-Ended Scientific Reasoning in Astronomy Language Models
- arxiv url: http://arxiv.org/abs/2609.17644v1
- Date: Tue, 15 Sep 2026 15:05:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.470838
- Title: Rethinking Domain Specialization for Open-Ended Scientific Reasoning in Astronomy Language Models
- Title（参考訳）: 天文学言語モデルにおけるオープンエンディング科学推論のための領域スペシャライゼーションの再考
- Abstract要約: 判定に基づく正当性と相補的基準指標を用いて,オープンウェイトおよびAPIを利用した汎用モデル,マルチモーダルモデル,天文学特化モデルを比較した。
強力な汎用モデルがこのテストベッドで最高の正当性ベースラインを確立する一方で、メートル法合意、判断感度、ベンチマーク組成、モダリティの分析は、単一のリーダーボードで取得されていない変動を明らかにする。
これらの結果は、ドメインの専門化をタスクおよびデプロイメントに依存した特性として扱い、どのモデル、能力、評価基準が科学的推論に適しているかを判断するドメイン固有の評価の役割を強調する。
- 参考スコア（独自算出の注目度）: 3.8041936868041692
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Domain-specialized language models are widely used for scientific question answering, but stronger general-purpose systems raise a sharper question: when does domain-specific fine-tuning remain valuable for open-ended scientific reasoning? We study this in astronomy with a curated QA benchmark from publicly available 2017--2026 Olympiad-style materials. The free-response subset contains 300 questions, including 204 text-only and 96 image-linked examples. We compare open-weight and API-served general-purpose, multimodal, and astronomy-specialized models using judge-based correctness and complementary reference metrics. Strong general-purpose models establish the highest correctness baseline in this testbed, while analyses of metric agreement, judge sensitivity, benchmark composition, and modality reveal variation not captured by a single leaderboard. These results motivate treating domain specialization as a task- and deployment-dependent property and highlight the role of domain-specific evaluation in determining which models, capabilities, and evaluation criteria are appropriate for scientific workflows.
- Abstract（参考訳）: ドメイン特化言語モデルは科学的な質問に答えるために広く使われているが、より強力な汎用システムはよりシャープな疑問を提起している。
我々は、2017-2026オリンピアード式物質から得られたQAベンチマークを用いて、天文学でこれを研究した。
無料応答サブセットには300の質問が含まれており、204のテキストのみと96のイメージリンク例が含まれている。
判定に基づく正当性と相補的基準指標を用いて,オープンウェイトおよびAPI提供の汎用,マルチモーダル,天文学特化モデルを比較した。
強力な汎用モデルがこのテストベッドで最高の正当性ベースラインを確立する一方で、メートル法合意、判断感度、ベンチマーク組成、モダリティの分析は、単一のリーダーボードで取得されていない変動を明らかにする。
これらの結果は、ドメインの専門化をタスクおよびデプロイメントに依存した特性として扱い、どのモデル、能力、評価基準が科学的ワークフローに適しているかを判断するドメイン固有の評価の役割を強調します。
関連論文リスト
- Domain-Specific Jargon in Large Language Models: A Comparative Analysis between General-Purpose and Specialist Models [1.503974529275767]
本研究は、2つの新しい医療ジャーゴン評価ベンチマークに寄与し、医療ドメインデータに基づいて微調整された変種に対して汎用的なLlama-3.1モデルを評価する。
驚いたことに、汎用モデルは両方のタスクにおいて、医療的に微調整されたモデルよりも優れています。
ジャーゴンに敏感ないくつかのコンポーネントは、知識を材料科学のジャーゴンを含む同じタスクに伝達し、専門用語の領域に依存しない概念を符号化している。
論文 参考訳（メタデータ） (2026-09-11T21:35:04Z) - SciCustom: A Framework for Custom Evaluation of Scientific Capabilities in Large Language Models [63.357710580101894]
大規模言語モデル(LLM)は、科学研究にますます応用されているが、既存の評価は、実際に必要とされる詳細な能力の反映に失敗することが多い。
この問題に対処するため、SciCustomという新しいフレームワークを提案する。
大規模な科学的データからベンチマークのカスタム構築を可能にし、LLMの応用固有の科学的能力を評価する。
論文 参考訳（メタデータ） (2026-05-19T04:41:43Z) - Unsteady Metrics and Benchmarking Cultures of AI Model Builders [0.2238062620016784]
Benchmarking-Cultures-25は、主要なAIビルダ11から、2025年に139のモデルリリースで強調された231ベンチマークのデータセットである。
我々は,筆者らが測定している指標に基づいて,測定信号の共有フレームワークに統一された分類学マッピング用語を開発した。
論文 参考訳（メタデータ） (2026-05-13T22:39:10Z) - DepthCharge: A Domain-Agnostic Framework for Measuring Depth-Dependent Knowledge in Large Language Models [51.56484100374058]
大きな言語モデルは一般的な質問に答えるときに有能に見えるが、ドメイン固有の詳細にプッシュされると失敗することが多い。
3つのイノベーションを通じて知識の深さを測定するドメインに依存しないフレームワークであるDepthChargeを紹介します。
モデルが実際に言及している概念に基づいてフォローアップ質問を生成する適応的探索、権威のある情報源からのオンデマンドの事実検証、あらゆる深さのサンプルサイズが一定である生存統計。
論文 参考訳（メタデータ） (2026-03-05T20:49:11Z) - Automated Benchmark Generation from Domain Guidelines Informed by Bloom's Taxonomy [28.293009223912602]
オープンエンド質問応答(英語: Open-ended Question answering, QA)は、モデルが事実的リコールを超えた文脈的推論を行う能力を評価する。
この課題は、知識が手続き的であり、専門的な判断が下されている、実践ベースの領域で特に深刻である。
ブルームの分類学から得られた専門家認可ガイドラインから自動ベンチマーク生成のためのフレームワークを紹介する。
論文 参考訳（メタデータ） (2026-01-28T05:01:11Z) - Expert Preference-based Evaluation of Automated Related Work Generation [54.29459509574242]
本稿では,従来の作業評価基準と専門家固有の嗜好を統合したマルチターン評価フレームワークGREPを提案する。
より優れたアクセシビリティを実現するため、我々はGREPの2つの変種を設計する: プロプライエタリなLLMを評価対象とするより正確な変種と、オープンウェイトなLLMをより安価な代替品である。
論文 参考訳（メタデータ） (2025-08-11T13:08:07Z) - GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。
GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。
本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
論文 参考訳（メタデータ） (2024-06-01T08:01:05Z) - ExpertQA: Expert-Curated Questions and Attributed Answers [51.68314045809179]
我々は,様々な属性と事実の軸に沿って,いくつかの代表システムからの応答を人為的に評価する。
我々は32分野にわたる484人の被験者から専門家による質問を収集し、同じ専門家に自身の質問に対する反応を評価する。
分析の結果は,32分野にまたがる2177の質問と,回答の検証とクレームの属性を備えた高品質な長文QAデータセットであるExpertQAである。
論文 参考訳（メタデータ） (2023-09-14T16:54:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。