論文の概要: Do We Need Bigger Models for Science? Task-Aware Retrieval with Small Language Models

• arxiv url: http://arxiv.org/abs/2604.01965v1
• Date: Thu, 02 Apr 2026 12:28:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.780036
• Title: Do We Need Bigger Models for Science? Task-Aware Retrieval with Small Language Models
• Title（参考訳）: 科学にはより大きなモデルが必要か?小言語モデルを用いたタスク認識検索
• Authors: Florian Kelber, Matthias Jobst, Yuni Susanti, Michael Färber,
• Abstract要約: 既存の学者のアシスタントの多くは、数十億から数百億のパラメータを持つプロプライエタリなシステムに依存している。 我々は,タスク認識型ルーティングを行う軽量な検索拡張フレームワークを設計し,特定の検索戦略を選択する。 このフレームワークは、フルテキストの科学論文と構造化された学術メタデータのエビデンスを統合し、コンパクトな命令チューニング言語モデルを使用して、引用による応答を生成する。
• 参考スコア（独自算出の注目度）: 4.049850026698638
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Scientific knowledge discovery increasingly relies on large language models, yet many existing scholarly assistants depend on proprietary systems with tens or hundreds of billions of parameters. Such reliance limits reproducibility and accessibility for the research community. In this work, we ask a simple question: do we need bigger models for scientific applications? Specifically, we investigate to what extent carefully designed retrieval pipelines can compensate for reduced model scale in scientific applications. We design a lightweight retrieval-augmented framework that performs task-aware routing to select specialized retrieval strategies based on the input query. The system further integrates evidence from full-text scientific papers and structured scholarly metadata, and employs compact instruction-tuned language models to generate responses with citations. We evaluate the framework across several scholarly tasks, focusing on scholarly question answering (QA), including single- and multi-document scenarios, as well as biomedical QA under domain shift and scientific text compression. Our findings demonstrate that retrieval and model scale are complementary rather than interchangeable. While retrieval design can partially compensate for smaller models, model capacity remains important for complex reasoning tasks. This work highlights retrieval and task-aware design as key factors for building practical and reproducible scholarly assistants.
• Abstract（参考訳）: 科学的知識発見は大規模言語モデルにますます依存しているが、既存の研究者のアシスタントの多くは数十億から数百億のパラメータを持つプロプライエタリなシステムに依存している。 このような依存は、研究コミュニティの再現性とアクセシビリティを制限している。 この研究では、科学的な応用により大きなモデルが必要なのか、という単純な問いに答える。 具体的には, 科学的応用において, モデルスケールの縮小に対して, 適切に設計した探索パイプラインがどの程度の精度で補えるかを検討する。 我々は,タスク認識型ルーティングを行う軽量な検索拡張フレームワークを設計し,入力クエリに基づいて特定の検索戦略を選択する。 このシステムは、フルテキストの科学論文や構造化された学術メタデータからの証拠をさらに統合し、コンパクトな命令チューニング言語モデルを使用して、引用による応答を生成する。 本研究は,学術的質問応答(QA)に焦点をあてて,学術的質問応答(QA)の枠組みを評価する。 本研究は,検索とモデルスケールが相補的であることを示す。 検索設計はより小さなモデルで部分的に補うことができるが、複雑な推論タスクではモデル容量が重要である。 この研究は、実用的で再現可能な学術的アシスタントを構築する上で重要な要素として、検索とタスク認識設計を強調している。

関連論文リスト

• HiSciBench: A Hierarchical Multi-disciplinary Benchmark for Scientific Intelligence from Reading to Discovery [50.8841471967624]
  HiSciBenchは、完全な科学的ワークフローを反映した5つのレベルにわたる基礎モデルを評価するために設計された階層的なベンチマークである。 HiSciBenchには、6つの主要な科学分野にまたがる8,735件の慎重に管理された事例が含まれている。
  論文  参考訳（メタデータ） (2025-12-28T12:08:05Z)
• Advancing AI Research Assistants with Expert-Involved Learning [84.30323604785646]
  大規模言語モデル (LLM) と大規模マルチモーダルモデル (LMM) は、生物医学的な発見を促進することを約束するが、その信頼性は未定である。 ARIEL(AI Research Assistant for Expert-in-the-Loop Learning)は,オープンソースの評価・最適化フレームワークである。 LMMは詳細な視覚的推論に苦しむのに対し、最先端のモデルでは流動性はあるが不完全な要約を生成する。
  論文  参考訳（メタデータ） (2025-05-03T14:21:48Z)
• Large Language Models for Scholarly Ontology Generation: An Extensive Analysis in the Engineering Field [0.0]
  本稿では,異なる研究トピック間の意味的関係を識別する大規模モデルの能力について分析する。 我々はそのタスクを評価するためにIEEE Thesaurusに基づく金の標準を開発した。 Mixtral-8x7B、Dolphin-Mistral、Claude 3-7Bなど、いくつかの優れた結果が得られた。
  論文  参考訳（メタデータ） (2024-12-11T10:11:41Z)
• Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
  検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。 本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
  論文  参考訳（メタデータ） (2024-07-17T20:01:21Z)
• ATLANTIC: Structure-Aware Retrieval-Augmented Language Model for Interdisciplinary Science [0.0]
  大きな言語モデルは、多くの自然言語処理タスクで印象的なパフォーマンスを記録します。 Retrieval augmentationは、外部の知識ソースからコンテキストを取得することで、効果的なソリューションを提供する。 本稿では,検索強化時に文書構造に対応する構造対応検索言語モデルを提案する。
  論文  参考訳（メタデータ） (2023-11-21T02:02:46Z)
• Generative Models as a Complex Systems Science: How can we make sense of large language model behavior? [75.79305790453654]
  事前訓練されたモデルから望ましい振る舞いを排除し、望ましくないモデルを避けながら、NLPを再定義した。 言語モデルの振る舞いをタスク間性能を説明するカテゴリに分解する体系的な取り組みについて論じる。
  論文  参考訳（メタデータ） (2023-07-31T22:58:41Z)
• Enhancing Identification of Structure Function of Academic Articles Using Contextual Information [6.28532577139029]
  本稿では,学術論文の構造的機能を明らかにするためのコーパスとして,ACLカンファレンスの記事を取り上げる。 従来の機械学習モデルとディープラーニングモデルを用いて、様々な特徴入力に基づいて分類器を構築する。 2) に触発された本論文は,ディープラーニングモデルに文脈情報を導入し,重要な結果を得た。
  論文  参考訳（メタデータ） (2021-11-28T11:21:21Z)
• KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
  知識集約型言語タスク(KILT)のベンチマークを示す。 KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。 共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
  論文  参考訳（メタデータ） (2020-09-04T15:32:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。