論文の概要: From Parameters to Performance: A Data-Driven Study on LLM Structure and Development

• arxiv url: http://arxiv.org/abs/2509.18136v1
• Date: Sun, 14 Sep 2025 12:20:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.407188
• Title: From Parameters to Performance: A Data-Driven Study on LLM Structure and Development
• Title（参考訳）: パラメータからパフォーマンスへ: LLMの構造と開発に関するデータ駆動研究
• Authors: Suqing Wang, Zuchao Li, Luohe Shi, Bo Du, Hai Zhao, Yun Li, Qianren Wang,
• Abstract要約: 大規模言語モデル(LLM)は、様々な領域で大きな成功を収めている。 モデルスケールと能力の急激な成長にもかかわらず、構造構成がパフォーマンスに与える影響に関する体系的なデータ駆動の研究は依然として少ない。 多様なオープンソースLLM構造を含む大規模データセットと,その性能を複数のベンチマークで比較した。
• 参考スコア（独自算出の注目度）: 73.67759647072519
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) have achieved remarkable success across various domains, driving significant technological advancements and innovations. Despite the rapid growth in model scale and capability, systematic, data-driven research on how structural configurations affect performance remains scarce. To address this gap, we present a large-scale dataset encompassing diverse open-source LLM structures and their performance across multiple benchmarks. Leveraging this dataset, we conduct a systematic, data mining-driven analysis to validate and quantify the relationship between structural configurations and performance. Our study begins with a review of the historical development of LLMs and an exploration of potential future trends. We then analyze how various structural choices impact performance across benchmarks and further corroborate our findings using mechanistic interpretability techniques. By providing data-driven insights into LLM optimization, our work aims to guide the targeted development and application of future models. We will release our dataset at https://huggingface.co/datasets/DX0369/LLM-Structure-Performance-Dataset
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な領域で大きな成功を収め、重要な技術進歩と革新をもたらした。 モデルスケールと能力の急激な成長にもかかわらず、構造構成がパフォーマンスに与える影響に関する体系的なデータ駆動の研究は依然として少ない。 このギャップに対処するために、様々なオープンソースのLCM構造を含む大規模なデータセットと、複数のベンチマークでその性能を示す。 このデータセットを利用することで、構造的構成と性能の関係を検証および定量化するために、系統的なデータマイニング駆動分析を行う。 本研究は,LLMの歴史的発展と今後の展望を考察することから始まる。 次に、様々な構造的選択がベンチマーク全体のパフォーマンスにどのように影響するかを分析し、機械的解釈可能性技術を用いて研究結果をさらに裏付ける。 LLM最適化に関するデータ駆動の洞察を提供することで、将来のモデルの開発と応用をガイドすることを目指しています。 私たちはデータセットをhttps://huggingface.co/datasets/DX0369/LLM-Structure-Performance-Datasetでリリースします。

関連論文リスト

• Teaching LLMs to Think Mathematically: A Critical Study of Decision-Making via Optimization [1.246870021158888]
  本稿では,大規模言語モデル(LLM)の数学的プログラミングによる意思決定問題の定式化と解決能力について検討する。 まず、LLMがドメイン間の最適化問題をいかに理解し、構造化し、解決するかを評価するため、最近の文献の体系的レビューとメタ分析を行う。 計算機ネットワークにおける問題に対する最適化モデルの自動生成において、最先端のLLMの性能を評価するために設計されたターゲット実験により、系統的エビデンスを補完する。
  論文  参考訳（メタデータ） (2025-08-25T14:52:56Z)
• Why Do Open-Source LLMs Struggle with Data Analysis? A Systematic Empirical Study [55.09905978813599]
  大規模言語モデル(LLM)は、データ分析タスクの自動化を約束する。 しかし、オープンソースモデルは、このような推論集約的なシナリオにおいて、重大な制限に直面している。 本研究では,オープンソースLLMのデータ解析機能を強化するための戦略について検討する。
  論文  参考訳（メタデータ） (2025-06-24T17:04:23Z)
• GraphOmni: A Comprehensive and Extendable Benchmark Framework for Large Language Models on Graph-theoretic Tasks [26.992997870540435]
  Graph Omniは、自然言語で記述されたグラフ理論タスクにおけるLLMの推論能力を評価するためのベンチマークである。 我々は,グラフタイプ,シリアライズ形式,シグナリングスキーム間の重要な相互作用を同定し,モデル性能に大きな影響を与えることを示す。 本稿では,LLM推論能力に影響を与える最適要因を適応的に選択する強化学習型フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-17T09:01:16Z)
• Building a Family of Data Augmentation Models for Low-cost LLM Fine-tuning on the Cloud [12.651588927599441]
  モデル微調整の効率を大幅に向上するために,データ拡張モデル群を提案する。 これらのモデルは十分に小さなLLMに基づいて訓練され、推論コストの低い重要な機能をサポートする。 実験と応用研究は、我々のアプローチの有効性を証明した。
  論文  参考訳（メタデータ） (2024-12-06T09:04:12Z)
• Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
  我々は、教師付き微調整(SFT)の一般的な方法論を含む、文献の体系的なレビューを行う。 また、既存の戦略の欠陥を指摘しながら、SFTの潜在的な落とし穴についても、それに対する批判とともに検討する。
  論文  参考訳（メタデータ） (2023-08-21T15:35:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。