論文の概要: How do Scaling Laws Apply to Knowledge Graph Engineering Tasks? The Impact of Model Size on Large Language Model Performance

• arxiv url: http://arxiv.org/abs/2505.16276v1
• Date: Thu, 22 May 2025 06:21:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.079802
• Title: How do Scaling Laws Apply to Knowledge Graph Engineering Tasks? The Impact of Model Size on Large Language Model Performance
• Title（参考訳）: 知識グラフ工学の課題に対するスケーリング法則の適用法 : 大規模言語モデルの性能に及ぼすモデルサイズの影響
• Authors: Desiree Heim, Lars-Peter Meyer, Markus Schröder, Johannes Frey, Andreas Dengel,
• Abstract要約: 知識グラフ工学(KGE)タスクに特有のモデルサイズスケーリング法則について検討する。 いくつかのケースでは、プラトー効果や天井効果、すなわち、タスク性能はモデルと次の大きなモデルの間に大きくは変化しなかった。 同じ家系のモデルに関して、時にはより大型のモデルが同じ家系のより小型のモデルよりも悪い結果となった。
• 参考スコア（独自算出の注目度）: 4.388282062290401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When using Large Language Models (LLMs) to support Knowledge Graph Engineering (KGE), one of the first indications when searching for an appropriate model is its size. According to the scaling laws, larger models typically show higher capabilities. However, in practice, resource costs are also an important factor and thus it makes sense to consider the ratio between model performance and costs. The LLM-KG-Bench framework enables the comparison of LLMs in the context of KGE tasks and assesses their capabilities of understanding and producing KGs and KG queries. Based on a dataset created in an LLM-KG-Bench run covering 26 open state-of-the-art LLMs, we explore the model size scaling laws specific to KGE tasks. In our analyses, we assess how benchmark scores evolve between different model size categories. Additionally, we inspect how the general score development of single models and families of models correlates to their size. Our analyses revealed that, with a few exceptions, the model size scaling laws generally also apply to the selected KGE tasks. However, in some cases, plateau or ceiling effects occurred, i.e., the task performance did not change much between a model and the next larger model. In these cases, smaller models could be considered to achieve high cost-effectiveness. Regarding models of the same family, sometimes larger models performed worse than smaller models of the same family. These effects occurred only locally. Hence it is advisable to additionally test the next smallest and largest model of the same family.
• Abstract（参考訳）: 知識グラフエンジニアリング(KGE)をサポートするためにLarge Language Models(LLMs)を使用する場合、適切なモデルを探す際の最初の指標の1つは、そのサイズである。 スケーリング法則によると、より大きなモデルは通常、より高い能力を示す。 しかし、実際には、資源コストも重要な要素であり、モデルの性能とコストの比を考えることは理にかなっている。 LLM-KG-Benchフレームワークは、KGEタスクのコンテキストにおけるLLMの比較を可能にし、KGとKGクエリの理解と生成能力を評価する。 LLM-KG-Benchランニングで作成したデータセットに基づいて、KGEタスクに特有のモデルサイズスケーリング法則について検討する。 本分析では,異なるモデルサイズカテゴリ間でベンチマークスコアがどのように進化するかを評価する。 さらに、単一モデルとモデルのファミリーの一般的なスコア開発が、それらのサイズとどのように関連しているかを考察する。 分析の結果、モデルサイズスケーリング法則は、いくつかの例外を除いて、選択したKGEタスクにも適用されることがわかった。 しかし、いくつかのケースでは、プラトー効果や天井効果が発生し、すなわち、タスク性能はモデルと次の大きなモデルの間に大きくは変化しなかった。 これらの場合、より小さなモデルはコスト効率の高いものと見なすことができる。 同じ家系のモデルに関して、時にはより大型のモデルが同じ家系のより小型のモデルよりも悪い結果となった。 これらの効果は局所的にのみ発生した。 したがって、同じ家系の次の最小かつ最大のモデルをテストすることは推奨される。

関連論文リスト

• Not-Just-Scaling Laws: Towards a Better Understanding of the Downstream Impact of Language Model Design Decisions [65.89403417819764]
  設計選択が言語モデル能力に与える影響を定量化する。 モデルサイズとトレーニングトークンの数以外の機能を組み込むことで、下流のパフォーマンスを予測する能力が3～28%向上する。
  論文  参考訳（メタデータ） (2025-03-05T19:46:04Z)
• Scaling Laws Across Model Architectures: A Comparative Analysis of Dense and MoE Models in Large Language Models [34.79589443380606]
  大規模言語モデル(LLM)のスケーリングは、モデルトレーニングとデプロイメントの効率性と効率性にとって重要な研究領域である。 本研究は,Dense Models と MoE Model のスケーリング法則の伝達性と相違について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:21:56Z)
• What Matters for Model Merging at Scale? [94.26607564817786]
  モデルマージは、複数の専門家モデルとより有能な単一モデルを組み合わせることを目的としている。 これまでの研究は主に、いくつかの小さなモデルをマージすることに焦点を当ててきた。 本研究は,大規模モデルマージの有用性を体系的に評価する。
  論文  参考訳（メタデータ） (2024-10-04T17:17:19Z)
• Large Language Model Pruning [0.0]
  LLMに特化したモデルプルーニング手法を提案する。 提案手法は深層学習モデルの説明可能性を強調する。 また、大規模モデルにおけるプルーニングと小規模モデルにおけるプルーニングの違いについても検討する。
  論文  参考訳（メタデータ） (2024-05-24T18:22:15Z)
• More Compute Is What You Need [3.184416958830696]
  モデル性能はトランスフォーマーモデルに費やされる計算量に大きく依存することを示す新しいスケーリング法則を提案する。 a)推論効率、トレーニングは、より小さなモデルサイズとより大きなトレーニングデータセットを優先すべきであり、(b)利用可能なWebデータセットの枯渇を前提として、モデルサイズをスケールすることが、モデルパフォーマンスをさらに改善するための唯一の方法である、と予測する。
  論文  参考訳（メタデータ） (2024-04-30T12:05:48Z)
• When Do We Not Need Larger Vision Models? [55.957626371697785]
  視覚モデルのサイズを拡大することが、より強力な視覚表現を得るためのデファクトスタンダードとなっている。 S$2のScaling on Scales(スケーリング・オン・スケール)のパワーを実演します。 1行のコードで任意のビジョンモデルにS$2$を適用可能なPythonパッケージをリリースします。
  論文  参考訳（メタデータ） (2024-03-19T17:58:39Z)
• Efficient Large Scale Language Modeling with Mixtures of Experts [61.45159383372181]
  エキスパート層(MoE)の混合により、条件付き計算による言語モデルの効率的なスケーリングが可能になる。 本稿では, 自己回帰型 MoE 言語モデルが, 広範囲な環境下での高密度モデルと比較して, どのようにスケールするかを示す実験的検討を行った。
  論文  参考訳（メタデータ） (2021-12-20T17:05:11Z)
• When Ensembling Smaller Models is More Efficient than Single Large Models [52.38997176317532]
  アンサンブルは高い精度で単一モデルより優れており、計算に要する総FLOPは少ない。 これは、アンサンブルの出力の多様性がより大きなモデルを訓練するよりも効率的であることを示す興味深い観察結果である。
  論文  参考訳（メタデータ） (2020-05-01T18:56:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。