論文の概要: Do Larger Language Models Imply Better Reasoning? A Pretraining Scaling Law for Reasoning

• arxiv url: http://arxiv.org/abs/2504.03635v1
• Date: Fri, 04 Apr 2025 17:57:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-07 14:49:34.885169
• Title: Do Larger Language Models Imply Better Reasoning? A Pretraining Scaling Law for Reasoning
• Title（参考訳）: より大きな言語モデルは推論を改善するか? 推論のためのスケーリング法を事前訓練する
• Authors: Xinyi Wang, Shawn Tan, Mingyu Jin, William Yang Wang, Rameswar Panda, Yikang Shen,
• Abstract要約: 本研究では,実世界の大規模知識グラフの構造と分布を再現する合成マルチホップ推論環境を提案する。 我々の推論タスクは、グラフの欠落したエッジを補完することであり、これは高度なマルチホップ推論を必要とし、現実世界の推論シナリオを模倣する。 特定の知識グラフに対して最適なモデルサイズを予測するために,知識グラフ探索エントロピーを最適モデルサイズに線形にマッピングする経験的スケーリングを求める。
• 参考スコア（独自算出の注目度）: 89.17086632436363
• License:
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities across a wide range of tasks requiring complex reasoning. However, the effects of scaling on their reasoning abilities remain insufficiently understood. In this paper, we introduce a synthetic multihop reasoning environment designed to closely replicate the structure and distribution of real-world large-scale knowledge graphs. Our reasoning task involves completing missing edges in the graph, which requires advanced multi-hop reasoning and mimics real-world reasoning scenarios. To evaluate this, we pretrain language models (LMs) from scratch solely on triples from the incomplete graph and assess their ability to infer the missing edges. Interestingly, we observe that overparameterization can impair reasoning performance due to excessive memorization. We investigate different factors that affect this U-shaped loss curve, including graph structure, model size, and training steps. To predict the optimal model size for a specific knowledge graph, we find an empirical scaling that linearly maps the knowledge graph search entropy to the optimal model size. This work provides new insights into the relationship between scaling and reasoning in LLMs, shedding light on possible ways to optimize their performance for reasoning tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複雑な推論を必要とする広範囲のタスクで顕著な機能を示している。 しかし,スケーリングが推論能力に与える影響はいまだ十分に理解されていない。 本稿では,実世界の大規模知識グラフの構造と分布を忠実に再現する合成マルチホップ推論環境を提案する。 我々の推論タスクは、グラフの欠落したエッジを補完することであり、これは高度なマルチホップ推論を必要とし、現実世界の推論シナリオを模倣する。 これを評価するために、不完全なグラフから三重項のみをスクラッチから事前訓練し、欠落したエッジを推測する能力を評価する。 興味深いことに、過度な記憶が原因で、過度なパラメータ化が推論性能を損なう可能性がある。 グラフ構造やモデルサイズ,トレーニングステップなど,このU字型損失曲線に影響を与えるさまざまな要因について検討する。 特定の知識グラフに対して最適なモデルサイズを予測するために,知識グラフ探索エントロピーを最適モデルサイズに線形にマッピングする経験的スケーリングを求める。 この研究は、LLMにおけるスケーリングと推論の関係に関する新たな洞察を提供し、推論タスクのパフォーマンスを最適化する可能性について光を当てています。

関連論文リスト

• Causal Graphs Meet Thoughts: Enhancing Complex Reasoning in Graph-Augmented LLMs [4.701165676405066]
  関連情報を検索するだけでなく、因果推論や説明可能性の提供も重要である。 本稿では,大きな知識グラフをフィルタして原因効果エッジを強調する新しいパイプラインを提案する。 医学的質問応答タスクの実験では、一貫した利得を示し、最大10%の絶対的な改善がある。
  論文  参考訳（メタデータ） (2025-01-24T19:31:06Z)
• Revisiting the Graph Reasoning Ability of Large Language Models: Case Studies in Translation, Connectivity and Shortest Path [53.71787069694794]
  大規模言語モデル(LLM)のグラフ推論能力に着目する。 グラフ記述変換,グラフ接続,最短パス問題という3つの基本グラフタスクにおけるLLMの能力を再考する。 この結果から,LLMはテキスト記述によるグラフ構造理解に失敗し,これらの基本課題に対して様々な性能を示すことが可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-08-18T16:26:39Z)
• Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
  我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。 我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。 複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
  論文  参考訳（メタデータ） (2024-02-05T18:25:51Z)
• GraphLLM: Boosting Graph Reasoning Ability of Large Language Model [7.218768686958888]
  GraphLLMは、グラフ学習モデルと大規模言語モデルを統合する、先駆的なエンドツーエンドアプローチである。 4つの基本グラフ推論タスクにおける経験的評価により,GraphLLMの有効性が検証された。 その結果、54.44%の精度が向上し、96.45%の文脈が短縮された。
  論文  参考訳（メタデータ） (2023-10-09T16:42:00Z)
• GraphReason: Enhancing Reasoning Capabilities of Large Language Models through A Graph-Based Verification Approach [0.0]
  大きな言語モデル(LLM)は印象的な推論機能を示しています。 本稿では,LLMの推論能力をさらに向上するグラフベースの新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-18T03:12:59Z)
• Beyond spectral gap (extended): The role of the topology in decentralized learning [58.48291921602417]
  機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 現在の理論では、コラボレーションはトレーニング単独よりも学習率が大きいことを説明していない。 本稿では,疎結合分散最適化の正確な図面を描くことを目的とする。
  論文  参考訳（メタデータ） (2023-01-05T16:53:38Z)
• CLEAR: Generative Counterfactual Explanations on Graphs [60.30009215290265]
  グラフ上での対実的説明生成の問題について検討する。 グラフに関する反実的な説明を調査する研究はいくつかあるが、この問題の多くの課題はまだ十分に適応されていない。 本稿では,グラフレベルの予測モデルに対して,グラフ上の反実的説明を生成するための新しいフレームワークCLEARを提案する。
  論文  参考訳（メタデータ） (2022-10-16T04:35:32Z)
• Beyond spectral gap: The role of the topology in decentralized learning [58.48291921602417]
  機械学習モデルのデータ並列最適化では、労働者はモデルの推定値を改善するために協力する。 本稿では、労働者が同じデータ分散を共有するとき、疎結合な分散最適化の正確な図面を描くことを目的とする。 我々の理論は深層学習における経験的観察と一致し、異なるグラフトポロジーの相対的メリットを正確に記述する。
  論文  参考訳（メタデータ） (2022-06-07T08:19:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。