Fugu-MT 論文翻訳(概要): The Serial Scaling Hypothesis

論文の概要: The Serial Scaling Hypothesis

arxiv url: http://arxiv.org/abs/2507.12549v1
Date: Wed, 16 Jul 2025 18:01:26 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-18 20:10:24.232734
Title: The Serial Scaling Hypothesis
Title（参考訳）: シリアルスケーリング仮説
Authors: Yuxi Liu, Konpat Preechakul, Kananart Kuwaranancharoen, Yutong Bai,
Abstract要約: 直列問題は並列化できない依存的な計算ステップを必要とする。推論のシリアルな性質を認識することは、機械学習、モデル設計、ハードウェア開発に深く影響していると論じる。 AIがますます複雑な推論に取り組むにつれて、シリアル計算を意図的にスケールすることは、単なる並列計算ではなく、継続的な進歩に不可欠である。
参考スコア（独自算出の注目度）: 8.375582694104923
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While machine learning has advanced through massive parallelization, we identify a critical blind spot: some problems are fundamentally sequential. These "inherently serial" problems-from mathematical reasoning to physical simulations to sequential decision-making-require dependent computational steps that cannot be parallelized. Drawing from complexity theory, we formalize this distinction and demonstrate that current parallel-centric architectures face fundamental limitations on such tasks. We argue that recognizing the serial nature of computation holds profound implications on machine learning, model design, hardware development. As AI tackles increasingly complex reasoning, deliberately scaling serial computation-not just parallel computation-is essential for continued progress.
Abstract（参考訳）: 機械学習は大規模な並列化を通じて進歩してきたが、重要な盲点を見つけ出す。数学的推論から物理シミュレーション、シーケンシャルな決定-決定-要求依存的な計算ステップまで、並列化できない問題である。複雑性理論を参考に、この区別を形式化し、現在の並列中心アーキテクチャがそのようなタスクに基本的な制限に直面していることを示す。計算のシリアルな性質を認識することは、機械学習、モデル設計、ハードウェア開発に深く影響していると論じる。 AIがますます複雑な推論に取り組むにつれて、シリアル計算を意図的にスケールすることは、単なる並列計算ではなく、継続的な進歩に不可欠である。

関連論文リスト

A Quantum Computational Perspective on Spread Complexity [0.0]
我々は、時間進化と重ね合わせという2つの基本的な操作から構築された回路複雑性フレームワークの制限ケースとして、拡散複雑性が出現することを示すことによって、拡散複雑性と量子回路複雑性の直接的な接続を確立する。提案手法では,単位ゲートとビーム分割演算がターゲット状態を生成する計算装置を活用し,合成コストの最小化により,無限小時間進化限界における複雑性の拡散に収束する複雑性尺度が得られた。
論文参考訳（メタデータ） (2025-06-08T19:04:42Z)
Computational Thinking Reasoning in Large Language Models [69.28428524878885]
計算思考モデル(CTM)は、計算思考パラダイムを大規模言語モデル(LLM)に組み込んだ新しいフレームワークである。ライブコード実行は推論プロセスにシームレスに統合され、CTMが計算によって考えることができる。 CTMは、精度、解釈可能性、一般化可能性の観点から、従来の推論モデルとツール拡張ベースラインを上回っている。
論文参考訳（メタデータ） (2025-06-03T09:11:15Z)
Accelerate Parallelizable Reasoning via Parallel Decoding within One Sequence [0.0]
推論プロセスを加速するために、特定のタスクの固有の並列化性を活用します。実験結果から,提案手法は解答品質を維持しつつ,復号時間において100%以上の高速化を実現していることがわかった。
論文参考訳（メタデータ） (2025-03-26T13:28:57Z)
PromptCoT: Synthesizing Olympiad-level Problems for Mathematical Reasoning in Large Language Models [59.920971312822736]
本稿では,高品質なオリンピアードレベルの数学問題を自動生成する新しい手法であるPromptCoTを紹介する。提案手法は,問題構築の背景にある数学的概念と理論的根拠に基づいて複雑な問題を合成する。提案手法は, GSM8K, MATH-500, AIME2024などの標準ベンチマークで評価され, 既存の問題生成手法を一貫して上回っている。
論文参考訳（メタデータ） (2025-03-04T06:32:30Z)
When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
論文参考訳（メタデータ） (2023-08-29T17:22:39Z)
Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
論文参考訳（メタデータ） (2023-05-29T23:24:14Z)
The Basis of Design Tools for Quantum Computing: Arrays, Decision Diagrams, Tensor Networks, and ZX-Calculus [55.58528469973086]
量子コンピュータは、古典的コンピュータが決して起こらない重要な問題を効率的に解決することを約束する。完全に自動化された量子ソフトウェアスタックを開発する必要がある。この研究は、今日のツールの"内部"の外観を提供し、量子回路のシミュレーション、コンパイル、検証などにおいてこれらの手段がどのように利用されるかを示す。
論文参考訳（メタデータ） (2023-01-10T19:00:00Z)
A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
論文参考訳（メタデータ） (2022-11-16T00:11:04Z)
End-to-end Algorithm Synthesis with Recurrent Networks: Logical Extrapolation Without Overthinking [52.05847268235338]
機械学習システムが問題を過度に考えずに論理的外挿を行う方法を示す。本稿では,問題インスタンスの明示的なコピーをメモリに保持して,それを忘れないようにするリコールアーキテクチャを提案する。また、モデルが数に固有の行動を学ぶのを防ぎ、無期限に繰り返される行動を学ぶためにモデルをプッシュするプログレッシブトレーニングルーチンも採用しています。
論文参考訳（メタデータ） (2022-02-11T18:43:28Z)
Random thoughts about Complexity, Data and Models [0.0]
データサイエンスと機械学習は、過去10年間強く成長してきた。我々は「データとモデル」の微妙な関係について検討する。アルゴリズム複雑性とアルゴリズム学習の関係性を評価する上での鍵となる課題は、圧縮性、決定性、予測可能性の概念である。
論文参考訳（メタデータ） (2020-04-16T14:27:22Z)
Relaxed Scheduling for Scalable Belief Propagation [27.226933626287305]
我々は,グラフィカルモデルに基づく推論のキーとなる機械学習タスクに対して,効率的な並列アルゴリズムに焦点をあてる。この文脈で、緩和されたスケーラブルなスケジューラをどのように活用するかを示します。提案手法は,拡張性および壁面収束時間の両方において,従来の並列信条伝搬実装よりも優れていた。
論文参考訳（メタデータ） (2020-02-25T10:28:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。