論文の概要: Can Large Language Models "Hyper-Thread"?

• arxiv url: http://arxiv.org/abs/2608.22376v1
• Date: Sun, 23 Aug 2026 11:53:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.735561
• Title: Can Large Language Models "Hyper-Thread"?
• Title（参考訳）: 大規模言語モデルは"ハイパースレッド"か?
• Abstract要約: 大規模言語モデルはトークンを逐次生成するが、トークンの生成中に複数のタスクを同時に実行できるのか? モデルハイパースレッド仮説を提案し、同じ問題内で状態を共有する複数の協調タスクを用いてその予測を評価する。 我々は3つの条件(ベースライン、シリアル関数スケジューリング、コンカレント関数ロード)を設計し、その利点とコストを精度、出力トーケン分布、注意指標を用いて評価する。
• 参考スコア（独自算出の注目度）: 2.7787094635105185
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models generate tokens sequentially, but can they execute multiple tasks concurrently while forming each token? Broader attention allocation may provide a mechanism for such task concurrency. Existing approaches to scaling inference primarily rely on longer generations, more samples, or additional verification stages, while attention dispersion is often treated as a signal of interference or error. Task concurrency within serial generation therefore remains underexplored. We propose the Model Hyper-Threading Hypothesis and evaluate its predictions using multiple coordinated tasks that share state within the same problem. We design three conditions (Baseline, Serial Functional Scheduling, and Concurrent Functional Loading) and evaluate their benefits and costs using accuracy, output-token distributions, and attention metrics. On an AIME 2025 development set, Concurrent Functional Loading achieves the highest accuracy. Relative to Serial Functional Scheduling, its typical output length is similar and it is shorter on most problems, while exhibiting greater attention dispersion and higher task-relevant coverage, albeit with a heavier output-length tail. Within-step concurrency and its causal mechanism still require direct tests. Our results show that more dispersed attention can coexist with higher accuracy, providing preliminary behavioral and correlational evidence for the hyper-threading hypothesis. These findings motivate a shift in perspective on inference scaling from "generating more tokens" toward "having each generation step carry more tasks," pointing to a new avenue for improving reasoning performance.
• Abstract（参考訳）: 大規模言語モデルはトークンを逐次生成するが、トークンの生成中に複数のタスクを同時に実行できるのか? より広い注意の割り当ては、そのようなタスクの並行性のためのメカニズムを提供するかもしれない。 既存の推論のスケーリングアプローチは、主に長い世代、より多くのサンプル、追加の検証段階に依存し、注意分散はしばしば干渉やエラーの信号として扱われる。 そのため、シリアルジェネレーションにおけるタスクの並行性は未検討のままである。 モデルハイパースレッド仮説を提案し、同じ問題内で状態を共有する複数の協調タスクを用いてその予測を評価する。 我々は,3つの条件(ベースライン,シリアル関数スケジューリング,コンカレント関数ロード)を設計し,その利点とコストを,精度,出力トーケン分布,注意指標を用いて評価する。 AIME 2025の開発セットでは、コンカレント機能ローディングが最も精度が高い。 シリアル関数スケジューリングとは対照的に、典型的な出力長は類似しており、ほとんどの問題では短いが、高い注意分散と高いタスク関連カバレッジを示すが、出力長は重い。 ステップ内の並行処理とその因果メカニズムは、依然として直接テストが必要である。 以上の結果から,より分散した注意は高い精度で共存し,ハイパースレッディング仮説の予備的行動的および相関的な証拠が得られた。 これらの発見は、推論スケーリングの視点を"トークンの生成"から"各生成ステップがより多くのタスクを実行する"に転換する動機となり、推論性能を改善するための新たな道のりを指し示している。

関連論文リスト

• BiKC+: Bimanual Hierarchical Imitation with Keypose-Conditioned Coordination-Aware Consistency Policies [25.25845809170421]
  両手操作に適したキープレイス条件付き協調型整合性ポリシーを提案する。 本フレームワークは,階層的模倣学習を高レベルなキープレース予測器と低レベルな軌道生成器で実現する。 特に,ロボット中心の動作特徴とタスク中心の操作スタイルの両方を考慮することで,バイマニュアルのキープットを識別するための革新的なアプローチを考案する。
  論文  参考訳（メタデータ） (2026-01-17T17:33:18Z)
• ThreadWeaver: Adaptive Threading for Efficient Parallel Reasoning in Language Models [99.6720868215076]
  適応並列推論のためのフレームワークThreadWeaverを紹介します。 ThreadWeaverは、同等サイズの一般的なシーケンシャル推論モデルと同等の精度を達成する。 ThreadWeaverはトークンのレイテンシの平均速度を最大1.53倍にします。
  論文  参考訳（メタデータ） (2025-11-24T18:55:59Z)
• Higher-order Linear Attention [59.92962330635185]
  スケールされたドット積の注意の二次コストは、自己回帰言語モデルを長いコンテキストにスケールするための中心的な障害である。 本稿では,高次線形注意(Higher-order Linear Attention, HLA)を提案する。
  論文  参考訳（メタデータ） (2025-10-31T07:54:37Z)
• Multipole Attention for Efficient Long Context Reasoning [64.94673641704289]
  大規模推論モデル (LRM) は複雑な問題解決タスクにおいて有望な精度の向上を示す。 LRMは、答える前に考えるために、長い連鎖推論を生成する必要がある。 本稿では,重要なトークンに対してのみ正確に注意を払うことで,自己回帰推論を高速化するマルチポール注意法を提案する。
  論文  参考訳（メタデータ） (2025-06-16T03:00:40Z)
• Let Me Think! A Long Chain-of-Thought Can Be Worth Exponentially Many Short Ones [19.390296419822562]
  逐次スケーリングが並列スケーリングよりも指数関数的な優位性をもたらすような推論設定の存在を示す。 我々は,様々な言語モデルを用いた包括的実験により理論的知見を検証した。
  論文  参考訳（メタデータ） (2025-05-27T23:23:34Z)
• Jakiro: Boosting Speculative Decoding with Decoupled Multi-Head via MoE [15.003006630308517]
  投機的復号(SD)は、より小さなドラフトモデルを用いて複数のトークンを予測することで、大きな言語モデル推論を加速する。 本稿では,専門家の混在(Mixture of Experts, MoE)を利用したJakiroを提案する。 提案手法は予測精度を大幅に向上し,推論高速化を実現する。
  論文  参考訳（メタデータ） (2025-02-10T09:24:06Z)
• Longer Attention Span: Increasing Transformer Context Length with Sparse Graph Processing Techniques [0.0]
  本稿では,トークンをグラフのノードとして認識し,注目マスクがグラフのエッジを決定する,注目のグラフコンピューティングビューを提案する。 この観点から,注意機構を実装するグラフ処理アルゴリズムを開発した。 我々のアルゴリズムは1つのNVIDIA A100 GPUで1億6000万の非常に長いシーケンス長を達成できます。
  論文  参考訳（メタデータ） (2025-01-31T22:05:00Z)
• Attention Entropy is a Key Factor: An Analysis of Parallel Context Encoding with Full-attention-based Pre-trained Language Models [49.84163262868945]
  大規模言語モデルは、コンテキストモデリングにおける例外的な能力のため、幅広い言語タスクで顕著なパフォーマンスを示している。 最も一般的なコンテキストモデリングの方法は、標準的なデコーダのみのトランスフォーマーに見られるように、完全な自己アテンションである。 本稿では,コンテキストをサブピースに分割して並列に符号化する並列コンテキスト符号化を提案する。
  論文  参考訳（メタデータ） (2024-12-21T09:04:51Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Temporally Correlated Task Scheduling for Sequence Learning [143.70523777803723]
  多くのアプリケーションにおいて、シーケンス学習タスクは通常、複数の時間的に相関した補助タスクと関連付けられている。 シーケンス学習に学習可能なスケジューラを導入し、トレーニングのための補助的なタスクを適応的に選択できる。 本手法は,同時翻訳とストックトレンド予測の性能を著しく向上させる。
  論文  参考訳（メタデータ） (2020-07-10T10:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。