論文の概要: Parallel Continuous Chain-of-Thought with Jacobi Iteration

• arxiv url: http://arxiv.org/abs/2506.18582v1
• Date: Mon, 23 Jun 2025 12:35:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.977912
• Title: Parallel Continuous Chain-of-Thought with Jacobi Iteration
• Title（参考訳）: Jacobiイテレーションによるパラレル連続鎖の創製
• Authors: Haoyi Wu, Zhihao Teng, Kewei Tu,
• Abstract要約: 思考の連続的連鎖は、大きな言語モデルに対する推論トークンの保存に有効であることが示されている。 本稿では,遅延した思考トークンに対してジャコビ処理を行い,逐次ではなく反復的に更新する並列連続チェイン・オブ・ワット(PCCoT)を提案する。
• 参考スコア（独自算出の注目度）: 39.36822246659272
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Continuous chain-of-thought has been shown to be effective in saving reasoning tokens for large language models. By reasoning with continuous latent thought tokens, continuous CoT is able to perform implicit reasoning in a compact manner. However, the sequential dependencies between latent thought tokens spoil parallel training, leading to long training time. In this paper, we propose Parallel Continuous Chain-of-Thought (PCCoT), which performs Jacobi iteration on the latent thought tokens, updating them iteratively in parallel instead of sequentially and thus improving both training and inference efficiency of continuous CoT. Experiments demonstrate that by choosing the proper number of iterations, we are able to achieve comparable or even better performance while saving nearly 50% of the training and inference time. Moreover, PCCoT shows better stability and robustness in the training process. Our code is available at https://github.com/whyNLP/PCCoT.
• Abstract（参考訳）: 思考の連続的連鎖は、大きな言語モデルに対する推論トークンの保存に有効であることが示されている。 連続的な潜在的思考トークンを推論することで、連続 CoT はコンパクトな方法で暗黙的な推論を行うことができる。 しかし、遅延したシンクトークン間のシーケンシャルな依存関係は並列トレーニングを損なうため、長いトレーニング時間が費やされる。 本稿では,PCCoT(Parallel Continuous Chain-of-Thought)を提案する。PCCoT(Parallel Continuous Chain-of-Thought)は,遅延した思考トークンに対してジャコビ反復を行い,それらを逐次ではなく反復的に更新することで,連続CoTのトレーニングと推論効率を向上する。 実験では、適切なイテレーション数を選択することで、トレーニングと推論時間の50%近くを節約しながら、同等あるいはそれ以上のパフォーマンスを達成できることが示されています。 さらに、PCCoTはトレーニングプロセスの安定性と堅牢性も向上している。 私たちのコードはhttps://github.com/whyNLP/PCCoT.comで公開されています。

関連論文リスト

• Continuous Chain of Thought Enables Parallel Exploration and Reasoning [38.59659461841282]
  現在の言語モデルは、有限語彙から自己回帰的にトークンをサンプリングすることで、チェーン・オブ・シント・トレースを生成する。 我々の研究は、論理的推論タスクを通じて、継続的に評価されたトークン(CoT2)の利点を調べます。 我々は、CoT2が複数のトレースを並列に追跡し、推論効率の利点を定量化できることを示した。
  論文  参考訳（メタデータ） (2025-05-29T16:58:28Z)
• Chain-of-Thought Tokens are Computer Program Variables [24.55270838267279]
  CoT(Chain-of- Thoughts)は、最終回答に到達する前に中間ステップを生成するために大きな言語モデルを必要とする。 2つの構成課題における大規模言語モデルにおけるCoTトークンの役割について検討する。 中間結果を保持するトークンのみを保存することで、同等のパフォーマンスが得られることが分かりました。
  論文  参考訳（メタデータ） (2025-05-08T05:32:36Z)
• Gumiho: A Hybrid Architecture to Prioritize Early Tokens in Speculative Decoding [11.07450742824775]
  投機的復号化は、ターゲットの大規模言語モデルの自動回帰トークン生成プロセスを加速することを目的としている。 いくつかのアプローチでは、複数のヘッドを持つドラフトモデルを使用して、各ヘッドがシーケンス内のトークンを処理する将来のトークンのシーケンスを予測する。 本稿では,シリアルヘッドと並列ヘッドを組み合わせたハイブリッドモデルであるGumihoを提案する。
  論文  参考訳（メタデータ） (2025-03-13T07:55:38Z)
• LLM Pretraining with Continuous Concepts [71.98047075145249]
  次のトークン予測は、大規模言語モデルの事前トレーニングで使用される標準的なトレーニング目標である。 離散的な次のトークン予測と連続的な概念を組み合わせた新しい事前学習フレームワークであるContinuous Concept Mixing (CoCoMix)を提案する。
  論文  参考訳（メタデータ） (2025-02-12T16:00:11Z)
• SepLLM: Accelerate Large Language Models by Compressing One Segment into One Separator [65.62084602011596]
  大規模言語モデル(LLM)は、自然言語処理タスクの範囲で例外的な性能を示した。 特定の意味のないセパレータトークン(句読点)は意味的に意味のあるトークンと比較して注意点に不均等に寄与する。 SepLLMは,これらのセグメントを圧縮し,冗長なトークンを除去することによって推論を高速化する,プラグアンドプレイフレームワークである。
  論文  参考訳（メタデータ） (2024-12-16T18:58:57Z)
• RefreshKV: Updating Small KV Cache During Long-form Generation [54.00118604124301]
  生成中の入力トークンのサブセットに対して、完全なコンテキストアテンションとアテンションを柔軟に交互に交互に切り替える新しい推論手法RefreshKVを提案する。 本手法をオフザシェルフ LLM に適用することにより,様々な長文生成タスクの性能を向上しつつ,エビクションベースの手法に匹敵する高速化を実現する。
  論文  参考訳（メタデータ） (2024-11-08T18:57:07Z)
• Nash CoT: Multi-Path Inference with Preference Equilibrium [40.50811042423615]
  CoT(Chain of Think)は、複雑な推論タスクにおいて、LLM(Large Language Models)のパフォーマンスを向上させるための推論フレームワークである。 より良い結果を得るための推論パスの数に最適な設定はなく、結果として推論コストが増大する。 本研究では,ロール固有LLMと一般LLMの世代とのバランスを保ちつつ,各経路にゲームシステムを構築することによりナッシュCoTを提案する。 アラビア推論,コモンセンス質問回答,シンボリック推論など,さまざまな推論タスクにおけるナッシュCoTの評価を行った。
  論文  参考訳（メタデータ） (2024-06-18T07:46:13Z)
• Randomized Block-Diagonal Preconditioning for Parallel Learning [0.0]
  本研究では,プレコンディショニング行列がブロック対角形を持つ事前条件付き勾配に基づく最適化手法について検討する。 本研究の主な貢献は,これらの手法の収束性がランダム化手法によって著しく向上できることを実証することである。
  論文  参考訳（メタデータ） (2020-06-24T10:12:36Z)
• Non-Autoregressive Machine Translation with Disentangled Context Transformer [70.95181466892795]
  最先端のニューラルネットワーク翻訳モデルは、左から右への翻訳を生成し、各ステップは以前に生成されたトークンに条件付けされる。 本研究では,異なるコンテキストのトークンを同時に生成するDisentangled Context (DisCo) 変換器を提案する。 本モデルでは,非自己回帰型機械翻訳技術と比較して性能が向上する一方,デコーディング時間の平均は大幅に減少する。
  論文  参考訳（メタデータ） (2020-01-15T05:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。