論文の概要: HybridThinker: Efficient Chain-of-Thought Reasoning via Compressed Memory and Transient Thought Steps

• arxiv url: http://arxiv.org/abs/2606.03768v1
• Date: Tue, 02 Jun 2026 15:22:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.100356
• Title: HybridThinker: Efficient Chain-of-Thought Reasoning via Compressed Memory and Transient Thought Steps
• Title（参考訳）: HybridThinker: 圧縮メモリと過渡的な思考ステップによる効率的なチェーン・オブ・ソート推論
• Authors: Xin Liu, Runsong Zhao, Xinyu Liu, Junhao Ruan, Pengcheng Huang, Shichao Dong, Chunyang Xiao, Chenglong Wang, Changliang Li, Jingbo Zhu, Tong Xiao,
• Abstract要約: 拡張チェーン・オブ・シント(CoT)トレースは、LCM推論を改善するが、かなりの計算とメモリコストを発生させる。 textbfHybridThinkerを提案し、これらの表現の保存に加えて、思考ステップも一時的に保持し、きめ細かい詳細を提供する。 これらのステップから直接情報を取得することで、学習の継続によって、モデルがメモリトークンをバイパスすることができることを観察する。 そこで我々は,次のステップに注意することで,いくつかの思考ステップのみに直接アクセスし,他の思考ステップをマスクするハイブリッドトレーニング手法を導入する。
• 参考スコア（独自算出の注目度）: 47.04304995201151
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Extended chain-of-thought (CoT) traces improve LLM reasoning but incur substantial computational and memory costs. While existing CoT compression methods mitigate this by condensing thought steps into compact representations via memory tokens and retaining only these representations at inference time, the loss of fine-grained information makes subsequent steps more error-prone. To alleviate this, we propose \textbf{HybridThinker}, where in addition to preserved these representations, thought steps are also temporarily retained to provide fine-grained details. However, we observe that naively keeping thought steps accessible to subsequent steps \emph{during training} lets the model bypass memory tokens by retrieving information directly from these steps, leaving the model's ability to compress and retrieve information through memory tokens insufficiently trained. We therefore introduce a hybrid training scheme, in which only some thought steps are directly accessible through attention to subsequent steps, while the other thought steps are masked, forcing the model to use memory tokens for compression and retrieval. Across 4 reasoning benchmarks, HybridThinker matches the uncompressed baseline, advancing the state of the art in CoT compression by 5.8 points on average accuracy with similar inference time. Ablation studies confirm that both temporary thought-step retention and the hybrid training scheme contribute to these gains.
• Abstract（参考訳）: 拡張チェーン・オブ・シント(CoT)トレースは、LCM推論を改善するが、かなりの計算とメモリコストを発生させる。 既存のCoT圧縮手法は、思考ステップをメモリトークンを介してコンパクトな表現に凝縮し、推論時にのみこれらの表現を保持することによってこれを緩和するが、微細な情報の喪失により、その後のステップはよりエラーを起こしやすい。 これを軽減するために、これらの表現の保存に加えて、微妙な詳細を提供するために、思考ステップも一時的に保持する「textbf{HybridThinker}」を提案する。 しかし、後続のステップであるemph{during training}では、モデルがこれらのステップから直接情報を取得してメモリトークンをバイパスし、十分な訓練を受けたメモリトークンを通じて情報を圧縮・取得する能力を残している。 そこで我々は,後続のステップに注意することで,いくつかの思考ステップのみに直接アクセス可能なハイブリッドトレーニング手法を導入し,他の思考ステップをマスクし,圧縮と検索にメモリトークンを使用するように強制する。 4つの推論ベンチマークで、HybridThinkerは圧縮されていないベースラインと一致し、CoT圧縮の最先端を5.8ポイント推し進めた。 アブレーション研究は、一時的な思考段階の維持とハイブリッドトレーニングスキームの両方がこれらの利益に寄与することを確認する。

関連論文リスト

• A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
  生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。 逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。 本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
  論文  参考訳（メタデータ） (2026-04-25T17:38:51Z)
• Accordion-Thinking: Self-Regulated Step Summaries for Efficient and Readable LLM Reasoning [62.680551162054975]
  我々はLLMが動的要約によって推論ステップの粒度を自己制御することを学ぶエンドツーエンドのフレームワークを紹介した。 高い効率のFoldモードと徹底的なUnfoldモードの精度ギャップを徐々に狭めていくという重要な知見を見出し,この能力をさらにインセンティブ化するために強化学習を適用した。 私たちのAccordion-Thinkerは、学習した自己圧縮により、LLMは依存性トークンのオーバーヘッドを最小限に抑えながら複雑な推論タスクに取り組むことができることを示した。
  論文  参考訳（メタデータ） (2026-02-03T08:34:20Z)
• Breadcrumbs Reasoning: Memory-Efficient Reasoning with Compression Beacons [22.085345397844687]
  本稿では,KVキャッシュを学習用専用トークンで周期的に圧縮することを提案する。 我々は, この圧縮を行うために, 改良された共同蒸留および強化学習フレームワークを用いてモデルを訓練する。 本手法は,キャッシュ圧縮のないモデルとトレーニング不要な圧縮技術の両方と比較して,優れたメモリ精度のフロンティアを実現する。
  論文  参考訳（メタデータ） (2025-10-15T17:57:21Z)
• CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing [54.34080239841088]
  CommonKVは、隣接パラメータ共有による層間KVキャッシュ圧縮のトレーニング不要な方法である。 提案手法は,様々な圧縮比で既存の低ランクおよびクロスレイヤーの手法より一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-22T06:55:45Z)
• LightThinker: Thinking Step-by-Step Compression [74.34839026338342]
  提案するLightThinkerは,大規模言語モデルを用いて推論中の中間的思考を動的に圧縮する手法である。 人間の認知プロセスにインスパイアされたLightThinkerは、思考ステップをコンパクトな表現に圧縮し、元の推論チェーンを捨てる。 実験によると、LightThinkerは競合精度を維持しながら、ピークメモリ使用量と推論時間を短縮する。
  論文  参考訳（メタデータ） (2025-02-21T16:57:22Z)
• Cached Adaptive Token Merging: Dynamic Token Reduction and Redundant Computation Elimination in Diffusion Model [2.580765958706854]
  拡散モデルは高い計算コストと遅い推論によって妨げられる。 そのようなアプローチの1つは、トークンマージ(ToMe)として知られる自己アテンションに供給されるトークンの数を減らすことに焦点を当てている。
  論文  参考訳（メタデータ） (2025-01-01T20:16:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。