論文の概要: LightThinker++: From Reasoning Compression to Memory Management

• arxiv url: http://arxiv.org/abs/2604.03679v1
• Date: Sat, 04 Apr 2026 10:46:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-07 15:49:18.720044
• Title: LightThinker++: From Reasoning Compression to Memory Management
• Title（参考訳）: LightThinker++:圧縮の推論からメモリ管理へ
• Authors: Yuqi Zhu, Jintian Zhang, Zhenjie Wan, Yujie Luo, Shuofei Qiao, Zhengke Gui, Da Zheng, Lei Liang, Huajun Chen, Ningyu Zhang,
• Abstract要約: 大きな言語モデル(LLM)は複雑な推論において優れているが、その効率は長い思考トレースの認知的オーバーヘッドの増加によって制限される。 LLMが動的に中間的思考をコンパクトな意味表現に圧縮できる方法であるLightThinkerを提案する。 私たちはフレームワークをLightThinker++に進化させ、Explicit Adaptive Memory Managementを導入しました。
• 参考スコア（独自算出の注目度）: 61.2260619973687
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) excel at complex reasoning, yet their efficiency is limited by the surging cognitive overhead of long thought traces. In this paper, we propose LightThinker, a method that enables LLMs to dynamically compress intermediate thoughts into compact semantic representations. However, static compression often struggles with complex reasoning where the irreversible loss of intermediate details can lead to logical bottlenecks. To address this, we evolve the framework into LightThinker++, introducing Explicit Adaptive Memory Management. This paradigm shifts to behavioral-level management by incorporating explicit memory primitives, supported by a specialized trajectory synthesis pipeline to train purposeful memory scheduling. Extensive experiments demonstrate the framework's versatility across three dimensions. (1) LightThinker reduces peak token usage by 70% and inference time by 26% with minimal accuracy loss. (2) In standard reasoning, LightThinker++ slashes peak token usage by 69.9% while yielding a +2.42% accuracy gain under the same context budget for maximum performance. (3) Most notably, in long-horizon agentic tasks, it maintains a stable footprint beyond 80 rounds (a 60%-70% reduction), achieving an average performance gain of 14.8% across different complex scenarios. Overall, our work provides a scalable direction for sustaining deep LLM reasoning over extended horizons with minimal overhead.
• Abstract（参考訳）: 大きな言語モデル(LLM)は複雑な推論において優れているが、その効率は長い思考トレースの認知的オーバーヘッドの増加によって制限される。 本稿では,LLMが中間的思考をコンパクトな意味表現に動的に圧縮できる方法であるLightThinkerを提案する。 しかし静的圧縮は、中間詳細の不可逆的な損失が論理的ボトルネックにつながるような複雑な推論に苦慮することが多い。 これを解決するために、フレームワークをLightThinker++に進化させ、Explicit Adaptive Memory Managementを導入しました。 このパラダイムは、明示的なメモリプリミティブを取り入れ、目的のメモリスケジューリングをトレーニングするための特別なトラジェクトリ合成パイプラインによってサポートされることによって、行動レベルの管理にシフトする。 大規模な実験は、3次元にわたるフレームワークの汎用性を実証している。 1) LightThinkerはピークトークンの使用量を70%削減し,推定時間を26%削減した。 2) 標準的な推論では、LightThinker++はピークトークンの使用量を69.9%削減し、最大パフォーマンスのための同じコンテキスト予算下では、+2.42%の精度向上を実現している。 (3)特に、長期のエージェントタスクでは、80ラウンド(60%から70%の削減)を超える安定したフットプリントを維持し、様々な複雑なシナリオで平均14.8%のパフォーマンス向上を達成する。 全体として、我々の研究は、最小限のオーバーヘッドで拡張地平線上での深いLLM推論を持続するためのスケーラブルな方向を提供する。

関連論文リスト

• From Verbatim to Gist: Distilling Pyramidal Multimodal Memory via Semantic Information Bottleneck for Long-Horizon Video Agents [78.30630000529133]
  本稿ではファジィトレース理論に基づくピラミッド型マルチモーダルメモリアーキテクチャMM-Memを提案する。 MM-Memメモリは階層的に感覚バッファ、エピソードストリーム、シンボリックに構造する。 実験により、MM-Memがオフラインタスクとストリーミングタスクの両方で有効であることが確認された。
  論文  参考訳（メタデータ） (2026-03-02T05:12:45Z)
• Training Large Reasoning Models Efficiently via Progressive Thought Encoding [63.254758972725654]
  大規模推論モデル(LRM)は複雑な問題に優れるが、効率にとって重要な障壁に直面している。 本稿では,パラメータ効率のよい微調整手法であるProgressive Thoughtを紹介する。
  論文  参考訳（メタデータ） (2026-02-18T20:03:38Z)
• Chain-of-Memory: Lightweight Memory Construction with Dynamic Evolution for LLM Agents [26.39049374286037]
  外部メモリシステムは、Large Language Model (LLM)エージェントが永続的な知識を維持し、長期にわたる意思決定を行うために重要である。 既存のパラダイムは一般に2段階のプロセスに従っている。 我々は,高度な利用と組み合わせた軽量構造へのパラダイムシフトを提唱する新しいフレームワークであるCoM(Chain-of-Memory)を提案する。
  論文  参考訳（メタデータ） (2026-01-14T04:42:15Z)
• SimpleMem: Efficient Lifelong Memory for LLM Agents [73.74399447715052]
  セマンティックロスレス圧縮に基づく効率的なメモリフレームワークSimpleMemを紹介する。 本稿では,情報密度とトークン利用量の最大化を目的とした3段階パイプラインを提案する。 ベンチマークデータセットを用いた実験により,提案手法は精度,検索効率,推論コストにおいて,ベースラインアプローチを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2026-01-05T21:02:49Z)
• PREMISE: Scalable and Strategic Prompt Optimization for Efficient Mathematical Reasoning in Large Models [14.824367675818355]
  Claude 3.7 Sonnet や OpenAI o1 のような大きな推論モデル (LRM) は、長いチェーン・オブ・シークレット (CoT) 推論を用いて数学的なベンチマークで高い性能を達成する。 これによりトークンの使用とコストが膨らみ、レイテンシに敏感な設定やAPI制約のある設定でのデプロイメントが制限される。 モデル重みを変更することなく、推論オーバーヘッドを低減するプロンプトのみのフレームワークであるPreMISEを紹介する。
  論文  参考訳（メタデータ） (2025-06-12T14:05:09Z)
• LightThinker: Thinking Step-by-Step Compression [74.34839026338342]
  提案するLightThinkerは,大規模言語モデルを用いて推論中の中間的思考を動的に圧縮する手法である。 人間の認知プロセスにインスパイアされたLightThinkerは、思考ステップをコンパクトな表現に圧縮し、元の推論チェーンを捨てる。 実験によると、LightThinkerは競合精度を維持しながら、ピークメモリ使用量と推論時間を短縮する。
  論文  参考訳（メタデータ） (2025-02-21T16:57:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。