論文の概要: StreamingThinker: Large Language Models Can Think While Reading

• arxiv url: http://arxiv.org/abs/2510.17238v1
• Date: Mon, 20 Oct 2025 07:27:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.022861
• Title: StreamingThinker: Large Language Models Can Think While Reading
• Title（参考訳）: StreamingThinker: 読みながら考えることのできる大きな言語モデル
• Authors: Junlong Tong, Yingqi Fan, Anhao Zhao, Yunpu Ma, Xiaoyu Shen,
• Abstract要約: 大規模言語モデル(LLM)は思考の連鎖(CoT)推論において顕著な能力を示した。 読みながら考えることの人間の認知に触発され,まず LLM のためのテキストテキストbfstreaming 思考パラダイムを設計する。 このパラダイムをTextitStreamingThinkerでインスタンス化します。
• 参考スコア（独自算出の注目度）: 14.54868327561777
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have demonstrated remarkable capabilities in chain of thought (CoT) reasoning. However, the current LLM reasoning paradigm initiates thinking only after the entire input is available, which introduces unnecessary latency and weakens attention to earlier information in dynamic scenarios. Inspired by human cognition of thinking while reading, we first design a \textit{\textbf{streaming thinking}} paradigm for LLMs, where reasoning unfolds in the order of input and further adjusts its depth once reading is complete. We instantiate this paradigm with \textit{StreamingThinker}, a framework that enables LLMs to think while reading through the integration of streaming CoT generation, streaming-constraint training, and streaming parallel inference. Specifically, StreamingThinker employs streaming reasoning units with quality control for CoT generation, enforces order-preserving reasoning through streaming attention masks and position encoding, and leverages parallel KV caches that decouple input encoding from reasoning generation, thereby ensuring alignment and enabling true concurrency. We evaluate StreamingThinker on the Qwen3 model family across math reasoning, logical reasoning, and context-based QA reasoning tasks. Experimental results show that the StreamingThinker preserves performance comparable to batch thinking, while yielding an 80\% reduction in token waiting before the onset of reasoning and a more than 60\% reduction in time-level latency for producing the final answer, demonstrating the effectiveness of the streaming paradigm for LLM reasoning. Code will be released at \href{https://github.com/EIT-NLP/StreamingLLM/tree/main/StreamingThinker}{this repository.}
• Abstract（参考訳）: 大規模言語モデル(LLM)は思考の連鎖(CoT)推論において顕著な能力を示した。 しかし、現在のLLM推論パラダイムは、入力全体が利用可能になった後にのみ思考を開始するため、不要な遅延が発生し、動的シナリオにおける以前の情報への注意が弱まる。 読みながら考えることの人間の認知に触発されて、まず LLM のための \textit{\textbf{streaming Think}} パラダイムを設計し、読み上げが完了すると、推論が入力順に展開し、その深さを調整します。 このパラダイムを,ストリーミングCoT生成,ストリーミング制約トレーニング,ストリーミング並列推論の統合を通じて,LLMの思考を可能にするフレームワークであるtextit{StreamingThinker}でインスタンス化する。 具体的には、StreamingThinkerは、CoT生成の品質制御を備えたストリーミング推論ユニットを採用し、ストリーミングアテンションマスクや位置エンコーディングによる順序保存推論を実行し、並列KVキャッシュを活用して、入力エンコーディングを推論生成から切り離し、アライメントを確保し、真の並行性を実現する。 本稿では,Qwen3モデルファミリ上のStreamingThinkerを,数理推論,論理推論,コンテキストベースのQA推論タスクで評価する。 実験結果から,StreamingThinkerはバッチ思考に匹敵する性能を保ちつつ,推理開始前にトークンを80%以上削減し,最終回答を生成するための時間レベルの遅延を60%以上低減し,LLM推論におけるストリーミングパラダイムの有効性を実証した。 コードは \href{https://github.com/EIT-NLP/StreamingLLM/tree/main/StreamingThinker}{this リポジトリでリリースされる。 ※

関連論文リスト

• MARCOS: Deep Thinking by Markov Chain of Continuous Thoughts [82.46857666702924]
  大規模言語モデル(LLM)における推論のための新しいパラダイムを提案する。 自己回帰的にトークンを生成する代わりに、連続的で高次元の「思考」のマルコフ連鎖として推論をモデル化する。 MARCOSはトークンベースのCoTに匹敵する性能を初めて達成し、GSM8Kでは4.7%、推論では15.7倍のスピードアップを達成している。
  論文  参考訳（メタデータ） (2025-09-29T16:44:22Z)
• Overclocking LLM Reasoning: Monitoring and Controlling Thinking Path Lengths in LLMs [52.663816303997194]
  回答の質に影響を与える重要な要因は思考段階の長さである。 本稿では, LLM が推論の長さを理解し, 制御するメカニズムを探求し, 活用する。 以上の結果から,この「オーバークロック」手法は過度な思考を軽減し,解答精度を向上し,推論遅延を低減することが示唆された。
  論文  参考訳（メタデータ） (2025-06-08T17:54:33Z)
• LLM as Effective Streaming Processor: Bridging Streaming-Batch Mismatches with Group Position Encoding [29.586274567275012]
  一般的に、後者の2つのミスマッチは頻繁な再エンコードを必要とし、再エンコード出力がほとんど不要であることを示す。 本稿では,ストリーミングモードとバッチモードの整合性を高めるため,バッチアーキテクチャ上に構築されたグループ位置符号化パラダイムを提案する。 提案手法はアーキテクチャの変更を必要とせず,ストリーミングモードとバッチモードの両方において強力な一般化を示す。
  論文  参考訳（メタデータ） (2025-05-22T17:53:28Z)
• Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space [62.54887038032942]
  ソフトシンキング(Soft Thinking)は、ソフトで抽象的な概念トークンを生成することによって、人間のような「ソフト」推論をエミュレートする訓練不要な手法である。 これらの概念トークンは、連続的な概念空間を形成するトークン埋め込みの確率重み付き混合によって生成される。 本質的に、生成された概念トークンは関連する離散トークンから複数の意味をカプセル化し、暗黙的に様々な推論経路を探索する。
  論文  参考訳（メタデータ） (2025-05-21T17:29:15Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)
• SoftCoT: Soft Chain-of-Thought for Efficient Reasoning with LLMs [48.28847964704554]
  CoT(Chain-of-Thought)推論により、LLM(Large Language Models)は複雑な推論タスクを解くことができる。 LLMの変更を必要としない連続空間推論のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:52:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。