Fugu-MT 論文翻訳(概要): A Model with No Head and Many Thoughts

論文の概要: A Model with No Head and Many Thoughts

arxiv url: http://arxiv.org/abs/2608.31069v1
Date: Mon, 31 Aug 2026 16:45:41 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-01 18:31:31.521454
Title: A Model with No Head and Many Thoughts
Title（参考訳）: 頭がないモデルと多くの考え
Abstract要約: 本稿では,軽量プロジェクタによる推論において,LMヘッドを置き換える手法であるSoft Latent Thinkingを紹介する。我々は、Soft Latent Thinkingがすべてのkでpass@kを一貫して改善し、チェーンオブソート中のステップ毎の計算を削減していることを示す。
参考スコア（独自算出の注目度）: 8.93920041624494
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Large language models decode by projecting hidden states through a large vocabulary head at every step. This operation is computationally costly and forces all reasoning to be expressed in discrete tokens. We introduce Soft Latent Thinking, a method that replaces the LM head during reasoning with a lightweight projector, enabling autoregressive rollout in embedding space where reasoning steps remain continuous rather than tokenized. Experiments on DeepSeek-Qwen-1.5B and LLaMA-3.2-3B show that Soft Latent Thinking consistently improves pass@k across all k while reducing per-step compute during chain-of-thought. Our method achieves the highest pass@32 among all soft-thinking approaches, demonstrating that effective reasoning can be carried out in continuous space without discrete token generation.
Abstract（参考訳）: 大きな言語モデルは、すべてのステップで大きな語彙頭を通して隠れた状態を投影することでデコードする。この演算は計算に費用がかかり、すべての推論を離散トークンで表現せざるを得ない。我々は,軽量プロジェクタによる推論中にLMヘッドを置き換える手法であるSoft Latent Thinkingを導入し,推論ステップがトークン化されるよりも連続した埋め込み空間での自己回帰ロールアウトを可能にする。 DeepSeek-Qwen-1.5B と LLaMA-3.2-3B の実験は、Soft Latent Thinking がすべての k におけるpass@k を一貫して改善し、チェーン・オブ・ソート中のステップ毎の計算を削減していることを示している。提案手法は,全てのソフトシンキング手法の中で最も高いパス@32を達成し,離散トークン生成なしに連続空間で効果的な推論を行うことができることを示した。

関連論文リスト

Latent Recurrent Thoughts: Recurrent Refinement of Proposed Latents for Reasoning with Frozen LLMs [16.72007494160683]
チェーン・オブ・シント推論は離散トークン空間で展開される。代わりにモデルの連続表現空間で推論する。これを遅延リカレント思考とみなす。
論文参考訳（メタデータ） (2026-09-01T11:56:17Z)
CoLT: Teaching Multi-Modal Models to Think with Chain of Latent Thoughts [25.917787556467776]
CoT推論(Chain-of-Thought reasoning)により、複雑な視覚的推論タスクに対処するマルチモーダルな大規模言語モデル(MLLM)が実現された。我々は,多モーダルモデルに潜在的思考表現の連鎖を通して推論を教える新しいフレームワークであるCoLTを提案する。テキストCoTメソッドと比較して、CoLTは推論時間を10.1$times$、テキストデコード時間を22.6$times$と明確に削減することができる。
論文参考訳（メタデータ） (2026-06-30T17:24:40Z)
SPOT: Span-level Pause-of-Thought for Efficient and Interpretable Latent Reasoning in Large Language Models [15.95627037350657]
CoT (Explicit Chain-of-Thought) 計算はトークンレベルのトレースを内部化することによって高い推論コストを発生させる。固定応答テンプレートを強制せずに、明示的なCoTをコンパクトなポーズトークンに圧縮するフレキシブルなフレームワークであるSPOTを提案する。推論ベンチマークの実験では、SPOTは生成したトークンを37.5%削減しながら、平均2.3ポイントの精度を向上している。
論文参考訳（メタデータ） (2026-03-06T12:34:27Z)
Accordion-Thinking: Self-Regulated Step Summaries for Efficient and Readable LLM Reasoning [62.680551162054975]
我々はLLMが動的要約によって推論ステップの粒度を自己制御することを学ぶエンドツーエンドのフレームワークを紹介した。高い効率のFoldモードと徹底的なUnfoldモードの精度ギャップを徐々に狭めていくという重要な知見を見出し,この能力をさらにインセンティブ化するために強化学習を適用した。私たちのAccordion-Thinkerは、学習した自己圧縮により、LLMは依存性トークンのオーバーヘッドを最小限に抑えながら複雑な推論タスクに取り組むことができることを示した。
論文参考訳（メタデータ） (2026-02-03T08:34:20Z)
Latent Reasoning in LLMs as a Vocabulary-Space Superposition [80.01651003144282]
大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトによる強力な推論能力を示すが、明示的な推論は計算上のオーバーヘッドを大幅に引き起こす。遅延推論に関する最近の研究は、明示的な監督なしに遅延空間を推論することでコストを削減するが、性能は著しく低下する。この問題に対処するため、LLM語彙の列空間に潜伏空間を制限し、潜伏推論を語彙確率の重ね合わせとして扱う。後続の推論が終わると、それは最終的な答えを得るために明確な推論の固有状態に崩壊する。 Latent-SFTはGSM8kに新しい状態を設定し、明示的に一致する
論文参考訳（メタデータ） (2025-10-17T10:51:20Z)
MARCOS: Deep Thinking by Markov Chain of Continuous Thoughts [82.46857666702924]
大規模言語モデル(LLM)における推論のための新しいパラダイムを提案する。自己回帰的にトークンを生成する代わりに、連続的で高次元の「思考」のマルコフ連鎖として推論をモデル化する。 MARCOSはトークンベースのCoTに匹敵する性能を初めて達成し、GSM8Kでは4.7%、推論では15.7倍のスピードアップを達成している。
論文参考訳（メタデータ） (2025-09-29T16:44:22Z)
The Price of a Second Thought: On the Evaluation of Reasoning Efficiency in Large Language Models [54.88805865447848]
モデルが全体の効率を向上し,問題の難しさが効率に影響を及ぼすことを示す。インストラクションモデルが簡単なアウトラインをドラフトし,思考モデルがそれを拡張する,シンプルな2段階パイプラインであるCOTHINKを提案する。 GSM8K、MATH500、AIME24では、COTHINKはトークンの使用量を21.1%削減し、4つの思考モデルの精度を維持し、強力な効率のベースラインと競争し続ける。
論文参考訳（メタデータ） (2025-05-28T06:24:45Z)
Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space [62.54887038032942]
ソフトシンキング(Soft Thinking)は、ソフトで抽象的な概念トークンを生成することによって、人間のような「ソフト」推論をエミュレートする訓練不要な手法である。これらの概念トークンは、連続的な概念空間を形成するトークン埋め込みの確率重み付き混合によって生成される。本質的に、生成された概念トークンは関連する離散トークンから複数の意味をカプセル化し、暗黙的に様々な推論経路を探索する。
論文参考訳（メタデータ） (2025-05-21T17:29:15Z)
Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
論文参考訳（メタデータ） (2025-03-07T06:57:17Z)
LightThinker: Thinking Step-by-Step Compression [74.34839026338342]
提案するLightThinkerは,大規模言語モデルを用いて推論中の中間的思考を動的に圧縮する手法である。人間の認知プロセスにインスパイアされたLightThinkerは、思考ステップをコンパクトな表現に圧縮し、元の推論チェーンを捨てる。実験によると、LightThinkerは競合精度を維持しながら、ピークメモリ使用量と推論時間を短縮する。
論文参考訳（メタデータ） (2025-02-21T16:57:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。