論文の概要: MUX: Continuous Reasoning via Multiplexed Tokens

• arxiv url: http://arxiv.org/abs/2607.18264v1
• Date: Tue, 19 May 2026 10:30:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:13.096273
• Title: MUX: Continuous Reasoning via Multiplexed Tokens
• Title（参考訳）: MUX: 多重化トークンによる継続的推論
• Abstract要約: 言語モデルは、自然言語の中間的推論ステップを明確にすることにより、複雑な問題を解決する。 連続多重化トークンへの離散的推論の蒸留に基づく,高帯域幅かつコンパクトな推論法であるMUXを提案する。
• 参考スコア（独自算出の注目度）: 17.62611996930725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models solve complex problems by articulating intermediate reasoning steps in natural language. While effective, this process is computationally bottlenecked: each reasoning step conveys only a single subword, and many are spent expressing a thought instead of carrying out computation. We propose MUX, a simple method for high-bandwidth and compact reasoning based on distillation of discrete reasoning into continuous multiplexed tokens in a latent space. Here, each latent token is trained to represent a weighted linear superposition (multiplexing) of a span of discrete reasoning subwords, where this superposition is lossless by construction and the span can be fully recovered (demultiplexing). We prove that simple position-dependent weightings, such as suitable geometric decay, support lossless multiplexing, which in turn prevents shortcut behaviors caused by latent collapse. We further show that multiplexed reasoning can perform parallel exploration in problems that require search. Across 32 evaluation settings spanning four language models, MUX outperforms strong latent reasoning baselines. Ablation and probing analyses further show that the learned latent tokens encode faithful and interpretable reasoning. Our results suggest that lossless superposition as local learning targets constitutes a sufficient condition for achieving strong and efficient latent continuous reasoning.
• Abstract（参考訳）: 言語モデルは、自然言語の中間的推論ステップを明確にすることにより、複雑な問題を解決する。 各推論ステップは1つのサブワードのみを伝達し、多くは計算を行う代わりに思考を表現するのに費やされている。 連続多重化トークンへの離散的推論の蒸留に基づく,高帯域幅かつコンパクトな推論法であるMUXを提案する。 ここで、各潜在トークンは、個別の推論サブワードのスパンの重み付けされた線形重ね合わせ(多重化)を表現するように訓練される。 本研究では, 簡易な位置依存重み付け, 適切な幾何減衰, 損失のない多重化をサポートし, 遅延崩壊によるショートカット挙動を防止できることを証明した。 さらに、多重推論は、探索を必要とする問題において並列探索を行うことができることを示す。 4つの言語モデルにまたがる32以上の評価設定では、MUXは強力な潜在推論ベースラインを上回っている。 アブレーションとプローブ解析により、学習された潜在トークンが忠実で解釈可能な推論を符号化していることが示された。 この結果から, 局所学習対象としての無損失重ね合わせは, 頑健かつ効率的な潜伏連続推論を実現するのに十分な条件であることが示唆された。

関連論文リスト

• From Reasoning Depth to Reasoning Breadth: Evaluating Multi-Point Associative Reasoning in Large Language Models [18.240441114446607]
  MPAR-Benchは多点連想推論によって推論の幅を分離するベンチマークである。 マルチエージェントの手がかり生成パイプライン,埋め込み型多様性フィルタリング,人間による検証を用いて1000項目を構築。 我々は、精度、ANLS、埋め込み類似性、推論トレース検証、および4つの摂動(手がかりマスキング、オーダーシャッフル、インジェクション、マルチステップインジェクション)を用いてモデルを評価する。
  論文  参考訳（メタデータ） (2026-08-11T03:58:23Z)
• Why Struggle with Continuous Latents? Interpretable Discrete Latent Reasoning via Rendered Compression [42.15219720606396]
  大規模言語モデルは、明示的な連鎖と強化学習を通じて高い推論性能を達成する。 潜在推論は、計算を潜在空間にシフトすることで、このコストを削減する。 連続潜時状態を明示的な離散トークンに変換する最初の方法である textbfDiscrete Latent Reasoning (DLR) を提案する。
  論文  参考訳（メタデータ） (2026-06-29T02:34:52Z)
• Thinking Without Words: Efficient Latent Reasoning with Abstract Chain-of-Thought [13.72996269125319]
  Abstract-CoTは、数学的推論、命令フォロー、マルチホップ推論に匹敵するパフォーマンスを示しながら、推論トークンを最大11.6タイムで削減する。 本研究は,学習した抽象的推論言語による効率的な推論を可能にする,学習後の潜在推論メカニズムの可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2026-04-24T16:45:51Z)
• SPOT: Span-level Pause-of-Thought for Efficient and Interpretable Latent Reasoning in Large Language Models [15.95627037350657]
  CoT (Explicit Chain-of-Thought) 計算はトークンレベルのトレースを内部化することによって高い推論コストを発生させる。 固定応答テンプレートを強制せずに、明示的なCoTをコンパクトなポーズトークンに圧縮するフレキシブルなフレームワークであるSPOTを提案する。 推論ベンチマークの実験では、SPOTは生成したトークンを37.5%削減しながら、平均2.3ポイントの精度を向上している。
  論文  参考訳（メタデータ） (2026-03-06T12:34:27Z)
• Latent Chain-of-Thought as Planning: Decoupling Reasoning from Verbalization [9.193078163792427]
  CoT(Chain-of-Thought)は、大規模言語モデル(LLM)に複雑な問題に取り組む権限を与える。 最近の潜伏推論手法は、連続した隠蔽状態内で推論を行うことによって効率を最適化しようとする。 PLaTは、潜在推論を言語化から根本的に切り離すことによって計画として再構成するフレームワークである。
  論文  参考訳（メタデータ） (2026-01-29T07:38:18Z)
• Multiplex Thinking: Reasoning via Token-wise Branch-and-Merge [87.51901436392427]
  大規模言語モデルは、しばしばChain-of-Thought (CoT)でより効果的に複雑な推論タスクを解決する。 対照的に、人間は、しばしば、もっともらしい次のステップに対して、引力のある確率分布を維持することによって、柔らかに理にかなっている。 我々は、K候補トークンをサンプリングし、それらの埋め込みを1つの連続多重化トークンに集約するソフトな推論機構である多重思考を提案する。 モデルは自信を持っていれば、多重化トークンはほぼ独立しており、標準のCoTのように振る舞う。
  論文  参考訳（メタデータ） (2026-01-13T18:48:00Z)
• Latent Reasoning in LLMs as a Vocabulary-Space Superposition [80.01651003144282]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット・プロンプトによる強力な推論能力を示すが、明示的な推論は計算上のオーバーヘッドを大幅に引き起こす。 遅延推論に関する最近の研究は、明示的な監督なしに遅延空間を推論することでコストを削減するが、性能は著しく低下する。 この問題に対処するため、LLM語彙の列空間に潜伏空間を制限し、潜伏推論を語彙確率の重ね合わせとして扱う。 後続の推論が終わると、それは最終的な答えを得るために明確な推論の固有状態に崩壊する。 Latent-SFTはGSM8kに新しい状態を設定し、明示的に一致する
  論文  参考訳（メタデータ） (2025-10-17T10:51:20Z)
• PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
  PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。 シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。 実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
  論文  参考訳（メタデータ） (2025-05-29T17:55:49Z)
• Soft Thinking: Unlocking the Reasoning Potential of LLMs in Continuous Concept Space [62.54887038032942]
  ソフトシンキング(Soft Thinking)は、ソフトで抽象的な概念トークンを生成することによって、人間のような「ソフト」推論をエミュレートする訓練不要な手法である。 これらの概念トークンは、連続的な概念空間を形成するトークン埋め込みの確率重み付き混合によって生成される。 本質的に、生成された概念トークンは関連する離散トークンから複数の意味をカプセル化し、暗黙的に様々な推論経路を探索する。
  論文  参考訳（メタデータ） (2025-05-21T17:29:15Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [64.74765550805024]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大84%削減し、18の推論データセットで最小限の精度ロスを達成している。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)
• Token Assorted: Mixing Latent and Text Tokens for Improved Language Model Reasoning [53.57895922042783]
  大規模言語モデル(LLM)は、チェーン・オブ・シークレット(CoT)データに基づいて訓練された場合、推論と計画が優れている。 そこで我々は,遅延離散トークンを用いて推論過程を部分的に抽象化するハイブリッド表現を提案する。
  論文  参考訳（メタデータ） (2025-02-05T15:33:00Z)
• Training Large Language Models to Reason in a Continuous Latent Space [71.0274000348354]
  我々は、言語を超えた推論の可能性を探るため、Coconut (Chain of Continuous Thought)と呼ばれる新しいパラダイムを導入します。 この状態を単語に復号するのではなく、連続した空間に直接埋め込む次の入力としてモデルにフィードバックします。 この潜在的推論パラダイムは、継続的思考が複数の代替の次のステップをエンコードできる高度な推論パターンを可能にする。
  論文  参考訳（メタデータ） (2024-12-09T18:55:56Z)
• FLARE: Faithful Logic-Aided Reasoning and Exploration [47.46564769245296]
  タスク分解を用いて問題空間をトラバースする新しい手法を提案する。 我々はLarge Language Modelsを使ってソリューションを計画し、クエリを事実に軟式化し、論理プログラミングコードを使って述語する。 提案手法は,生成したコードに対する推論プロセスの忠実度を計算し,外部の解法に頼らずにマルチホップ探索のステップを解析する。
  論文  参考訳（メタデータ） (2024-10-14T19:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。