論文の概要: OneLatent: Single-Token Compression for Visual Latent Reasoning
- arxiv url: http://arxiv.org/abs/2602.13738v1
- Date: Sat, 14 Feb 2026 12:03:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-17 14:17:28.367732
- Title: OneLatent: Single-Token Compression for Visual Latent Reasoning
- Title（参考訳）: OneLatent: Visual Latent Reasoningのためのシングルトークン圧縮
- Authors: Bo Lv, Yasheng Sun, Junjie Wang, Haoxiang Shi,
- Abstract要約: 我々は、レンダリングされたCoT画像とDeepSeek-OCR隠蔽状態の監督を通じて、中間推論を単一の潜在トークンに圧縮するフレームワークであるtextbfOneLatentを提案する。
ベンチマーク全体では、OneLatentはテキストCoTと比較して平均出力長を21時間で削減し、平均精度は2.21%しか低下しない。
長鎖論理推論では、OneLatentはProntoQAで99.80%、ProsQAで9.80%、遅延トークンで8.7.4times$に達する。
- 参考スコア（独自算出の注目度）: 12.825780556445892
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chain-of-thought (CoT) prompting improves reasoning but often increases inference cost by one to two orders of magnitude. To address these challenges, we present \textbf{OneLatent}, a framework that compresses intermediate reasoning into a single latent token via supervision from rendered CoT images and DeepSeek-OCR hidden states. By rendering textual steps into images, we obtain a deterministic supervision signal that can be inspected and audited without requiring the model to output verbose textual rationales. Across benchmarks, OneLatent reduces average output length by $11\times$ with only a $2.21\%$ average accuracy drop relative to textual CoT, while improving output token contribution (OTC) by $6.8\times$. On long-chain logical reasoning, OneLatent reaches $99.80\%$ on ProntoQA and $97.80\%$ on ProsQA with one latent token, with compression up to $87.4\times$, supporting compression-constrained generalization.
- Abstract（参考訳）: 思考の連鎖(CoT)は推論を改善するが、しばしば推論コストを1～2桁増加させる。
これらの課題に対処するために,レンダリングされたCoTイメージとDeepSeek-OCR隠蔽状態の監視を通じて,中間推論を1つの潜在トークンに圧縮するフレームワークである‘textbf{OneLatent} を提示する。
画像にテキストのステップを描画することで、モデルが冗長なテキストの合理性を出力することなく、検査および監査が可能な決定論的監視信号を得る。
ベンチマーク全体では、OneLatentは平均出力長を111\times$に減らし、テキストCoTと比較して平均精度を2.21\%下げ、出力トークンコントリビューション(OTC)を6.8\times$に改善している。
長鎖論理的推論では、OneLatentはProntoQAで99.80\%、ProsQAで9.80\%、遅延トークンで8.7.4\times$に達し、圧縮制約付き一般化をサポートする。
関連論文リスト
- Towards Efficient Large Language Reasoning Models via Extreme-Ratio Chain-of-Thought Compression [55.63153956934198]
Chain-of-Thought (CoT)推論はLarge Language Models (LLMs)の推論能力をうまく向上させる
既存のCoT圧縮法は、しばしば高い圧縮比で論理的忠実度が著しく低下する。
本稿では,Extra-CoTと呼ばれる新しいEXTreme-RAtio Chain-of-Thought Compressionフレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-09T06:57:15Z) - RaCoT: Plug-and-Play Contrastive Example Generation Mechanism for Enhanced LLM Reasoning Reliability [12.67288560758937]
本稿では,RaCoT(Retrieval-aware Contrastive-of-Thought)を提案する。
RaCoTは、解答の発散を決定する重要な詳細に積極的に焦点を合わせるようモデルに誘導する。
論文 参考訳（メタデータ） (2025-10-26T15:06:44Z) - VeriThinker: Learning to Verify Makes Reasoning Model Efficient [52.74493506816969]
大型推論モデルは、Chain-of-Thought (CoT)推論を用いて複雑なタスクで優れている。
過度に考える傾向は、必然的に長い推論連鎖に繋がる。
我々は,CoT圧縮の新しい手法であるVeriThinkerを紹介する。
論文 参考訳（メタデータ） (2025-05-23T14:17:56Z) - Not All Tokens Are What You Need In Thinking [34.767739567093656]
条件付きトークン選択(CTS)は、思考の連鎖において最も重要なトークンのみを特定し保存する。
CTSは、強い推論性能を維持しながら、効果的に長いCoTを圧縮する。
さらにトレーニングトークンを42%削減すると、限界5%の精度低下しか生じず、推論トークンの75.8%が減少する。
論文 参考訳（メタデータ） (2025-05-23T12:41:29Z) - R1-Compress: Long Chain-of-Thought Compression via Chunk Compression and Search [61.4807238517108]
CoT(Chain-of-Thought)推論は、ステップバイステップの問題解決を可能にすることで、大きな言語モデル(LLM)を強化する。
CoTのLong-CoTへの拡張はトークン長の増加による計算オーバーヘッドを大幅に増加させる。
ローカル情報とコヒーレンスの両方を保存する2段階のチャンクレベル圧縮フレームワークであるR1-Compressを提案する。
論文 参考訳（メタデータ） (2025-05-22T16:06:59Z) - Fractured Chain-of-Thought Reasoning [61.647243580650446]
完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。
フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
論文 参考訳（メタデータ） (2025-05-19T11:30:41Z) - TokenSkip: Controllable Chain-of-Thought Compression in LLMs [30.241525217939298]
CoT(Chain-of-Thought)は,大規模言語モデル(LLM)の推論能力の向上に有効であることが証明されている。
TokenSkipは、LLMが重要でないトークンを選択的にスキップし、制御可能なCoT圧縮を可能にする、シンプルで効果的なアプローチである。
論文 参考訳（メタデータ） (2025-02-17T17:37:26Z) - CoT-Valve: Length-Compressible Chain-of-Thought Tuning [50.196317781229496]
我々はCoT-Valveと呼ばれる新しいチューニングと推論戦略を導入し、モデルが様々な長さの推論連鎖を生成できるようにする。
我々は,CoT-Valveがチェーンの制御性と圧縮性を実現し,プロンプトベース制御よりも優れた性能を示すことを示す。
論文 参考訳（メタデータ） (2025-02-13T18:52:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。