論文の概要: Compressed Chain of Thought: Efficient Reasoning Through Dense Representations

• arxiv url: http://arxiv.org/abs/2412.13171v1
• Date: Tue, 17 Dec 2024 18:50:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-18 13:59:20.311796
• Title: Compressed Chain of Thought: Efficient Reasoning Through Dense Representations
• Title（参考訳）: 思考の圧縮鎖:高密度表現による効率的な推論
• Authors: Jeffrey Cheng, Benjamin Van Durme,
• Abstract要約: CoT(Chain-of- Thought)デコーディングにより、言語モデルでは、デコーディングにおける高ジェネレーションレイテンシーを犠牲にして、推論性能を改善することができる。 最近の提案では、推論時に特別なトークンを参照して、余分な計算を可能にするコンテプショントークンの変種について検討している。 本稿では,CCoT(Compressed Chain-of-Thought)を提案する。
• 参考スコア（独自算出の注目度）: 37.41699761967978
• License:
• Abstract: Chain-of-thought (CoT) decoding enables language models to improve reasoning performance at the cost of high generation latency in decoding. Recent proposals have explored variants of contemplation tokens, a term we introduce that refers to special tokens used during inference to allow for extra computation. Prior work has considered fixed-length sequences drawn from a discrete set of embeddings as contemplation tokens. Here we propose Compressed Chain-of-Thought (CCoT), a framework to generate contentful and continuous contemplation tokens of variable sequence length. The generated contemplation tokens are compressed representations of explicit reasoning chains, and our method can be applied to off-the-shelf decoder language models. Through experiments, we illustrate how CCoT enables additional reasoning over dense contentful representations to achieve corresponding improvements in accuracy. Moreover, the reasoning improvements can be adaptively modified on demand by controlling the number of contemplation tokens generated.
• Abstract（参考訳）: CoT(Chain-of- Thought)デコーディングにより、言語モデルでは、デコーディングにおける高ジェネレーションレイテンシーを犠牲にして、推論性能を改善することができる。 最近の提案では、推論時に特別なトークンを参照して、余分な計算を可能にするコンテプショントークンの変種について検討している。 以前の研究は、離散的な埋め込みの集合から引き出された固定長列を概念トークンとして検討してきた。 本稿では,CCoT(Compressed Chain-of-Thought)を提案する。 生成されたコンテプレーショントークンは明示的推論チェーンの圧縮表現であり,本手法は既製のデコーダ言語モデルに適用できる。 実験を通じて、CCoTが高密度な内容表現に対してさらなる推論を可能にし、精度の向上を実現する方法について説明する。 さらに、導出トークン数を制御することにより、要求に応じて推論の改善を適応的に変更することができる。

関連論文リスト

• Efficient Reasoning with Hidden Thinking [48.96945580741641]
  CoT(Chain-of-Thought)推論は、複雑な問題解決能力を改善するための強力なフレームワークになっています。 我々は,隠された潜在空間におけるCoTの推論を利用した効率的な推論フレームワークであるtextbfHeima$(隠されたラマとして)を提案する。 ハイマモデルは、ゼロショットタスクの精度を維持しつつ、より高い生成効率を達成する。
  論文  参考訳（メタデータ） (2025-01-31T15:10:29Z)
• Disentangling Reasoning Tokens and Boilerplate Tokens For Language Model Fine-tuning [46.43130011147807]
  特に、トークンとボイラープレートトークンの推論は、重要性と学習の複雑さにおいて大きく異なります。 本稿では,適応トークン識別のための新しいShuffle-Aware Discriminator (SHAD)を提案する。 SHADを用いて、微調整中の推論トークンを適応的に強調するReasoning-Highlighted Fine-Tuning (RFT)法を提案する。
  論文  参考訳（メタデータ） (2024-12-19T12:06:24Z)
• Expediting and Elevating Large Language Model Reasoning via Hidden Chain-of-Thought Decoding [14.175444025026508]
  大規模言語モデル(LLM)は、チェーン・オブ・シント(CoT)のプロンプトを必要とするタスクにおいて顕著な機能を示した。 完全なCoTプロセスを生成すると、出力シーケンスが大幅に長くなり、推論時の計算コストと遅延が増大する。 セマンティックアライメントによってCoTプロセスを圧縮し、CoT推論の利点を保ちながらより効率的な復号化を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T06:29:20Z)
• Let's Think Dot by Dot: Hidden Computation in Transformer Language Models [30.972412126012884]
  言語モデルの連鎖応答は、ほとんどのベンチマークのパフォーマンスを改善する。 変換器は、2つの難解なアルゴリズムタスクを解くための思考の連鎖の代わりに無意味なフィラートークンを使用できることを示す。 フィラートークンを使用する学習は困難であり、収束するためには、具体的で密集した監督が必要である。
  論文  参考訳（メタデータ） (2024-04-24T09:30:00Z)
• Non-autoregressive Sequence-to-Sequence Vision-Language Models [63.77614880533488]
  本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。 このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
  論文  参考訳（メタデータ） (2024-03-04T17:34:59Z)
• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)
• Fast and Robust Early-Exiting Framework for Autoregressive Language Models with Synchronized Parallel Decoding [43.659680579686544]
  本稿では,浅層深度モジュールと並列デコーディングを併用したFast and Robust Early-Exitingフレームワークを提案する。 我々のフレームワークは、既存のトークンの復号処理を、以前に積み重ねられた早期発行トークンと同期させることで、より高速な推論を可能にする。 並列デコーディングにより,浅層モデルと深部モデルの両方からの予測を観測できるので,新しい適応しきい値推定器を提案する。
  論文  参考訳（メタデータ） (2023-10-09T05:53:05Z)
• Fast End-to-End Speech Recognition via a Non-Autoregressive Model and Cross-Modal Knowledge Transferring from BERT [72.93855288283059]
  LASO (Listen Attentively, and Spell Once) と呼ばれる非自動回帰音声認識モデルを提案する。 モデルは、エンコーダ、デコーダ、および位置依存集合体(PDS)からなる。
  論文  参考訳（メタデータ） (2021-02-15T15:18:59Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• Vector Quantized Contrastive Predictive Coding for Template-based Music Generation [0.0]
  本稿では,トークンを基本単位に分類できる離散列の変種を生成するフレキシブルな手法を提案する。 本稿では,これらの圧縮表現を用いてテンプレートシーケンスの変動を,Transformerアーキテクチャの適切な注意パターンを用いて生成する方法を示す。
  論文  参考訳（メタデータ） (2020-04-21T15:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。