論文の概要: C3oT: Generating Shorter Chain-of-Thought without Compromising Effectiveness

• arxiv url: http://arxiv.org/abs/2412.11664v1
• Date: Mon, 16 Dec 2024 11:12:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 14:01:09.381912
• Title: C3oT: Generating Shorter Chain-of-Thought without Compromising Effectiveness
• Title（参考訳）: C3oT: 有効性を損なうことなく短鎖を生成する
• Authors: Yu Kang, Xianghui Sun, Liangyu Chen, Wei Zou,
• Abstract要約: 解答の導出前のChain-of-Thought(CoT)は、大規模言語モデル(LLM)の推論能力を改善することができる。 しかし、生成したCoTの長さは、望ましい最終回答よりもはるかに長いため、さらなる復号コストが生じる。 本稿では、圧縮機がオリジナルの長いCoTを短いCoTに圧縮するCOT圧縮フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 18.073777359647515
• License:
• Abstract: Generating Chain-of-Thought (CoT) before deriving the answer can effectively improve the reasoning capabilities of large language models (LLMs) and significantly improve the accuracy of the generated answer. However, in most cases, the length of the generated CoT is much longer than the desired final answer, which results in additional decoding costs. Furthermore, existing research has discovered that shortening the reasoning steps in CoT, even while preserving the key information, diminishes LLMs' abilities. These phenomena make it difficult to use LLMs and CoT in many real-world applications that only require the final answer and are sensitive to latency, such as search and recommendation. To reduce the costs of model decoding and shorten the length of the generated CoT, this paper presents $\textbf{C}$onditioned $\textbf{C}$ompressed $\textbf{C}$hain-of-$\textbf{T}$hought (C3oT), a CoT compression framework that involves a compressor to compress an original longer CoT into a shorter CoT while maintaining key information and interpretability, a conditioned training method to train LLMs with both longer CoT and shorter CoT simultaneously to learn the corresponding relationships between them, and a conditioned inference method to gain the reasoning ability learned from longer CoT by generating shorter CoT. We conduct experiments over four datasets from arithmetic and commonsense scenarios, showing that the proposed method is capable of compressing the length of generated CoT by up to more than 50% without compromising its effectiveness.
• Abstract（参考訳）: 解答の導出前にチェーン・オブ・ソート(CoT)を生成することは、大言語モデル(LLM)の推論能力を効果的に改善し、生成した解の精度を大幅に向上させることができる。 しかし、ほとんどの場合、生成したCoTの長さは所望の最終回答よりもずっと長くなり、余分な復号コストがかかる。 さらに、キー情報を保存しているにもかかわらず、CoTにおける推論ステップの短縮がLLMの能力を低下させることが、既存の研究で発見されている。 これらの現象は、最終回答しか必要とせず、検索やレコメンデーションのような遅延に敏感な多くの現実世界のアプリケーションでLLMやCoTを使用することを困難にしている。 モデルデコーディングのコストを削減し、生成したCoTの長さを短縮するために、$\textbf{C}$onditioned $\textbf{C}$ompressed $\textbf{C}$hain-of-$\textbf{T}$hought (C3oT)、圧縮機が鍵情報と解釈可能性を維持しながら元の長いCoTを短いCoTに圧縮するCoT圧縮フレームワーク、それに対応するCoTと短いCoTの両方でLLMをトレーニングする条件付きトレーニング方法、および、CoTを短いCoTを生成することによって、より長いCoTから学習した推論能力を得るための条件付き推論手法を提案する。 計算・常識シナリオから4つのデータセットに対して実験を行い,提案手法により生成したCoTの長さを最大50%圧縮できることを示した。

関連論文リスト

• TokenSkip: Controllable Chain-of-Thought Compression in LLMs [11.583847083770031]
  CoT(Chain-of-Thought)は,大規模言語モデル(LLM)の推論能力の向上に有効であることが証明されている。 TokenSkipは、LLMが重要でないトークンを選択的にスキップし、制御可能なCoT圧縮を可能にする、シンプルで効果的なアプローチである。
  論文  参考訳（メタデータ） (2025-02-17T17:37:26Z)
• CoT-Valve: Length-Compressible Chain-of-Thought Tuning [50.196317781229496]
  我々はCoT-Valveと呼ばれる新しいチューニングと推論戦略を導入し、モデルが様々な長さの推論連鎖を生成できるようにする。 我々は,CoT-Valveがチェーンの制御性と圧縮性を実現し,プロンプトベース制御よりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2025-02-13T18:52:36Z)
• When More is Less: Understanding Chain-of-Thought Length in LLMs [53.77747102201451]
  CoT推論は大規模言語モデル(LLM)の多段階推論能力を高める しかし、ほとんどのモデルやタスクでは、CoT長の増加は一貫して推論精度の向上につながりますか? 本稿では, 推論ステップの数が増加するにつれて, 性能は向上するが, 最終的には低下する,というニュアンスな関係を観察する。
  論文  参考訳（メタデータ） (2025-02-11T05:28:59Z)
• Efficient Long Context Language Model Retrieval with Compression [57.09163579304332]
  情報検索のための新しいパラダイムとしてLong Context Language Models (LCLM)が登場した。 本稿では,LCLM検索に適した新しい圧縮手法を提案する。 また,CoLoRはテキスト内サイズを1.91倍に圧縮し,検索性能を6%向上することを示した。
  論文  参考訳（メタデータ） (2024-12-24T07:30:55Z)
• To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning [55.52872152909785]
  Chain-of-Thought (CoT) は,大規模言語モデル (LLM) から推論能力を引き出すデファクト手法である。 私たちは、CoTが主に数学や論理学を含むタスクに強いパフォーマンス上の利点をもたらし、他のタスクよりもはるかに少ない利益をもたらすことを示しています。
  論文  参考訳（メタデータ） (2024-09-18T17:55:00Z)
• Expediting and Elevating Large Language Model Reasoning via Hidden Chain-of-Thought Decoding [14.175444025026508]
  大規模言語モデル(LLM)は、チェーン・オブ・シント(CoT)のプロンプトを必要とするタスクにおいて顕著な機能を示した。 完全なCoTプロセスを生成すると、出力シーケンスが大幅に長くなり、推論時の計算コストと遅延が増大する。 セマンティックアライメントによってCoTプロセスを圧縮し、CoT推論の利点を保ちながらより効率的な復号化を可能にする新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-09-13T06:29:20Z)
• ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
  CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する 既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。 優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
  論文  参考訳（メタデータ） (2024-03-21T11:34:26Z)
• Chain-of-Thought Reasoning Without Prompting [40.92854235219315]
  CoT推論パスは、テキストデコーディングプロセスを変更するだけで、事前訓練された言語モデルから引き出すことができる。 復号経路におけるCoTの存在は、モデルの復号解に対する高い信頼と相関する。
  論文  参考訳（メタデータ） (2024-02-15T18:55:41Z)
• Stress Testing Chain-of-Thought Prompting for Large Language Models [0.16317061277456998]
  本報告では,大規模言語モデル(LLM)の多段階推論能力を向上する上で,CoT(Chain-of-Thought)の有効性について検討する。 各種タスクにおけるGPT-3の性能に及ぼすCoT次数,CoT値,CoT演算子の影響を解析した。
  論文  参考訳（メタデータ） (2023-09-28T17:21:33Z)
• Interleaving Retrieval with Chain-of-Thought Reasoning for Knowledge-Intensive Multi-Step Questions [50.114651561111245]
  マルチステップ質問応答のための新しいアプローチであるIRCoTを提案する。 CoTのステップで検索をインターリーブし、CoTで検索を誘導し、検索結果を用いてCoTを改善する。
  論文  参考訳（メタデータ） (2022-12-20T18:26:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。