論文の概要: Implicit Chain of Thought Reasoning via Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2311.01460v1
• Date: Thu, 2 Nov 2023 17:59:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-03 12:11:36.882218
• Title: Implicit Chain of Thought Reasoning via Knowledge Distillation
• Title（参考訳）: 知識蒸留による思考推論の暗黙的連鎖
• Authors: Yuntian Deng, Kiran Prasad, Roland Fernandez, Paul Smolensky, Vishrav Chaudhary, Stuart Shieber
• Abstract要約: 思考推論ステップの連鎖を明示的に生成する代わりに、言語モデルの内部の隠れ状態を使用して暗黙の推論を行います。 このアプローチにより、明示的にチェーン・オブ・シントなしでは解決不可能なタスクを、非チェーン・オブ・シントに匹敵する速度で解決できることが分かりました。
• 参考スコア（独自算出の注目度）: 58.80851216530288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To augment language models with the ability to reason, researchers usually prompt or finetune them to produce chain of thought reasoning steps before producing the final answer. However, although people use natural language to reason effectively, it may be that LMs could reason more effectively with some intermediate computation that is not in natural language. In this work, we explore an alternative reasoning approach: instead of explicitly producing the chain of thought reasoning steps, we use the language model's internal hidden states to perform implicit reasoning. The implicit reasoning steps are distilled from a teacher model trained on explicit chain-of-thought reasoning, and instead of doing reasoning "horizontally" by producing intermediate words one-by-one, we distill it such that the reasoning happens "vertically" among the hidden states in different layers. We conduct experiments on a multi-digit multiplication task and a grade school math problem dataset and find that this approach enables solving tasks previously not solvable without explicit chain-of-thought, at a speed comparable to no chain-of-thought.
• Abstract（参考訳）: 推論能力を持つ言語モデルを強化するために、研究者は通常、最終的な答えを生成する前に思考推論の連鎖を生成するように促すか、あるいは微調整する。 しかしながら、人々は自然言語を効果的に推論するために利用するが、LMは自然言語にはない中間計算でより効果的に推論できるかもしれない。 本研究では、思考推論ステップの連鎖を明示的に生成する代わりに、言語モデルの内部の隠れ状態を用いて暗黙の推論を行う。 暗黙の推論ステップは、明示的な連鎖推論に基づいて訓練された教師モデルから蒸留され、中間語を1つずつ生成することで「水平に」推論する代わりに、異なる階層の隠れ状態の間に「垂直に」推論が起こるように蒸留する。 我々は,マルチ桁乗算課題と小学校数学問題データセットの実験を行い,この手法により,従来,明示的なチェーン・オブ・マインドなしでは解決できなかった課題を,チェーン・オブ・マインドに匹敵する速度で解くことができることを見出した。

関連論文リスト

• Contrastive Chain-of-Thought Prompting [74.10511560147293]
  本稿では,言語モデル推論を強化するために,思考の対照的な連鎖を提案する。 従来の思考の連鎖と比較して,本手法は妥当かつ無効な推論実証を提供する。 推論ベンチマーク実験により、思考の対照的な連鎖は、思考の連鎖の促進に役立てることができることを示した。
  論文  参考訳（メタデータ） (2023-11-15T18:54:01Z)
• Preventing Language Models From Hiding Their Reasoning [0.0]
  大規模言語モデル(LLM)は、複雑な問題に対する答えを生成するための推論の中間ステップの恩恵を受けることが多い。 この研究では、推論の中間段階が不信である可能性のある1つの潜在的方法、すなわち符号化推論に焦点を当てる。 言語モデルは、ユーザが推論の中間ステップを理解せずに、符号化推論を利用してより高い性能を得るように訓練できることを示す。
  論文  参考訳（メタデータ） (2023-10-27T22:02:29Z)
• Enhancing Zero-Shot Chain-of-Thought Reasoning in Large Language Models through Logic [19.476840373850653]
  大規模言語モデルは、その推論手順が論理原理に制約されないため、幻覚を示す。 記号論理に根ざした原理を活用する自己改善促進フレームワークであるLoT(Logical Thoughts)を提案する。 算術,コモンセンス,記号,因果推論,社会問題など多種多様な領域における言語課題に対する実験的評価は,論理学による推論の強化の有効性を実証する。
  論文  参考訳（メタデータ） (2023-09-23T11:21:12Z)
• Boosting Language Models Reasoning with Chain-of-Knowledge Prompting [18.326858925174605]
  CoK(Chain-of-Knowledge)は、構造三重の形で明確な知識証拠を引き出すことを目的としている。 さらに, 推論チェーンの信頼性を推定するF2-Verification法を導入する。 広汎な実験により,本手法はコモンセンス,事実,記号,算術的推論タスクの性能をさらに向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-06-10T12:42:36Z)
• Deductive Verification of Chain-of-Thought Reasoning [22.79166959432764]
  大型言語モデル(LLM)は、様々な推論タスクを実行する上で、Chain-of-Thoughtの恩恵を受ける。 CoTはモデルがより包括的な推論プロセスを生成することを可能にするが、中間的推論ステップに重点を置くことは、必然的に幻覚や累積エラーをもたらす可能性がある。 本研究では,自然言語に基づく帰納的推論形式であるNatural Programを提案する。
  論文  参考訳（メタデータ） (2023-06-06T17:18:56Z)
• Large Language Models are In-Context Semantic Reasoners rather than Symbolic Reasoners [75.85554779782048]
  大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。 多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。 本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
  論文  参考訳（メタデータ） (2023-05-24T07:33:34Z)
• Abductive Commonsense Reasoning Exploiting Mutually Exclusive Explanations [118.0818807474809]
  帰納的推論は、イベントのもっともらしい説明を見つけることを目的としている。 自然言語処理における帰納的推論のための既存のアプローチは、しばしば監督のために手動で生成されたアノテーションに依存している。 この研究は、ある文脈に対して、説明のサブセットのみが正しいという事実を活用する、帰納的コモンセンス推論のアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:35:10Z)
• Learning to Reason and Memorize with Self-Notes [51.17609489687686]
  大規模言語モデルは多段階推論に苦しむことが示されている。 本稿では,これらの問題を解決するための簡単な手法を提案する。
  論文  参考訳（メタデータ） (2023-05-01T14:02:48Z)
• Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
  本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。 実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
  論文  参考訳（メタデータ） (2022-01-28T02:33:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。