論文の概要: Contrastive Chain-of-Thought Prompting
- arxiv url: http://arxiv.org/abs/2311.09277v1
- Date: Wed, 15 Nov 2023 18:54:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-17 18:07:16.063486
- Title: Contrastive Chain-of-Thought Prompting
- Title(参考訳): コントラスト型チェーン・オブ・サート・プロンプティング
- Authors: Yew Ken Chia, Guizhen Chen, Luu Anh Tuan, Soujanya Poria, Lidong Bing
- Abstract要約: 本稿では,言語モデル推論を強化するために,思考の対照的な連鎖を提案する。
従来の思考の連鎖と比較して,本手法は妥当かつ無効な推論実証を提供する。
推論ベンチマーク実験により、思考の対照的な連鎖は、思考の連鎖の促進に役立てることができることを示した。
- 参考スコア(独自算出の注目度): 74.10511560147293
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Despite the success of chain of thought in enhancing language model
reasoning, the underlying process remains less well understood. Although
logically sound reasoning appears inherently crucial for chain of thought,
prior studies surprisingly reveal minimal impact when using invalid
demonstrations instead. Furthermore, the conventional chain of thought does not
inform language models on what mistakes to avoid, which potentially leads to
more errors. Hence, inspired by how humans can learn from both positive and
negative examples, we propose contrastive chain of thought to enhance language
model reasoning. Compared to the conventional chain of thought, our approach
provides both valid and invalid reasoning demonstrations, to guide the model to
reason step-by-step while reducing reasoning mistakes. To improve
generalization, we introduce an automatic method to construct contrastive
demonstrations. Our experiments on reasoning benchmarks demonstrate that
contrastive chain of thought can serve as a general enhancement of
chain-of-thought prompting.
- Abstract(参考訳): 言語モデル推論の強化における思考の連鎖の成功にもかかわらず、基礎となるプロセスはよく理解されていない。
論理的に健全な推論は思考の連鎖に本質的に不可欠であるように見えるが、以前の研究は、無効なデモを使う場合の影響を驚くほど示している。
さらに、従来の思考の連鎖は、避けるべき誤りについて言語モデルに通知しないため、より多くのエラーを引き起こす可能性がある。
そこで我々は,肯定的,否定的な両例から人間の学習方法に触発され,言語モデル推論を強化するための思考の対照的な連鎖を提案する。
従来の思考連鎖と比較して,推論の誤りを低減しつつ,モデルを段階的に推論するように指導する手法として,有効かつ無効な推論実証を提供する。
一般化を改善するため,コントラスト表現を自動生成する手法を提案する。
推論ベンチマークに関する実験では,思考のコントラスト連鎖が,思考の連鎖の促進に寄与することが示された。
関連論文リスト
- Diffusion of Thoughts: Chain-of-Thought Reasoning in Diffusion Language
Models [98.50463448054865]
Diffusion-of-Thought (DoT) は、拡散過程を通じて時間とともに拡散する推論ステップを可能にする。
実験の結果,マルチ桁乗算と小学校数学における DoT の有効性が示された。
DoTは、自己整合性復号化のような既存の推論エンハンス技術による有望な自己補正能力とメリットを紹介している。
論文 参考訳(メタデータ) (2024-02-12T16:23:28Z) - Implicit Chain of Thought Reasoning via Knowledge Distillation [58.80851216530288]
思考推論ステップの連鎖を明示的に生成する代わりに、言語モデルの内部の隠れ状態を使用して暗黙の推論を行います。
このアプローチにより、明示的にチェーン・オブ・シントなしでは解決不可能なタスクを、非チェーン・オブ・シントに匹敵する速度で解決できることが分かりました。
論文 参考訳(メタデータ) (2023-11-02T17:59:49Z) - Enhancing Zero-Shot Chain-of-Thought Reasoning in Large Language Models
through Logic [20.453520570295236]
そこで我々は,大規模言語モデルのゼロショット・チェーン・オブ・思想推論能力を改善するために,LoT (Logical Thoughts) を提案する。
LoTはシンボリック論理、特にReducetio ad Absurdumに根ざした原理を用いて、推論プロセスを段階的に体系的に検証し、修正する。
論文 参考訳(メタデータ) (2023-09-23T11:21:12Z) - Boosting Language Models Reasoning with Chain-of-Knowledge Prompting [14.443107383265922]
CoK(Chain-of-Knowledge)は、構造三重の形で明確な知識証拠を引き出すことを目的としている。
さらに, 推論チェーンの信頼性を推定するF2-Verification法を導入する。
広汎な実験により,本手法はコモンセンス,事実,記号,算術的推論タスクの性能をさらに向上させることができることが示された。
論文 参考訳(メタデータ) (2023-06-10T12:42:36Z) - Deductive Verification of Chain-of-Thought Reasoning [22.79166959432764]
大型言語モデル(LLM)は、様々な推論タスクを実行する上で、Chain-of-Thoughtの恩恵を受ける。
CoTはモデルがより包括的な推論プロセスを生成することを可能にするが、中間的推論ステップに重点を置くことは、必然的に幻覚や累積エラーをもたらす可能性がある。
本研究では,自然言語に基づく帰納的推論形式であるNatural Programを提案する。
論文 参考訳(メタデータ) (2023-06-06T17:18:56Z) - Abductive Commonsense Reasoning Exploiting Mutually Exclusive
Explanations [118.0818807474809]
帰納的推論は、イベントのもっともらしい説明を見つけることを目的としている。
自然言語処理における帰納的推論のための既存のアプローチは、しばしば監督のために手動で生成されたアノテーションに依存している。
この研究は、ある文脈に対して、説明のサブセットのみが正しいという事実を活用する、帰納的コモンセンス推論のアプローチを提案する。
論文 参考訳(メタデータ) (2023-05-24T01:35:10Z) - Learning to Reason and Memorize with Self-Notes [51.17609489687686]
大規模言語モデルは多段階推論に苦しむことが示されている。
本稿では,これらの問題を解決するための簡単な手法を提案する。
論文 参考訳(メタデータ) (2023-05-01T14:02:48Z) - Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。
実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
論文 参考訳(メタデータ) (2022-01-28T02:33:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。