論文の概要: Contrastive Chain-of-Thought Prompting

• arxiv url: http://arxiv.org/abs/2311.09277v1
• Date: Wed, 15 Nov 2023 18:54:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 18:07:16.063486
• Title: Contrastive Chain-of-Thought Prompting
• Title（参考訳）: コントラスト型チェーン・オブ・サート・プロンプティング
• Authors: Yew Ken Chia, Guizhen Chen, Luu Anh Tuan, Soujanya Poria, Lidong Bing
• Abstract要約: 本稿では,言語モデル推論を強化するために,思考の対照的な連鎖を提案する。 従来の思考の連鎖と比較して,本手法は妥当かつ無効な推論実証を提供する。 推論ベンチマーク実験により、思考の対照的な連鎖は、思考の連鎖の促進に役立てることができることを示した。
• 参考スコア（独自算出の注目度）: 74.10511560147293
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Despite the success of chain of thought in enhancing language model reasoning, the underlying process remains less well understood. Although logically sound reasoning appears inherently crucial for chain of thought, prior studies surprisingly reveal minimal impact when using invalid demonstrations instead. Furthermore, the conventional chain of thought does not inform language models on what mistakes to avoid, which potentially leads to more errors. Hence, inspired by how humans can learn from both positive and negative examples, we propose contrastive chain of thought to enhance language model reasoning. Compared to the conventional chain of thought, our approach provides both valid and invalid reasoning demonstrations, to guide the model to reason step-by-step while reducing reasoning mistakes. To improve generalization, we introduce an automatic method to construct contrastive demonstrations. Our experiments on reasoning benchmarks demonstrate that contrastive chain of thought can serve as a general enhancement of chain-of-thought prompting.
• Abstract（参考訳）: 言語モデル推論の強化における思考の連鎖の成功にもかかわらず、基礎となるプロセスはよく理解されていない。 論理的に健全な推論は思考の連鎖に本質的に不可欠であるように見えるが、以前の研究は、無効なデモを使う場合の影響を驚くほど示している。 さらに、従来の思考の連鎖は、避けるべき誤りについて言語モデルに通知しないため、より多くのエラーを引き起こす可能性がある。 そこで我々は,肯定的,否定的な両例から人間の学習方法に触発され,言語モデル推論を強化するための思考の対照的な連鎖を提案する。 従来の思考連鎖と比較して,推論の誤りを低減しつつ,モデルを段階的に推論するように指導する手法として,有効かつ無効な推論実証を提供する。 一般化を改善するため,コントラスト表現を自動生成する手法を提案する。 推論ベンチマークに関する実験では,思考のコントラスト連鎖が,思考の連鎖の促進に寄与することが示された。

関連論文リスト

• Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
  本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。 既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。 ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
  論文  参考訳（メタデータ） (2024-03-30T00:53:53Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• Implicit Chain of Thought Reasoning via Knowledge Distillation [58.80851216530288]
  思考推論ステップの連鎖を明示的に生成する代わりに、言語モデルの内部の隠れ状態を使用して暗黙の推論を行います。 このアプローチにより、明示的にチェーン・オブ・シントなしでは解決不可能なタスクを、非チェーン・オブ・シントに匹敵する速度で解決できることが分かりました。
  論文  参考訳（メタデータ） (2023-11-02T17:59:49Z)
• Enhancing Zero-Shot Chain-of-Thought Reasoning in Large Language Models through Logic [19.476840373850653]
  大規模言語モデルは、その推論手順が論理原理に制約されないため、幻覚を示す。 記号論理に根ざした原理を活用する自己改善促進フレームワークであるLoT(Logical Thoughts)を提案する。 算術,コモンセンス,記号,因果推論,社会問題など多種多様な領域における言語課題に対する実験的評価は,論理学による推論の強化の有効性を実証する。
  論文  参考訳（メタデータ） (2023-09-23T11:21:12Z)
• Deductive Verification of Chain-of-Thought Reasoning [22.79166959432764]
  大型言語モデル(LLM)は、様々な推論タスクを実行する上で、Chain-of-Thoughtの恩恵を受ける。 CoTはモデルがより包括的な推論プロセスを生成することを可能にするが、中間的推論ステップに重点を置くことは、必然的に幻覚や累積エラーをもたらす可能性がある。 本研究では,自然言語に基づく帰納的推論形式であるNatural Programを提案する。
  論文  参考訳（メタデータ） (2023-06-06T17:18:56Z)
• Abductive Commonsense Reasoning Exploiting Mutually Exclusive Explanations [118.0818807474809]
  帰納的推論は、イベントのもっともらしい説明を見つけることを目的としている。 自然言語処理における帰納的推論のための既存のアプローチは、しばしば監督のために手動で生成されたアノテーションに依存している。 この研究は、ある文脈に対して、説明のサブセットのみが正しいという事実を活用する、帰納的コモンセンス推論のアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:35:10Z)
• Learning to Reason and Memorize with Self-Notes [51.17609489687686]
  大規模言語モデルは多段階推論に苦しむことが示されている。 本稿では,これらの問題を解決するための簡単な手法を提案する。
  論文  参考訳（メタデータ） (2023-05-01T14:02:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。