論文の概要: Text and Patterns: For Effective Chain of Thought, It Takes Two to Tango

• arxiv url: http://arxiv.org/abs/2209.07686v1
• Date: Fri, 16 Sep 2022 02:54:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-19 11:42:34.355689
• Title: Text and Patterns: For Effective Chain of Thought, It Takes Two to Tango
• Title（参考訳）: テキストとパターン:思考の効果的な連鎖には、タンゴに2つ必要
• Authors: Aman Madaan and Amir Yazdanbakhsh
• Abstract要約: この研究は、大規模言語モデルにおける推論機構のより深い理解に向けた予備的なステップを開始する。 私たちの作業は、シンボル、パターン、テキストというプロンプト内のコンポーネントの1つを除いて、モデルをクエリすることに集中しています。 我々は、テキストがパターンに常識的な知識と意味を与えると仮定する。
• 参考スコア（独自算出の注目度）: 11.344587937052697
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning is a key pillar of human cognition and intelligence. In the past decade, we witnessed dramatic gains in natural language processing and unprecedented scaling of large language models. Recent work has characterized the capability of few-shot prompting techniques such as chain of thought to emulate human reasoning in large language models. This hallmark feature of few-shot prompting, combined with ever scaling language models, opened a vista of possibilities to solve various tasks, such as math word problems, code completion, and commonsense reasoning. Chain of thought (CoT) prompting further pushes the performance of models in a few-shot setup, by supplying intermediate steps and urging the model to follow the same process. Despite its compelling performance, the genesis of reasoning capability in these models is less explored. This work initiates the preliminary steps towards a deeper understanding of reasoning mechanisms in large language models. Our work centers around querying the model while controlling for all but one of the components in a prompt: symbols, patterns, and text. We then analyze the performance divergence across the queries. Our results suggest the presence of factual patterns in a prompt is not necessary for the success of CoT. Nonetheless, we empirically show that relying solely on patterns is also insufficient for high quality results. We posit that text imbues patterns with commonsense knowledge and meaning. Our exhaustive empirical analysis provides qualitative examples of the symbiotic relationship between text and patterns. Such systematic understanding of CoT enables us to devise concise chain of thought, dubbed as CCoT, where text and patterns are pruned to only retain their key roles, while delivering on par or slightly higher solve task rate.
• Abstract（参考訳）: 推論は人間の認知と知性の重要な柱である。 過去10年間で、自然言語処理の劇的な増加と、大規模な言語モデルの前例のないスケールが見られた。 最近の研究は、大きな言語モデルにおける人間の推論をエミュレートする思考の連鎖のような、数発のプロンプト技術が特徴である。 数少ないプロンプトのこの特徴は、常に拡大する言語モデルと相まって、数学の単語問題、コード補完、コモンセンス推論といった様々なタスクを解決できる可能性を広げた。 思考の連鎖(CoT)は、中間ステップを供給し、モデルに同じプロセスに従うよう促すことによって、数ショットのセットアップでモデルのパフォーマンスをさらに押し上げる。 魅力的な性能にもかかわらず、これらのモデルにおける推論能力の創出は研究されていない。 この研究は、大規模言語モデルにおける推論機構のより深い理解に向けた予備的なステップを開始する。 私たちの作業は、プロンプト内のコンポーネントの1つ以外、シンボル、パターン、テキストをコントロールしながら、モデルをクエリすることに集中しています。 そして、クエリ全体のパフォーマンスのばらつきを分析します。 以上の結果から,CoTの成功にはプロンプトに事実パターンが存在する必要はないことが示唆された。 それでも、パターンのみに依存することも、高品質な結果には不十分であることを実証的に示しています。 我々は、テキストがパターンに常識的な知識と意味を与えると仮定する。 我々の徹底的な経験分析は、テキストとパターンの共生関係の定性的な例を提供する。 このようなCoTの体系的な理解は、CCoTと呼ばれる簡潔な思考の連鎖を創出することを可能にする。

関連論文リスト

• How Interpretable are Reasoning Explanations from Prompting Large Language Models? [34.4659592398593]
  本稿では,多面的解釈可能性の評価を包括的かつ多面的に行い,信頼度だけでなく,コモンセンス推論ベンチマークにおける堅牢性や有用性についても検討する。 さらに,複数次元の解釈可能性に70%以上の改善をもたらす自己包括的アライメント・アライメント・オブ・シント(Self-Entailment-Alignment Chain-of-Thought)と呼ばれる,単純な解釈可能性アライメント手法を導入する。
  論文  参考訳（メタデータ） (2024-02-19T06:11:28Z)
• Igniting Language Intelligence: The Hitchhiker's Guide From Chain-of-Thought Reasoning to Language Agents [80.5213198675411]
  大規模言語モデル(LLM)は言語知能の分野を劇的に拡張した。 LLMは興味をそそるチェーン・オブ・シークレット(CoT)推論技術を活用し、答えを導き出す途中の中間ステップを定式化しなければならない。 最近の研究は、自律言語エージェントの開発を促進するためにCoT推論手法を拡張している。
  論文  参考訳（メタデータ） (2023-11-20T14:30:55Z)
• Large Language Models as Analogical Reasoners [155.9617224350088]
  CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。 そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
  論文  参考訳（メタデータ） (2023-10-03T00:57:26Z)
• Beyond Chain-of-Thought, Effective Graph-of-Thought Reasoning in Language Models [74.40196814292426]
  本稿では,人間の思考過程をチェーンとしてだけでなく,グラフとしてモデル化するグラフ・オブ・ソート(GoT)推論を提案する。 GoTは人間の思考の連続しない性質を捉え、思考プロセスのより現実的なモデリングを可能にします。 テキストのみの推論タスクとマルチモーダル推論タスクでGoTの性能を評価する。
  論文  参考訳（メタデータ） (2023-05-26T02:15:09Z)
• Visual Chain of Thought: Bridging Logical Gaps with Multimodal Infillings [61.04460792203266]
  本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。 本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
  論文  参考訳（メタデータ） (2023-05-03T17:58:29Z)
• Chain of Thought Prompt Tuning in Vision Language Models [29.85907584680661]
  本稿では,視覚言語モデリングのための思考プロンプトチューニング手法を提案する。 私たちは、視覚とテキストの埋め込みを組み合わせたチェーン・オブ・シークレットのプロンプトを成功させた最初の人物です。
  論文  参考訳（メタデータ） (2023-04-16T23:59:25Z)
• Chaining Simultaneous Thoughts for Numerical Reasoning [92.2007997126144]
  テキストによる数値推論は、AIシステムにとって不可欠なスキルであるべきです。 これまでの研究は方程式の構造をモデル化することに集中し、様々な構造化デコーダを提案してきた。 我々は、有向非巡回グラフを用いてステップを推論する数値推論器CANTORを提案する。
  論文  参考訳（メタデータ） (2022-11-29T18:52:06Z)
• Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
  本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。 実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
  論文  参考訳（メタデータ） (2022-01-28T02:33:07Z)
• Seeking Patterns, Not just Memorizing Procedures: Contrastive Learning for Solving Math Word Problems [14.144577791030853]
  ニューラルネットワークが意味論からのみパターンを理解する方法について検討する。 本稿では,ニューラルネットワークがパターンの発散を知覚する,対照的な学習手法を提案する。 本手法は単言語および多言語設定における性能を大幅に改善する。
  論文  参考訳（メタデータ） (2021-10-16T04:03:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。