論文の概要: Learning to Reason and Memorize with Self-Notes

• arxiv url: http://arxiv.org/abs/2305.00833v2
• Date: Tue, 31 Oct 2023 04:06:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 02:52:20.047163
• Title: Learning to Reason and Memorize with Self-Notes
• Title（参考訳）: 自己ノートによる推論と記憶の学習
• Authors: Jack Lanchantin, Shubham Toshniwal, Jason Weston, Arthur Szlam, Sainbayar Sukhbaatar
• Abstract要約: 大規模言語モデルは多段階推論に苦しむことが示されている。 本稿では,これらの問題を解決するための簡単な手法を提案する。
• 参考スコア（独自算出の注目度）: 51.17609489687686
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have been shown to struggle with multi-step reasoning, and do not retain previous reasoning steps for future use. We propose a simple method for solving both of these problems by allowing the model to take Self-Notes. Unlike recent chain-of-thought or scratchpad approaches, the model can deviate from the input context at any time to explicitly think and write down its thoughts. This allows the model to perform reasoning on the fly as it reads the context and even integrate previous reasoning steps, thus enhancing its memory with useful information and enabling multi-step reasoning. Experiments across a wide variety of tasks demonstrate that our method can outperform chain-of-thought and scratchpad methods by taking Self-Notes that interleave the input text.
• Abstract（参考訳）: 大規模言語モデルは多段階推論に苦しむことが示されており、将来の使用のために以前の推論ステップを保持しない。 そこで本研究では, モデルに自己記入を許すことで, 両問題を簡易に解く手法を提案する。 最近のchain-of-thoughtやscratchpadと異なり、モデルは常に入力コンテキストから逸脱して、明示的に考え、書き留めることができる。 これにより、コンテキストを読み込むときにモデルが推論を実行し、以前の推論ステップを統合することで、有用な情報でメモリを拡張し、マルチステップ推論を可能にする。 様々なタスクにまたがる実験により,入力テキストをインターリーブするセルフノートを取ることにより,提案手法がチェーン・オブ・マインドおよびスクラッチパッド法を上回ることを証明した。

関連論文リスト

• Contrastive Chain-of-Thought Prompting [74.10511560147293]
  本稿では,言語モデル推論を強化するために,思考の対照的な連鎖を提案する。 従来の思考の連鎖と比較して,本手法は妥当かつ無効な推論実証を提供する。 推論ベンチマーク実験により、思考の対照的な連鎖は、思考の連鎖の促進に役立てることができることを示した。
  論文  参考訳（メタデータ） (2023-11-15T18:54:01Z)
• Preventing Language Models From Hiding Their Reasoning [0.0]
  大規模言語モデル(LLM)は、複雑な問題に対する答えを生成するための推論の中間ステップの恩恵を受けることが多い。 この研究では、推論の中間段階が不信である可能性のある1つの潜在的方法、すなわち符号化推論に焦点を当てる。 言語モデルは、ユーザが推論の中間ステップを理解せずに、符号化推論を利用してより高い性能を得るように訓練できることを示す。
  論文  参考訳（メタデータ） (2023-10-27T22:02:29Z)
• Large Language Models as Analogical Reasoners [155.9617224350088]
  CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。 そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
  論文  参考訳（メタデータ） (2023-10-03T00:57:26Z)
• Visual Chain of Thought: Bridging Logical Gaps with Multimodal Infillings [61.04460792203266]
  本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。 本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
  論文  参考訳（メタデータ） (2023-05-03T17:58:29Z)
• Chain of Thought Prompting Elicits Reasoning in Large Language Models [56.811278668446825]
  本稿では,コヒーレントな思考連鎖を生成する言語モデルについて考察する。 実験により、プロンプトによって思考の連鎖を誘導することで、十分な大きな言語モデルが推論タスクをよりよく実行できるようになることが示されている。
  論文  参考訳（メタデータ） (2022-01-28T02:33:07Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。