論文の概要: SELF-EXPLAIN: Teaching Large Language Models to Reason Complex Questions
by Themselves
- arxiv url: http://arxiv.org/abs/2311.06985v1
- Date: Sun, 12 Nov 2023 23:14:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-14 16:05:32.255462
- Title: SELF-EXPLAIN: Teaching Large Language Models to Reason Complex Questions
by Themselves
- Title(参考訳): SELF-EXPLAIN:大規模言語モデルによる複雑な質問の推論
- Authors: Jiachen Zhao, Zonghai Yao, Zhichao Yang, Hong Yu
- Abstract要約: 本研究では,大規模言語モデル(LLM)が人為的な実演を伴わずに理性を教えることができるかどうかを考察する。
人間の記憶検索における「符号化特異性」にインスパイアされたLLMを用いて,SELF-EXPLAINを用いてCoTのサンプルを生成する。
自己説明を用いることで、LLMはより自信を持ち、より校正され、複雑な質問に答えるときにバイアスが少なくなる。
- 参考スコア(独自算出の注目度): 9.68886683868545
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) can generate intermediate reasoning steps. To
elicit the reliable reasoning, the common practice is to employ few-shot
chain-of-thought prompting, where several in-context demonstrations for
reasoning are prepended to the question. However, such chain-of-thought
examples are expensive to craft, especially for professional domains, and can
have high variance depending on human annotators. Therefore, this work
investigates whether LLMs can teach themselves to reason without human-crafted
demonstrations. We propose SELF-EXPLAIN to generate CoT examples by LLMs
inspired by "encoding specificity" in human memory retrieval. We find using
self-explanations makes LLMs more confident, more calibrated and less biased
when answering complex questions. Moreover, we find prompting with
self-explanations can even significantly outperform using human-crafted CoTs on
several complex question answering dataset.
- Abstract(参考訳): 大規模言語モデル(LLM)は中間推論ステップを生成することができる。
信頼できる推論を引き出すために、一般的なプラクティスは、推論のためのいくつかのコンテキスト内デモが質問に先立って行われる、数発のチェーン・オブ・シントプロンプトを使うことである。
しかし、このような思考連鎖の例は、特に専門分野において、製作に費用がかかり、人間の注釈者によっては高いばらつきを持つことがある。
そこで本研究では,LLMが人間による実演なしで理性を教えることができるかどうかを検討する。
人間の記憶検索における「符号化特異性」にインスパイアされたLLMを用いて,SELF-EXPLAINを用いてCoTのサンプルを生成する。
自己説明を用いることで、LLMはより自信を持ち、より校正され、複雑な質問に答えるときにバイアスが少なくなる。
さらに, 自己説明によるプロンプトは, 複数の複雑な質問応答データセット上で, 人造CoTよりもはるかに優れることがわかった。
関連論文リスト
- Meaningful Learning: Advancing Abstract Reasoning in Large Language Models via Generic Fact Guidance [38.49506722997423]
大規模言語モデル(LLM)は、様々な推論シナリオにまたがる優れたパフォーマンスと強力な説明可能性を開発した。
それにもかかわらず、一般的な事実に支えられた単純な質問をタスクすると、LCMは一貫性のある正確な答えを提供しないことが多い。
このことは、LSMが真に推論しているのか、単に記憶しているだけなのか、という活発な議論を引き起こしている。
論文 参考訳(メタデータ) (2024-03-14T04:06:13Z) - Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with
Knowledge Graphs [55.05394799820403]
大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。
本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
論文 参考訳(メタデータ) (2024-02-17T05:22:56Z) - Learning to Generate Explainable Stock Predictions using Self-Reflective
Large Language Models [54.21695754082441]
説明可能なストック予測を生成するために,LLM(Large Language Models)を教えるフレームワークを提案する。
反射剤は自己推論によって過去の株価の動きを説明する方法を学ぶ一方、PPOトレーナーは最も可能性の高い説明を生成するためにモデルを訓練する。
我々のフレームワークは従来のディープラーニング法とLLM法の両方を予測精度とマシューズ相関係数で上回ることができる。
論文 参考訳(メタデータ) (2024-02-06T03:18:58Z) - CLadder: Assessing Causal Reasoning in Language Models [82.8719238178569]
我々は,大言語モデル (LLM) が因果関係をコヒーレントに説明できるかどうかを検討する。
ユデア・パールらによって仮定された「因果推論エンジン」にインスパイアされた、自然言語における因果推論という新たなNLPタスクを提案する。
論文 参考訳(メタデータ) (2023-12-07T15:12:12Z) - Large Language Models are In-Context Semantic Reasoners rather than
Symbolic Reasoners [75.85554779782048]
大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。
多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。
本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
論文 参考訳(メタデータ) (2023-05-24T07:33:34Z) - Reliable Natural Language Understanding with Large Language Models and
Answer Set Programming [0.0]
大規模言語モデル(LLM)は、様々なNLPタスクを解くためにテキストのパターンを利用することができるが、推論を必要とする問題では不足している。
LLMとAnswer Set Programming(ASP)を組み合わせたフレームワークSTARを提案する。
目標指向のASPは、この知識を確実に推論するために使用される。
論文 参考訳(メタデータ) (2023-02-07T22:37:21Z) - Multimodal Chain-of-Thought Reasoning in Language Models [80.902171201496]
大規模言語モデル(LLM)は、チェーン・オブ・ソート(CoT)を利用して複雑な推論において印象的な性能を示した。
本稿では,視覚機能を分離したトレーニングフレームワークに組み込んだマルチモーダルCoTを提案する。
Multimodal-CoTでは、ScienceQAベンチマークで10億のパラメータ未満のモデルで、従来の最先端のLCM(GPT-3.5)を16%(75.17%->91.68%)上回るパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2023-02-02T07:51:19Z) - Large Language Models are Better Reasoners with Self-Verification [48.534270563880845]
大規模言語モデル(LLM)は、いくつかの自然言語処理タスクにおいて強力な推論能力を示している。
思考の連鎖(CoT)を促進させるLLMは、個別のミスに非常に敏感な、多段階のプロンプトと多段階の予測を必要とする。
また,LLMにも同様な自己検証能力があることを示す。
論文 参考訳(メタデータ) (2022-12-19T15:51:52Z) - ThinkSum: Probabilistic reasoning over sets using large language models [18.123895485602244]
本稿では,2段階の確率的推論パラダイムであるThinkSumを提案する。
我々は,LLM評価タスクのBIGベンチスイートにおけるThinkSumの可能性とメリットを実証する。
論文 参考訳(メタデータ) (2022-10-04T00:34:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。