論文の概要: Self-prompted Chain-of-Thought on Large Language Models for Open-domain Multi-hop Reasoning

• arxiv url: http://arxiv.org/abs/2310.13552v2
• Date: Mon, 23 Oct 2023 05:42:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-24 11:12:20.446563
• Title: Self-prompted Chain-of-Thought on Large Language Models for Open-domain Multi-hop Reasoning
• Title（参考訳）: オープンドメインマルチホップ推論のための大規模言語モデルに対する自己プロンプト連鎖
• Authors: Jinyuan Wang and Junlong Li and Hai Zhao
• Abstract要約: オープンドメイン質問回答(ODQA)では、ほとんどの既存の質問はコモンセンスのシングルホップ推論を必要とする。 大規模言語モデル(LLM)は、外部コーパスなしでODQAを促進するために重要な有用性を見出した。 高品質なCoTを大量生産する自動化フレームワークSP-CoTを提案する。
• 参考スコア（独自算出の注目度）: 70.74928578278957
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In open-domain question-answering (ODQA), most existing questions require single-hop reasoning on commonsense. To further extend this task, we officially introduce open-domain multi-hop reasoning (ODMR) by answering multi-hop questions with explicit reasoning steps in open-domain setting. Recently, large language models (LLMs) have found significant utility in facilitating ODQA without external corpus. Furthermore, chain-of-thought (CoT) prompting boosts the reasoning capability of LLMs to a greater extent with manual or automated paradigms. However, existing automated methods lack of quality assurance, while manual approaches suffer from limited scalability and poor diversity, hindering the capabilities of LLMs. In this paper, we propose Self-prompted Chain-of-Thought (SP-CoT), an automated framework to mass-produce high quality CoTs of LLMs, by LLMs and for LLMs. SP-CoT introduces an automated generation pipeline of high quality ODMR datasets, an adaptive sampler for in-context CoT selection and self-prompted inference via in-context learning. Extensive experiments on four multi-hop question-answering benchmarks show that our proposed SP-CoT not only significantly surpasses the previous SOTA methods on large-scale (175B) LLMs, but also nearly doubles the zero-shot performance of small-scale (13B) LLMs. Further analysis reveals the remarkable capability of SP-CoT to elicit direct and concise intermediate reasoning steps by recalling $\sim$50\% of intermediate answers on MuSiQue-Ans dataset.
• Abstract（参考訳）: オープンドメイン質問回答(ODQA)では、既存の質問の多くはコモンセンスのシングルホップ推論を必要とする。 さらに,open-domain multi-hop reasoning (odmr) を公式に導入し,オープンドメイン設定において明示的な推論ステップを用いてマルチホップ質問に回答する。 近年,大規模言語モデル (LLM) は外部コーパスを使わずにODQAを促進するために重要な有用性を見出した。 さらに、チェーン・オブ・シント(CoT)の促進により、手動または自動化パラダイムによりLLMの推論能力は大幅に向上する。 しかし、既存の自動化手法は品質保証を欠いているが、手動のアプローチはスケーラビリティの制限と多様性の低さに悩まされ、LLMの能力を妨げている。 本稿では,LLMの高品質CoTを大量生産する自動化フレームワークであるSP-CoTを提案する。 SP-CoTは高品質なODMRデータセットの自動生成パイプライン、コンテキスト内CoT選択のための適応型サンプリング、コンテキスト内学習による自己プロンプト推論を導入している。 提案したSP-CoTは,大規模な175BLLMのSOTA法をはるかに上回るだけでなく,小型(13B)LLMのゼロショット性能もほぼ2倍に向上することを示した。 さらなる分析により、MuSiQue-Ansデータセット上の中間回答の$$\sim$50\%をリコールすることで、SP-CoTが直接的および簡潔な中間推論ステップを引き出す驚くべき能力を明らかにした。

関連論文リスト

• Let's Be Self-generated via Step by Step: A Curriculum Learning Approach to Automated Reasoning with Large Language Models [8.255272009912417]
  カリキュラム学習にインスパイアされたtextbfLBS3 自動推論のための新しいプロンプト手法を提案する。 LBS3はLLMを操り、ターゲットクエリに関連付けられた簡単にハードなプロキシクエリをリコールする。 これは、簡単なプロキシクエリから派生した例的なプロンプトを利用して、ハードプロキシクエリの解決にLSMを向けるプログレッシブ戦略を起動する。
  論文  参考訳（メタデータ） (2024-10-29T04:28:49Z)
• SG-FSM: A Self-Guiding Zero-Shot Prompting Paradigm for Multi-Hop Question Answering Based on Finite State Machine [27.274219226254026]
  MHQA (Multi-hop Question Answering) は、多くの既存モデルにおいて依然として困難である。 マルチホップ推論能力を高めるために,SG-FSM(Self-Guiding prompting Finite State Machine)を提案する。
  論文  参考訳（メタデータ） (2024-10-22T13:47:38Z)
• Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
  ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。 パフォーマンスギャップを実証的に説明するための一連の実験を考案する。
  論文  参考訳（メタデータ） (2024-09-27T05:06:43Z)
• Leveraging LLMs for Dialogue Quality Measurement [27.046917937460798]
  大規模言語モデル(LLM)は、NLPタスク全体で堅牢なゼロショットと少数ショットの機能を提供する。 モデルサイズ,文脈内例,選択手法などの操作要因を考察し,CoT推論とラベル抽出手法について検討する。 この結果から,適切な微調整と十分な推論能力を有するLCMを自動対話評価に活用できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-25T06:19:47Z)
• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• Towards Hierarchical Multi-Agent Workflows for Zero-Shot Prompt Optimization [19.200989737492595]
  大規模言語モデル(LLM)は、ユーザの質問に答える上で大きな進歩を見せている。 LLMの出力の品質はプロンプト設計に大きく依存しており、優れたプロンプトによってLLMが非常に難しい問題に正しく答えられる可能性がある。 LLMの階層構造を提案し、まず、正確な指示と正確な単語を階層的に生成し、次に、このプロンプトを用いてユーザクエリの最終回答を生成する。
  論文  参考訳（メタデータ） (2024-05-30T17:05:45Z)
• Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
  Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。 本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。 オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:52:30Z)
• A Self-enhancement Approach for Domain-specific Chatbot Training via Knowledge Mining and Digest [62.63606958140248]
  大規模言語モデル(LLM)は、特定のドメインで複雑な知識要求クエリを扱う際に、しばしば困難に直面する。 本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化する新しいアプローチを提案する。 我々は知識マイナー、すなわちLLMinerを訓練し、関連する文書から質問応答対を自律的に抽出する。
  論文  参考訳（メタデータ） (2023-11-17T16:09:10Z)
• FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models [79.62191017182518]
  FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。 本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。 FollowBench上での13のLLMの評価により,LLMの弱さと今後の研究への道のりを示す。
  論文  参考訳（メタデータ） (2023-10-31T12:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。