論文の概要: Federated Prompting and Chain-of-Thought Reasoning for Improving LLMs
Answering
- arxiv url: http://arxiv.org/abs/2304.13911v2
- Date: Fri, 30 Jun 2023 13:21:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-03 15:12:23.711184
- Title: Federated Prompting and Chain-of-Thought Reasoning for Improving LLMs
Answering
- Title(参考訳): LLM応答改善のためのフェデレーションプロンプティングとチェーン・オブ・サート推論
- Authors: Xiangyang Liu, Tianqi Pang, Chenyou Fan
- Abstract要約: クラウドベースLarge Language Models (LLMs) を用いた分散ユーザによる質問に対する回答精度の向上について検討する。
本研究は,同じ数学的推論ステップと問題解決手順を含む類似のクエリをユーザが質問する典型的な状況に焦点を当てる。
本稿では,自己整合性(SC)とCoT(Chain-of-Thought)技術を用いて,分散同義語質問を改善することを提案する。
- 参考スコア(独自算出の注目度): 13.735277588793997
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate how to enhance answer precision in frequently asked questions
posed by distributed users using cloud-based Large Language Models (LLMs). Our
study focuses on a typical situations where users ask similar queries that
involve identical mathematical reasoning steps and problem-solving procedures.
Due to the unsatisfactory accuracy of LLMs' zero-shot prompting with standalone
questions, we propose to improve the distributed synonymous questions using
Self-Consistency (SC) and Chain-of-Thought (CoT) techniques. Specifically, we
first retrieve synonymous questions from a crowd-sourced database and create a
federated question pool. We call these federated synonymous questions with the
same or different parameters SP-questions or DP-questions, respectively. We
refer to our methods as Fed-SP-SC and Fed-DP-CoT, which can generate
significantly more accurate answers for all user queries without requiring
sophisticated model-tuning. Through extensive experiments, we demonstrate that
our proposed methods can significantly enhance question accuracy by fully
exploring the synonymous nature of the questions and the consistency of the
answers.
- Abstract(参考訳): クラウドベースLarge Language Models (LLMs) を用いた分散ユーザによる質問に対する回答精度の向上について検討した。
本研究は,同じ数学的推論ステップと問題解決手順を含む類似クエリをユーザが質問する典型的な状況に焦点を当てる。
LLMのゼロショットに対する不満足な精度のため,自己整合性(SC)とCoT(Chain-of-Thought)技術を用いて,分散同義語問題を改善することを提案する。
具体的には,まずクラウドソースデータベースから同義語質問を抽出し,連合質問プールを作成する。
これらを同一または異なるパラメータsp-questionまたはdp-questionの連合同義語問題と呼ぶ。
この手法をFed-SP-SCとFed-DP-CoTと呼び、洗練されたモデルチューニングを必要とせず、全てのユーザクエリに対してはるかに正確な回答を生成できる。
より広範な実験により,提案手法は質問の同義性や回答の一貫性を十分に探求することにより,質問精度を大幅に向上させることができることを示した。
関連論文リスト
- Chain-of-Discussion: A Multi-Model Framework for Complex Evidence-Based
Question Answering [62.14682452663157]
本稿では,オープンソースのLarge Language Model間の相乗効果を利用する新しいChain-of-Discussionフレームワークを提案する。
実験の結果,複数のLSM間の議論は回答の質を高める上で重要な役割を担っていることがわかった。
論文 参考訳(メタデータ) (2024-02-26T05:31:34Z) - Gotcha! Don't trick me with unanswerable questions! Self-aligning Large
Language Models for Responding to Unknown Questions [75.78536317322616]
自己調整法は,回答を拒否するだけでなく,未知の質問の解答不能を説明できる。
我々は, LLM自体を微調整し, 未知の質問に対する応答を所望の通りに調整するために, 偏差駆動による自己計算を行い, 有資格データを選択する。
論文 参考訳(メタデータ) (2024-02-23T02:24:36Z) - Enhancing Answer Selection in Community Question Answering with
Pre-trained and Large Language Models [0.9065034043031668]
まず,質問応答型クロスアテンションネットワーク(QAN)を提案する。
次に,大規模言語モデル(LLM)を用いて,知識拡張による回答選択を行う。
実験の結果、QANモデルが2つのデータセット、SemEval2015とSemEval 2017の最先端のパフォーマンスを示している。
論文 参考訳(メタデータ) (2023-11-29T10:24:50Z) - Improving Zero-shot Visual Question Answering via Large Language Models
with Reasoning Question Prompts [22.669502403623166]
本稿では,VQAタスクに対する推論質問プロンプトを提案する。
自己完結した質問は、教師なし質問セットモジュールを介して推論された質問プロンプトとして生成する。
各推論質問は、元の質問の意図を明確に示す。
そして、回答整合性として働く信頼度スコアに関連する候補回答をLSMに入力する。
論文 参考訳(メタデータ) (2023-11-15T15:40:46Z) - Multi-Tenant Optimization For Few-Shot Task-Oriented FAQ Retrieval [0.0]
タスク指向ダイアログシステムにおけるビジネス固有の頻繁な質問(FAQ)検索は、ユニークな課題を提起する。
クエリクエスト(q-Q)類似度と少数ショットインテント検出技術を用いて,このようなビジネスFAQの性能を評価する。
文中の最後の層を対照的に微調整することで,マルチテナントFAQアプリケーションを現実のコンテキストでスケールする手法を提案する。
論文 参考訳(メタデータ) (2023-01-25T10:55:45Z) - Momentum Contrastive Pre-training for Question Answering [54.57078061878619]
MCROSSはモーメントコントラスト学習フレームワークを導入し、クローゼのような解答確率と自然な問合せのサンプルペアを一致させる。
本手法は,教師付きシナリオとゼロショットシナリオの両方において,すべてのベースラインと比較して顕著な改善を実現している。
論文 参考訳(メタデータ) (2022-12-12T08:28:22Z) - Successive Prompting for Decomposing Complex Questions [50.00659445976735]
最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。
そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。
我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
論文 参考訳(メタデータ) (2022-12-08T06:03:38Z) - CREPE: Open-Domain Question Answering with False Presuppositions [92.20501870319765]
オンライン情報検索フォーラムからの予測失敗の自然な分布を含むQAデータセットであるCREPEを紹介する。
25%の質問が偽の前提命題を含み、これらの前提命題とその修正のための注釈を提供する。
既存のオープンドメインQAモデルの適応は適度に予測できるが、仮定が実際に正しいかどうかを予測するのに苦労する。
論文 参考訳(メタデータ) (2022-11-30T18:54:49Z) - Diverse Multi-Answer Retrieval with Determinantal Point Processes [11.925050407713597]
本稿では,BERTをカーネルとして利用する決定点プロセスを用いた再ランク付け手法を提案する。
その結果,本手法はAmbigQAデータセットの最先端手法よりも優れていた。
論文 参考訳(メタデータ) (2022-11-29T08:54:05Z) - A Mutual Information Maximization Approach for the Spurious Solution
Problem in Weakly Supervised Question Answering [60.768146126094955]
弱々しい教師付き質問応答は通常、最終的な答えのみを監督信号として持つ。
偶然に正解を導出する刺激的な解が多数存在するかもしれないが、そのような解の訓練はモデルの性能を損なう可能性がある。
本稿では,質問応答対と予測解間の相互情報の最大化により,このような意味的相関を明示的に活用することを提案する。
論文 参考訳(メタデータ) (2021-06-14T05:47:41Z) - Effective FAQ Retrieval and Question Matching With Unsupervised
Knowledge Injection [10.82418428209551]
質問に対して適切な回答を得るための文脈言語モデルを提案する。
また、ドメイン固有の単語間のトポロジ関連関係を教師なしの方法で活用することについても検討する。
提案手法のバリエーションを,公開可能な中国語FAQデータセット上で評価し,さらに大規模質問マッチングタスクに適用し,コンテキスト化する。
論文 参考訳(メタデータ) (2020-10-27T05:03:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。