論文の概要: Federated Prompting and Chain-of-Thought Reasoning for Improving LLMs Answering

• arxiv url: http://arxiv.org/abs/2304.13911v2
• Date: Fri, 30 Jun 2023 13:21:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-03 15:12:23.711184
• Title: Federated Prompting and Chain-of-Thought Reasoning for Improving LLMs Answering
• Title（参考訳）: LLM応答改善のためのフェデレーションプロンプティングとチェーン・オブ・サート推論
• Authors: Xiangyang Liu, Tianqi Pang, Chenyou Fan
• Abstract要約: クラウドベースLarge Language Models (LLMs) を用いた分散ユーザによる質問に対する回答精度の向上について検討する。 本研究は,同じ数学的推論ステップと問題解決手順を含む類似のクエリをユーザが質問する典型的な状況に焦点を当てる。 本稿では,自己整合性(SC)とCoT(Chain-of-Thought)技術を用いて,分散同義語質問を改善することを提案する。
• 参考スコア（独自算出の注目度）: 13.735277588793997
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate how to enhance answer precision in frequently asked questions posed by distributed users using cloud-based Large Language Models (LLMs). Our study focuses on a typical situations where users ask similar queries that involve identical mathematical reasoning steps and problem-solving procedures. Due to the unsatisfactory accuracy of LLMs' zero-shot prompting with standalone questions, we propose to improve the distributed synonymous questions using Self-Consistency (SC) and Chain-of-Thought (CoT) techniques. Specifically, we first retrieve synonymous questions from a crowd-sourced database and create a federated question pool. We call these federated synonymous questions with the same or different parameters SP-questions or DP-questions, respectively. We refer to our methods as Fed-SP-SC and Fed-DP-CoT, which can generate significantly more accurate answers for all user queries without requiring sophisticated model-tuning. Through extensive experiments, we demonstrate that our proposed methods can significantly enhance question accuracy by fully exploring the synonymous nature of the questions and the consistency of the answers.
• Abstract（参考訳）: クラウドベースLarge Language Models (LLMs) を用いた分散ユーザによる質問に対する回答精度の向上について検討した。 本研究は,同じ数学的推論ステップと問題解決手順を含む類似クエリをユーザが質問する典型的な状況に焦点を当てる。 LLMのゼロショットに対する不満足な精度のため,自己整合性(SC)とCoT(Chain-of-Thought)技術を用いて,分散同義語問題を改善することを提案する。 具体的には,まずクラウドソースデータベースから同義語質問を抽出し,連合質問プールを作成する。 これらを同一または異なるパラメータsp-questionまたはdp-questionの連合同義語問題と呼ぶ。 この手法をFed-SP-SCとFed-DP-CoTと呼び、洗練されたモデルチューニングを必要とせず、全てのユーザクエリに対してはるかに正確な回答を生成できる。 より広範な実験により,提案手法は質問の同義性や回答の一貫性を十分に探求することにより,質問精度を大幅に向上させることができることを示した。

関連論文リスト

• Multi-LLM QA with Embodied Exploration [55.581423861790945]
  未知環境における質問応答におけるマルチエンボディードLEMエクスプローラ(MELE)の利用について検討する。 複数のLSMベースのエージェントが独立して家庭用環境に関する質問を探索し、回答する。 各問合せに対して1つの最終回答を生成するために,異なるアグリゲーション手法を解析する。
  論文  参考訳（メタデータ） (2024-06-16T12:46:40Z)
• S-EQA: Tackling Situational Queries in Embodied Question Answering [48.43453390717167]
  本研究では,家庭環境における状況問合せ(S-EQA)による身体的質問回答の課題を提示し,解決する。 まず, LLMの出力を包み込み, ユニークなコンセンサス・クエリと対応するコンセンサス・オブジェクトのデータセットを作成する, プロンプト・ジェネレート・評価手法を提案する。 本稿では,VQA(Visual Question Answering)において生成したオブジェクトコンセンサスからフレーム化されたクエリを用いて,状況に応じた質問に対して直接回答する際の精度を15.31%改善したことを報告した。
  論文  参考訳（メタデータ） (2024-05-08T00:45:20Z)
• CLARINET: Augmenting Language Models to Ask Clarification Questions for Retrieval [52.134133938779776]
  CLARINETは,回答が正しい候補の確実性を最大化する質問を選択することで,情報的明確化を問うシステムである。 提案手法は,大規模言語モデル(LLM)を検索分布の条件付きで拡張し,各ターンで真の候補のランクを最大化する問題を生成する。
  論文  参考訳（メタデータ） (2024-04-28T18:21:31Z)
• Chain-of-Discussion: A Multi-Model Framework for Complex Evidence-Based Question Answering [55.295699268654545]
  本稿では,オープンソースのLarge Language Model間の相乗効果を利用する新しいChain-ofDiscussionフレームワークを提案する。 実験の結果,複数のLSM間の議論は回答の質を高める上で重要な役割を担っていることがわかった。
  論文  参考訳（メタデータ） (2024-02-26T05:31:34Z)
• Enhancing Answer Selection in Community Question Answering with Pre-trained and Large Language Models [0.9065034043031668]
  まず,質問応答型クロスアテンションネットワーク(QAN)を提案する。 次に,大規模言語モデル(LLM)を用いて,知識拡張による回答選択を行う。 実験の結果、QANモデルが2つのデータセット、SemEval2015とSemEval 2017の最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-11-29T10:24:50Z)
• Improving Zero-shot Visual Question Answering via Large Language Models with Reasoning Question Prompts [22.669502403623166]
  本稿では,VQAタスクに対する推論質問プロンプトを提案する。 自己完結した質問は、教師なし質問セットモジュールを介して推論された質問プロンプトとして生成する。 各推論質問は、元の質問の意図を明確に示す。 そして、回答整合性として働く信頼度スコアに関連する候補回答をLSMに入力する。
  論文  参考訳（メタデータ） (2023-11-15T15:40:46Z)
• Multi-Tenant Optimization For Few-Shot Task-Oriented FAQ Retrieval [0.0]
  タスク指向ダイアログシステムにおけるビジネス固有の頻繁な質問(FAQ)検索は、ユニークな課題を提起する。 クエリクエスト(q-Q)類似度と少数ショットインテント検出技術を用いて,このようなビジネスFAQの性能を評価する。 文中の最後の層を対照的に微調整することで,マルチテナントFAQアプリケーションを現実のコンテキストでスケールする手法を提案する。
  論文  参考訳（メタデータ） (2023-01-25T10:55:45Z)
• CREPE: Open-Domain Question Answering with False Presuppositions [92.20501870319765]
  オンライン情報検索フォーラムからの予測失敗の自然な分布を含むQAデータセットであるCREPEを紹介する。 25%の質問が偽の前提命題を含み、これらの前提命題とその修正のための注釈を提供する。 既存のオープンドメインQAモデルの適応は適度に予測できるが、仮定が実際に正しいかどうかを予測するのに苦労する。
  論文  参考訳（メタデータ） (2022-11-30T18:54:49Z)
• Diverse Multi-Answer Retrieval with Determinantal Point Processes [11.925050407713597]
  本稿では,BERTをカーネルとして利用する決定点プロセスを用いた再ランク付け手法を提案する。 その結果,本手法はAmbigQAデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-11-29T08:54:05Z)
• A Mutual Information Maximization Approach for the Spurious Solution Problem in Weakly Supervised Question Answering [60.768146126094955]
  弱々しい教師付き質問応答は通常、最終的な答えのみを監督信号として持つ。 偶然に正解を導出する刺激的な解が多数存在するかもしれないが、そのような解の訓練はモデルの性能を損なう可能性がある。 本稿では,質問応答対と予測解間の相互情報の最大化により,このような意味的相関を明示的に活用することを提案する。
  論文  参考訳（メタデータ） (2021-06-14T05:47:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。