Fugu-MT 論文翻訳(概要): Question-Analysis Prompting Improves LLM Performance in Reasoning Tasks

論文の概要: Question-Analysis Prompting Improves LLM Performance in Reasoning Tasks

arxiv url: http://arxiv.org/abs/2407.03624v2
Date: Mon, 26 Aug 2024 08:09:39 GMT
ステータス: 処理完了
システム内更新日: 2024-08-27 22:57:33.300904
Title: Question-Analysis Prompting Improves LLM Performance in Reasoning Tasks
Title（参考訳）: 推論タスクにおけるLLM性能向上のための質問分析プロンプト
Authors: Dharunish Yugeswardeenoo, Kevin Zhu, Sean O'Brien,
Abstract要約: 質問分析プロンプティング(QAP)と呼ばれる新しいプロンプト戦略を提案する。算術データセット GSM8K, AQuA, SAT および常識データセット StrategyQA を用いて, GPT 3.5 Turbo と GPT 4 Turbo でQAPを評価した。 QAPはテストの75%で常にトップ2のプロンプトにランクインしている。
参考スコア（独自算出の注目度）: 3.741953084205603
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Although LLMs have the potential to transform many fields, they still underperform humans in reasoning tasks. Existing methods induce the model to produce step-by-step calculations, but this research explores the question: Does making the LLM analyze the question improve its performance? We propose a novel prompting strategy called Question Analysis Prompting (QAP), in which the model is prompted to explain the question in $n$ words before solving. The value of $n$ influences the length of response generated by the model. QAP is evaluated on GPT 3.5 Turbo and GPT 4 Turbo on arithmetic datasets GSM8K, AQuA, and SAT and commonsense dataset StrategyQA. QAP is compared with other state-of-the-art prompts including Chain-of-Thought (CoT), Plan and Solve Prompting (PS+) and Take A Deep Breath (TADB). QAP outperforms all state-of-the-art prompts on AQuA and SAT datasets on both GPT3.5 and GPT4. QAP consistently ranks among the top-2 prompts on 75\% of the tests. A key factor of QAP performance can be attributed to response length, where detailed responses are beneficial when answering harder questions, but can negatively affect easy questions.
Abstract（参考訳）: LLMは、多くの分野を変換する可能性があるが、それでも推論タスクにおいて人間を過小評価している。既存の手法は、ステップバイステップの計算をモデルに誘導するが、本研究では、問題を探究する。本稿では,QAP(Qarguage Analysis Prompting)と呼ばれる新しいプロンプト戦略を提案する。 n$の値は、モデルによって生成されたレスポンスの長さに影響を与える。算術データセット GSM8K, AQuA, SAT および常識データセット StrategyQA を用いて, GPT 3.5 Turbo と GPT 4 Turbo でQAPを評価した。 QAPは、Chain-of-Thought(CoT)、Plan and Solve Prompting(PS+)、Take A Deep Breath(TADB)といった最先端のプロンプトと比較される。 QAPは、GPT3.5とGPT4の両方でAQuAとSATのデータセットの最先端のプロンプトをすべて上回っている。 QAPは、テストの75%で、常にトップ2のプロンプトにランクインしている。 QAPのパフォーマンスの重要な要因は応答長であり、より難しい質問に答えるときに詳細な応答が有用であるが、簡単な質問に悪影響を及ぼす可能性がある。

関連論文リスト

AHP-Powered LLM Reasoning for Multi-Criteria Evaluation of Open-Ended Responses [26.850344968677582]
本研究では,大規模言語モデルを用いたオープンエンド質問に対する回答評価手法を提案する。また,ChatGPT-3.5-turbo と GPT-4 の2つのデータセットについて実験を行った。以上の結果から,本研究のアプローチは4つの基準線よりも人間の判断と密接に一致していることが示唆された。
論文参考訳（メタデータ） (2024-10-02T05:22:07Z)
PEDANTS: Cheap but Effective and Interpretable Answer Equivalence [10.367359022491181]
我々は,Triviaコミュニティで採用されているマシンQAを評価するために,ルーリックとデータセットを提供する。また、正確なマッチングとニューラルメソッド(BERTScore)よりも安定な、効率的で解釈可能なQA評価を提案する。
論文参考訳（メタデータ） (2024-02-17T01:56:19Z)
Can We Verify Step by Step for Incorrect Answer Detection? [22.984011562264147]
我々は,様々な推論タスクにおける推論連鎖と性能の関係を検討するために,R2PEというベンチマークを導入する。本ベンチマークは,LLMの最終出力の誤りを推論ステップに基づいて測定することを目的としている。本稿では,回答チェックベースラインを大きなマージンで上回るPDS(Process Discernibility score)フレームワークを提案する。
論文参考訳（メタデータ） (2024-02-16T09:29:50Z)
DCR: Divide-and-Conquer Reasoning for Multi-choice Question Answering with LLMs [9.561022942046279]
大規模言語モデル(LLM)の推論能力を高めるため,DCR(Divide and Conquer Reasoning)を提案する。まず、信頼性スコア(mathcalCS$)に基づいて質問を2つのサブセットに分類する。特に,質問を信頼性スコア(mathcalCS$)に基づいて2つのサブセットに分類する。
論文参考訳（メタデータ） (2024-01-10T14:38:46Z)
Improving Zero-shot Visual Question Answering via Large Language Models with Reasoning Question Prompts [22.669502403623166]
本稿では,VQAタスクに対する推論質問プロンプトを提案する。自己完結した質問は、教師なし質問セットモジュールを介して推論された質問プロンプトとして生成する。各推論質問は、元の質問の意図を明確に示す。そして、回答整合性として働く信頼度スコアに関連する候補回答をLSMに入力する。
論文参考訳（メタデータ） (2023-11-15T15:40:46Z)
MinPrompt: Graph-based Minimal Prompt Data Augmentation for Few-shot Question Answering [64.6741991162092]
オープンドメイン質問応答のための最小限のデータ拡張フレームワークMinPromptを提案する。我々は、生テキストをグラフ構造に変換し、異なる事実文間の接続を構築する。次に、グラフアルゴリズムを適用して、原文のほとんどの情報をカバーするのに必要な最小限の文の集合を識別する。同定された文サブセットに基づいてQAペアを生成し、選択した文に基づいてモデルをトレーニングし、最終モデルを得る。
論文参考訳（メタデータ） (2023-10-08T04:44:36Z)
Generate then Select: Open-ended Visual Question Answering Guided by World Knowledge [155.81786738036578]
Open-ended Visual Question Answering (VQA)タスクでは、視覚と自然言語の入力をAIモデルが共同で推論する必要がある。 GPT-3のような事前訓練された言語モデル(PLM)がこのタスクに適用され、強力な世界知識源であることが示されている。我々は,世界的知識によって導かれるジェネレータ選択戦略をデプロイする新しいVQAパイプラインであるRASOを提案する。
論文参考訳（メタデータ） (2023-05-30T08:34:13Z)
An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
論文参考訳（メタデータ） (2023-05-26T14:59:53Z)
RoMQA: A Benchmark for Robust, Multi-evidence, Multi-answer Question Answering [87.18962441714976]
堅牢でマルチエビデンスな質問応答(QA)のための最初のベンチマークであるRoMQAを紹介します。我々は、最先端の大規模言語モデルをゼロショット、少数ショット、微調整設定で評価し、RoMQAが難しいことを発見した。以上の結果から,RoMQAは大規模言語モデルにとって難しいベンチマークであり,より堅牢なQA手法を構築するための定量的なテストを提供する。
論文参考訳（メタデータ） (2022-10-25T21:39:36Z)
PACIFIC: Towards Proactive Conversational Question Answering over Tabular and Textual Data in Finance [96.06505049126345]
我々はPACIFICという新しいデータセットを提案する。既存のCQAデータセットと比較すると、PACIFICは(i)活動性、(ii)数値推論、(iii)表とテキストのハイブリッドコンテキストの3つの重要な特徴を示す。質問生成とCQAを組み合わせたPCQA(Proactive Conversational Question Answering)に基づいて,新しいタスクを定義する。 UniPCQAはPCQAのすべてのサブタスク上でマルチタスク学習を行い、Seeq2Seqの上位$kのサンプルをクロスバリデーションすることで、マルチタスク学習におけるエラー伝搬問題を緩和するための単純なアンサンブル戦略を取り入れている。
論文参考訳（メタデータ） (2022-10-17T08:06:56Z)
Did Aristotle Use a Laptop? A Question Answering Benchmark with Implicit Reasoning Strategies [78.68534915690404]
StrategyQAは、必要な推論ステップが問題に暗黙的であり、戦略を使用して推論されるべきベンチマークです。用語に基づくプライミングを組み合わせ、アノテーションーを刺激し、アノテーションーの集団を慎重に制御し、推論ショートカットを排除するための逆フィルタリングを行うデータ収集手順を提案する。総合的に、StrategyQAには2,780の例があり、それぞれが戦略問題、その分解、証拠パラグラフで構成されている。
論文参考訳（メタデータ） (2021-01-06T19:14:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。