Fugu-MT 論文翻訳(概要): Self-Convinced Prompting: Few-Shot Question Answering with Repeated Introspection

論文の概要: Self-Convinced Prompting: Few-Shot Question Answering with Repeated Introspection

arxiv url: http://arxiv.org/abs/2310.05035v2
Date: Tue, 10 Oct 2023 15:03:35 GMT
ステータス: 処理完了
システム内更新日: 2023-10-12 13:16:35.486828
Title: Self-Convinced Prompting: Few-Shot Question Answering with Repeated Introspection
Title（参考訳）: 自給自足プロンプト:反復イントロスペクションによる簡単な質問応答
Authors: Haodi Zhang and Min Cai and Xinhe Zhang and Chen Jason Zhang and Rui Mao and Kaishun Wu
Abstract要約: 本稿では,大規模事前学習型言語モデルの可能性を活用する新しいフレームワークを提案する。我々のフレームワークは、典型的な数発の連鎖プロンプトの出力を処理し、応答の正しさを評価し、回答を精査し、最終的には新しい解を生成する。
参考スコア（独自算出の注目度）: 13.608076739368949
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: While large language models (LLMs) such as ChatGPT and PaLM have demonstrated remarkable performance in various language understanding and generation tasks, their capabilities in complex reasoning and intricate knowledge utilization still fall short of human-level proficiency. Recent studies have established the effectiveness of prompts in steering LLMs towards generating desired outputs. Building on these insights, we introduce a novel framework that harnesses the potential of large-scale pre-trained language models, to iteratively enhance performance of the LLMs. Our framework incorporates three components: \textit{Normal CoT}, a \textit{Convincer}, and an \textit{Answerer}. It processes the output of a typical few-shot chain-of-thought prompt, assesses the correctness of the response, scrutinizes the answer, refines the reasoning, and ultimately produces a new solution. Experimental results on the 7 datasets of miscellaneous problems validate the efficacy of the Self-Convince framework, achieving substantial improvements compared to the baselines. This study contributes to the burgeoning body of research focused on integrating pre-trained language models with tailored prompts and iterative refinement processes to augment their performance in complex tasks.
Abstract（参考訳）: ChatGPTやPaLMのような大規模言語モデル(LLM)は、様々な言語理解や生成タスクにおいて顕著な性能を示してきたが、複雑な推論や複雑な知識利用能力は人間レベルの能力に欠けていた。近年の研究では, LLMの所望の出力生成に向けてのプロンプトの有効性が確立されている。これらの知見に基づいて,大規模事前学習言語モデルの可能性を活用し,llmの性能を反復的に向上させる新しい枠組みを提案する。フレームワークには、 \textit{Normal CoT}, a \textit{Convincer}, a \textit{Answerer}の3つのコンポーネントが組み込まれています。典型的なマイナショット・チェーン・オブ・思考プロンプトの出力を処理し、応答の正確性を評価し、回答を精査し、推論を洗練し、最終的に新しいソリューションを生み出す。各種諸問題データセットによる実験結果から, 自給自足フレームワークの有効性を検証し, ベースラインよりも大幅に改善した。本研究は,事前学習された言語モデルと調整されたプロンプトと反復的改良プロセスを統合することで,複雑なタスクにおける性能向上に寄与する。

関連論文リスト

ChallengeMe: An Adversarial Learning-enabled Text Summarization Framework [7.34943328546274]
本稿では,逆学習に基づくプロンプトフレームワークであるChallengeMeを構築した。これには、生成プロンプト、評価プロンプト、フィードバック最適化の3つのケースドソリューションが含まれている。テキスト要約タスクにおける混合ケーススタディの結果から,提案するフレームワークがより正確で流動的なテキスト要約を生成できることが示唆された。
論文参考訳（メタデータ） (2025-02-07T16:59:34Z)
Enhancing Answer Attribution for Faithful Text Generation with Large Language Models [5.065947993017158]
本稿では,より独立的で文脈的なクレームを生成できる新しい手法を提案する。新しい手法が評価され,回答帰属成分の性能が向上することが示されている。
論文参考訳（メタデータ） (2024-10-22T15:37:46Z)
Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
論文参考訳（メタデータ） (2024-06-04T12:43:23Z)
SEMQA: Semi-Extractive Multi-Source Question Answering [94.04430035121136]
本稿では,複数ソースを半抽出的に要約することで,複数の質問に答える新しいQAタスクを提案する。この種の最初のデータセットであるQuoteSumを作成し、自然および生成された質問に対する人間による半抽出的な回答を提示する。
論文参考訳（メタデータ） (2023-11-08T18:46:32Z)
Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文参考訳（メタデータ） (2023-10-09T07:27:15Z)
Investigating the Efficacy of Large Language Models in Reflective Assessment Methods through Chain of Thoughts Prompting [0.2552922646705803]
複雑な推論タスクにおけるLLMの習熟度を高める手段として、Chain of Thought(CoT)プロンプト法が提案されている。本研究の主な目的は、4つの言語モデルが3年制医学生の振り返りエッセイをいかに評価できるかを評価することである。
論文参考訳（メタデータ） (2023-09-30T06:25:27Z)
Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
論文参考訳（メタデータ） (2023-09-20T09:23:46Z)
Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文参考訳（メタデータ） (2023-09-07T01:35:24Z)
Improving Factuality and Reasoning in Language Models through Multiagent Debate [95.10641301155232]
複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
論文参考訳（メタデータ） (2023-05-23T17:55:11Z)
Post Hoc Explanations of Language Models Can Improve Language Models [43.2109029463221]
AMPLIFY(Post Hoc Explanations)を用いたインコンテキスト学習の活用によるモデル性能向上のための新しいフレームワークを提案する。我々は,各入力特徴がモデル予測に与える影響を抽出し,帰属スコア(説明)を出力するポストホック説明手法を活用する。 AMPLIFYは,幅広いタスクに対して約10～25%の精度向上を実現している。
論文参考訳（メタデータ） (2023-05-19T04:46:04Z)
Learning an Effective Context-Response Matching Model with Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文参考訳（メタデータ） (2020-09-14T08:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。