論文の概要: Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting

• arxiv url: http://arxiv.org/abs/2302.04813v3
• Date: Wed, 18 Oct 2023 14:42:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-19 21:04:09.474411
• Title: Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting
• Title（参考訳）: 非ラベルデータを用いたチェーン・オブ・サート・プロンプティングのための説明選択
• Authors: Xi Ye and Greg Durrett
• Abstract要約: 非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
• 参考スコア（独自算出の注目度）: 80.9896041501715
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has shown how to prompt large language models with explanations to obtain strong performance on textual reasoning tasks, i.e., the chain-of-thought paradigm. However, subtly different explanations can yield widely varying downstream task accuracy. Explanations that have not been "tuned" for a task, such as off-the-shelf explanations written by nonexperts, may lead to mediocre performance. This paper tackles the problem of how to optimize explanation-infused prompts in a blackbox fashion. We first generate sets of candidate explanations for each example in the prompt using a leave-one-out scheme, then find an effective combination of these explanations with a two-stage framework. We first evaluate explanations for each in-context example in isolation according to two proxy metrics, log likelihood and accuracy on new examples. Then, we search over combinations of explanations to find one that yields high performance against a silver-labeled development set. Across four textual reasoning tasks spanning question answering, mathematical reasoning, and natural language inference, results show that our proxy metrics correlate with ground truth accuracy and our overall method can effectively improve prompts over crowdworker annotations and naive search strategies
• Abstract（参考訳）: 最近の研究は、テキスト推論タスク、すなわちチェーン・オブ・シント・パラダイムの強力なパフォーマンスを得るために、説明付きで大規模な言語モデルを促す方法を示している。 しかし、微妙に異なる説明は下流のタスクの精度を大きく変化させる可能性がある。 非専門家による本棚外の説明など、タスクの"調整"されていない説明は、中途半端なパフォーマンスにつながる可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に取り組む。 まず,各事例の候補説明のセットを,各事例の候補説明のセットにまとめて,その有効組み合わせを2段階のフレームワークで確認する。 まず,2つのプロキシ指標,ログの妥当性と新しい例の精度に基づいて,コンテキスト内の各例に対する説明を分離して評価する。 次に,説明の組み合わせを検索して,シルバーラベルの開発セットに対して高いパフォーマンスをもたらすものを探す。 質問応答,数学的推論,自然言語推論にまたがる4つのテキスト推論タスクにおいて,我々のプロキシ指標が真実の正確さと相関し,我々の全体的な手法は,クラウドワーカーアノテーションやナイーブ検索戦略よりも効果的に促進できることを示す。

関連論文リスト

• XPrompt:Explaining Large Language Model's Generation via Joint Prompt Attribution [26.639271355209104]
  LLM(Large Language Models)は複雑なテキスト生成タスクにおいて顕著なパフォーマンスを示す。 生成したコンテンツに対する入力プロンプトの寄与は、まだ人間には明らかでない。 本稿では,共同プロンプト帰属型XPromptに基づく実例説明フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-30T18:16:41Z)
• Parallel Sentence-Level Explanation Generation for Real-World Low-Resource Scenarios [18.5713713816771]
  本論文は,弱教師付き学習から教師なし学習へ,問題を円滑に探求する最初の試みである。 並列説明生成と同時予測を容易にする非自己回帰解釈モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-21T14:52:21Z)
• Complementary Explanations for Effective In-Context Learning [77.83124315634386]
  大規模言語モデル (LLM) は、説明のインプロンプトから学習する際、顕著な能力を示した。 この研究は、文脈内学習に説明が使用されるメカニズムをよりよく理解することを目的としている。
  論文  参考訳（メタデータ） (2022-11-25T04:40:47Z)
• The Unreliability of Explanations in Few-Shot In-Context Learning [50.77996380021221]
  我々は、テキスト上の推論、すなわち質問応答と自然言語推論を含む2つのNLPタスクに焦点を当てる。 入力と論理的に整合した説明は、通常より正確な予測を示す。 本稿では,説明の信頼性に基づいてモデル予測を校正する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-05-06T17:57:58Z)
• Prompting Contrastive Explanations for Commonsense Reasoning Tasks [74.7346558082693]
  大規模事前学習言語モデル(PLM)は、常識推論タスクにおいて、ほぼ人間に近い性能を達成することができる。 人間の解釈可能な証拠を生成するために、同じモデルを使う方法を示す。
  論文  参考訳（メタデータ） (2021-06-12T17:06:13Z)
• Search Methods for Sufficient, Socially-Aligned Feature Importance Explanations with In-Distribution Counterfactuals [72.00815192668193]
  特徴重要度(FI)推定は一般的な説明形式であり、テスト時に特定の入力特徴を除去することによって生じるモデル信頼度の変化を計算し、評価することが一般的である。 FIに基づく説明の未探索次元についていくつかの考察を行い、この説明形式に対する概念的および実証的な改善を提供する。
  論文  参考訳（メタデータ） (2021-06-01T20:36:48Z)
• Contrastive Explanations for Model Interpretability [77.92370750072831]
  分類モデルの対照的説明を生成する手法を提案する。 本手法は潜在空間へのモデル表現の投影に基づいている。 本研究は,モデル決定のより正確できめ細かな解釈性を提供するためのラベルコントラスト的説明の能力に光を当てた。
  論文  参考訳（メタデータ） (2021-03-02T00:36:45Z)
• Explaining Inference Queries with Bayesian Optimization [16.448164301763168]
  推論クエリ説明は、予想外の集約クエリ結果を推論データで説明しようとする。 MLパイプラインのソース、トレーニング、推論データから説明を得る必要がある。 ベイズ最適化(BO)を用いた推論クエリ記述のための新しいフレームワークであるBOExplainを提案する。
  論文  参考訳（メタデータ） (2021-02-10T08:08:32Z)
• ExplanationLP: Abductive Reasoning for Explainable Science Question Answering [4.726777092009554]
  本稿では,帰納的推論問題としての質問応答について考察する。 それぞれの選択に対して妥当な説明を構築し、最終回答として最適な説明で候補を選択する。 提案システムであるExplainationLPは,各候補の回答に対して,関連事実の重み付きグラフを構築して説明を行う。
  論文  参考訳（メタデータ） (2020-10-25T14:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。