論文の概要: Metacognition-Enhanced Few-Shot Prompting With Positive Reinforcement

• arxiv url: http://arxiv.org/abs/2312.08642v2
• Date: Sun, 24 Dec 2023 12:48:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-27 20:57:26.252858
• Title: Metacognition-Enhanced Few-Shot Prompting With Positive Reinforcement
• Title（参考訳）: 正の強化をともなうメタ認知機能を有するフイショットプロンプト
• Authors: Yu Ji and Wen Wu and Yi Hu and Hong Zheng and Liang He
• Abstract要約: 本稿では, メタ認知に富む新規な数発プロンプトを提案し, 思考過程を反映する大規模言語モデルを提案する。 メタ認知を増強した数発のショットに肯定的な強化を導入し,大規模言語モデルの数発学習を促進する。
• 参考スコア（独自算出の注目度）: 17.120733859844076
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Few-shot prompting elicits the remarkable abilities of large language models by equipping them with a few demonstration examples in the input. However, the traditional method of providing large language models with all demonstration input-output pairs at once may not effectively guide large language models to learn the specific input-output mapping relationship. In this paper, inspired by the regulatory and supportive role of metacognition in students' learning, we propose a novel metacognition-enhanced few-shot prompting, which guides large language models to reflect on their thought processes to comprehensively learn the given demonstration examples. Furthermore, considering that positive reinforcement can improve students' learning motivation, we introduce positive reinforcement into our metacognition-enhanced few-shot prompting to promote the few-shot learning of large language models by providing response-based positive feedback. The experimental results on two real-world datasets show that our metacognition-enhanced few-shot prompting with positive reinforcement surpasses traditional few-shot prompting in classification accuracy and macro F1.
• Abstract（参考訳）: 少数ショットプロンプトは、入力にいくつかのデモ例を組み込むことで、大きな言語モデルの驚くべき能力を引き出す。 しかし、実演されたすべての入出力ペアを一度に持つ大規模な言語モデルを提供する従来の方法は、特定の入出力マッピング関係を学ぶために、大きな言語モデルを効果的に導くことはできない。 本稿では,学生の学習におけるメタ認知の規制的かつ支援的な役割に着想を得て,大規模言語モデルに思考過程を反映させ,与えられた実演例を包括的に学習させる,メタ認知に富んだ新規なショットプロンプトを提案する。 さらに,学生の学習モチベーションを向上させることを考えると,反応に基づく肯定的なフィードバックを提供することで,大規模言語モデルの数発学習を促進するメタ認知の強化が促進される。 実世界の2つのデータセットによる実験結果から,メタ認知によって増強された数ショットは,分類精度とマクロF1において従来の数ショットを超えることが判明した。

関連論文リスト

• Assertion Enhanced Few-Shot Learning: Instructive Technique for Large Language Models to Generate Educational Explanations [0.0]
  人間の教育者は、生徒から教育的な説明を求め、予測する本質的な能力を持っている。 我々は,大規模言語モデルの少数ショット学習機能を用いて,インテリジェント・チューリング・システムを構築することを目的としている。
  論文  参考訳（メタデータ） (2023-12-05T20:41:34Z)
• Distilling Large Vision-Language Model with Out-of-Distribution Generalizability [43.984177729641615]
  本稿では,大規模教師の視覚言語モデルから軽量学生モデルへの視覚表現の蒸留について検討する。 本稿では,いくつかの指標を提案し,その手法を検証するための広範囲な実験を行う。 その結果,オープン・ボキャブラリ・アウト・オブ・ディストリビューションの分類において,ゼロショットと少数ショットの学生のパフォーマンスが著しく向上した。
  論文  参考訳（メタデータ） (2023-07-06T17:05:26Z)
• BatGPT: A Bidirectional Autoregessive Talker from Generative Pre-trained Transformer [77.28871523946418]
  BatGPTは武漢大学と上海江東大学が共同で設計・訓練した大規模言語モデルである。 テキストプロンプト、画像、オーディオなど、さまざまなタイプの入力に応答して、非常に自然で、流動的なテキストを生成することができる。
  論文  参考訳（メタデータ） (2023-07-01T15:10:01Z)
• Using Large Language Models to Provide Explanatory Feedback to Human Tutors [3.2507682694499582]
  オンライン授業において,教師にリアルタイムフィードバックを提供するための2つのアプローチを提案する。 このワーク・イン・プログレス(英語版)は、効果的な、あるいは努力に基づく修正フィードバックのためのバイナリ分類においてかなりの精度を示す。 より具体的には、大言語モデルに精通した名前付きエンティティ認識を用いた説明的フィードバックを提供するための拡張されたアプローチについて紹介する。
  論文  参考訳（メタデータ） (2023-06-27T14:19:12Z)
• Improving Factuality and Reasoning in Language Models through Multiagent Debate [95.10641301155232]
  複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。 以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。 我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
  論文  参考訳（メタデータ） (2023-05-23T17:55:11Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
  まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。 マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。 実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:48:06Z)
• Injecting Text and Cross-lingual Supervision in Few-shot Learning from Self-Supervised Models [33.66135770490531]
  新しい言語への自己教師付き表現の伝達を改善するために,音声集合音響モデルが言語間監督を活用する方法を示す。 また、格子フリーの最大相互情報目標を用いた微調整を実現するために、ターゲット言語テキストをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2021-10-10T17:33:44Z)
• Self-training with Few-shot Rationalization: Teacher Explanations Aid Student in Few-shot NLU [88.8401599172922]
  タスク固有のラベルと合理的性に制限された自己学習言語モデルに基づくフレームワークを開発する。 ニューラルネットワークの性能は,その合理的な予測を意識することで,大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2021-09-17T00:36:46Z)
• Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm [0.0]
  自然言語のレンズを通してプロンプトを考えることの有用性を強調しながら,プロンプトプログラミングの手法について論じる。 モデルに種を付けて、さまざまなタスクのための独自の自然言語プロンプトを生成するメタプロンプトのアイデアを紹介します。
  論文  参考訳（メタデータ） (2021-02-15T05:27:55Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。