論文の概要: Meta Prompting for AGI Systems
- arxiv url: http://arxiv.org/abs/2311.11482v4
- Date: Thu, 1 Feb 2024 04:12:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 11:57:41.559242
- Title: Meta Prompting for AGI Systems
- Title(参考訳): AGIシステムのためのメタプロンプティング
- Authors: Yifan Zhang, Yang Yuan, Andrew Chi-Chih Yao
- Abstract要約: Meta Promptingは、大規模言語モデル(LLM)、マルチモーダル基盤モデル、問題解決とデータインタラクションにおけるAIシステムの利用を再構築する革新的な技術である。
本稿では,メタプロンプティング(MP)の形式的定義を探求し,Few-Shot Promptingとは分離し,さまざまなAIアプリケーションにおけるその有効性を明らかにする。
- 参考スコア(独自算出の注目度): 13.828541507367028
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a comprehensive study of Meta Prompting, an innovative
technique reshaping the utilization of large language models (LLMs),
multi-modal foundation models, and AI systems in problem-solving and data
interaction. Grounded in type theory and category theory, Meta Prompting
emphasizes the structure and syntax of information over traditional
content-centric methods. The paper explores the formal definitions of Meta
Prompting (MP), sets it apart from Few-Shot Prompting, and underlines its
effectiveness in various AI applications. A key focus is applying Meta
Prompting for complex reasoning (MP-CR) tasks, showing how it effectively
deconstructs intricate problems into simpler sub-problems, enhancing token
efficiency, and enabling more equitable problem-solving comparisons, especially
against few-shot prompting methods. Additionally, the paper introduces Meta
Prompting for prompting tasks, allowing LLMs to self-generate new prompts in a
recursive, metaprogramming-like manner. This approach marks a significant leap
in AI's autonomous and adaptive capabilities. The paper also introduces the
integration of Meta Prompting into multi-modal foundation model settings,
tackling the challenges and opportunities of incorporating varied data types
such as images, audio, and video within the structured Meta Prompting
framework. Empirical experiments, including solving the Game of 24 tasks with
100% success rate, demonstrate the MP-CR Agent's enhanced reasoning
capabilities, achieving high accuracy and efficiency, and showcasing Meta
Prompting's transformative impact on AI problem-solving. (The code is available
at https://github.com/meta-prompting/meta-prompting)
- Abstract(参考訳): 本稿では,大規模言語モデル (LLM) , マルチモーダル基盤モデル, 問題解決とデータインタラクションにおけるAIシステムの利用を再構築する革新的手法であるMeta Promptingについて包括的な研究を行う。
型理論とカテゴリ理論に基礎を置き、メタプロンピングは従来のコンテンツ中心の手法よりも情報の構造と構文を強調している。
本稿では,メタプロンプティング(MP)の形式的定義を探求し,Few-Shot Promptingとは分離し,さまざまなAIアプリケーションにおけるその有効性を明らかにする。
重要な焦点は、複雑な推論(MP-CR)タスクにMeta Promptingを適用することであり、複雑な問題をより単純なサブプロブレムに効果的に分解し、トークン効率を向上し、より公平な問題解決比較を可能にする。
さらに,LLMが再帰的,メタプログラミング的な方法で新たなプロンプトを自己生成できるメタプロンプトを提案する。
このアプローチは、AIの自律性と適応性において大きな飛躍となる。
本稿では,Meta Promptingのマルチモーダル基盤モデル設定への統合についても紹介し,構造化Meta Promptingフレームワークに画像,オーディオ,ビデオなどのさまざまなデータ型を組み込む上での課題と機会について述べる。
24タスクのゲームを100%成功率で解くことを含む実証実験では、mp-crエージェントの推論能力の強化、高い精度と効率の達成、メタプロンプトのai問題解決への変換的影響を示す。
(コードはhttps://github.com/meta-prompting/meta-promptingで利用可能)。
関連論文リスト
- Pangu-Agent: A Fine-Tunable Generalist Agent with Structured Reasoning [50.47568731994238]
人工知能(AI)エージェント作成の鍵となる方法は強化学習(RL)である
本稿では,構造化推論をAIエージェントのポリシーに統合し,学習するための一般的なフレームワークモデルを提案する。
論文 参考訳(メタデータ) (2023-12-22T17:57:57Z) - Token-Level Contrastive Learning with Modality-Aware Prompting for
Multimodal Intent Recognition [31.00387807558969]
マルチモーダルな意図認識の課題に対処するために,TCL-MAP(Modality-Aware prompting)を用いたトークンレベルのコントラスト学習手法を提案する。
提案したTCLは,モダリティを意識したプロンプトとグラウンドの真理ラベルに基づいて,拡張サンプルを構築し,NT-Xent損失をラベルトークンに用いた。
本手法は最先端の手法と比較して顕著な改善を実現している。
論文 参考訳(メタデータ) (2023-12-22T13:03:23Z) - On Meta-Prompting [18.949285430843695]
これらのアプローチをメタプロンプトと呼ぶか、あるいはプロンプトを得るよう促す。
本稿では,圏論に基づく理論的枠組みを提案し,それらを一般化し記述する。
論文 参考訳(メタデータ) (2023-12-11T17:46:44Z) - Prompt Space Optimizing Few-shot Reasoning Success with Large Language
Models [6.280118165021093]
プロンプトエンジニアリングにより、算術的推論、質問応答、要約、関係抽出、機械翻訳、感情分析などの様々なタスクにおいて、大きな言語モデル(LLM)が優れている。
現在のアプローチでは、最適なプロンプトを決定するための確かな理論基盤が欠如している。
提案手法では,テキスト埋め込みを用いて行列分解による基底ベクトルを取得し,すべてのプロンプトを表す空間を構築する。
論文 参考訳(メタデータ) (2023-06-06T15:43:16Z) - Effective Structured Prompting by Meta-Learning and Representative
Verbalizer [25.083373185324444]
効果的な構造化プロンプトのためのメタプロンプターを提案する。
本稿では,特徴埋め込みから直接ラベル埋め込みを構築する新しいソフトな動詞変換器(RepVerb)を提案する。
実験の結果,MetaPrompterは最近の最先端技術よりも優れた性能を示した。
論文 参考訳(メタデータ) (2023-06-01T12:44:33Z) - Frugal Prompting for Dialog Models [17.048111072193933]
本研究では,大規模言語モデル(LLM)を用いた対話システム構築のための異なるアプローチについて検討する。
即時チューニングの一環として、インストラクション、例題、現在のクエリ、追加のコンテキストを提供する様々な方法を試行する。
この研究は、最適な使用情報密度を持つダイアログ履歴の表現も分析する。
論文 参考訳(メタデータ) (2023-05-24T09:06:49Z) - MetaPrompting: Learning to Learn Better Prompts [52.914694884515534]
本稿では,メタプロンプトと呼ばれるソフトプロンプト手法を提案する。
大規模な実験は、MetaPromptingが4つの異なるデータセットに大きな改善をもたらすことを示している。
論文 参考訳(メタデータ) (2022-09-23T09:01:05Z) - Prompting Decision Transformer for Few-Shot Policy Generalization [98.0914217850999]
本稿では,オフラインRLにおける少数ショット適応を実現するために,Prompt-based Decision Transformer (Prompt-DT)を提案する。
Prompt-DTは、目に見えないターゲットタスクを微調整することなく、強力な数発の学習者である。
論文 参考訳(メタデータ) (2022-06-27T17:59:17Z) - RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。
RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。
少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
論文 参考訳(メタデータ) (2022-05-25T07:50:31Z) - OpenPrompt: An Open-source Framework for Prompt-learning [59.17869696803559]
PLM上でのプロンプト学習を行うための統一的な使いやすさツールキットであるOpenPromptを提案する。
OpenPromptは、効率性、モジュール性、拡張性を備えた、リサーチフレンドリーなフレームワークである。
論文 参考訳(メタデータ) (2021-11-03T03:31:14Z) - CINS: Comprehensive Instruction for Few-shot Learning in Task-oriented
Dialog Systems [56.302581679816775]
本稿では,タスク固有の命令でPLMを利用する包括的インストラクション(CINS)を提案する。
命令のスキーマ(定義、制約、プロンプト)と、ToDの3つの重要な下流タスクに対するカスタマイズされた実現を設計する。
これらのToDタスクに対して,小さな検証データを用いた現実的な数ショット学習シナリオで実験を行った。
論文 参考訳(メタデータ) (2021-09-10T03:23:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。