論文の概要: Towards Generalist Prompting for Large Language Models by Mental Models
- arxiv url: http://arxiv.org/abs/2402.18252v1
- Date: Wed, 28 Feb 2024 11:29:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 15:14:49.240299
- Title: Towards Generalist Prompting for Large Language Models by Mental Models
- Title(参考訳): メンタルモデルによる大規模言語モデルのための汎用的プロンプトに向けて
- Authors: Haoxiang Guan, Jiyan He, Shuxin Zheng, En-Hong Chen, Weiming Zhang,
Nenghai Yu
- Abstract要約: 大規模言語モデル(LLM)は多くのタスクにおいて素晴らしいパフォーマンスを示している。
最適な性能を達成するには、特別に設計されたプロンプト法が必要である。
本稿では,最適あるいは準最適性能を実現する設計原理に基づくジェネラリストプロンプトの概念を紹介する。
- 参考スコア(独自算出の注目度): 105.03747314550591
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) have demonstrated impressive performance on many
tasks. However, to achieve optimal performance, specially designed prompting
methods are still needed. These methods either rely on task-specific few-shot
examples that require a certain level of domain knowledge, or are designed to
be simple but only perform well on a few types of tasks. In this work, we
attempt to introduce the concept of generalist prompting, which operates on the
design principle of achieving optimal or near-optimal performance on a wide
range of tasks while eliminating the need for manual selection and
customization of prompts tailored to specific problems. Furthermore, we propose
MeMo (Mental Models), an innovative prompting method that is simple-designed
yet effectively fulfills the criteria of generalist prompting. MeMo distills
the cores of various prompting methods into individual mental models and allows
LLMs to autonomously select the most suitable mental models for the problem,
achieving or being near to the state-of-the-art results on diverse tasks such
as STEM, logical reasoning, and commonsense reasoning in zero-shot settings. We
hope that the insights presented herein will stimulate further exploration of
generalist prompting methods for LLMs.
- Abstract(参考訳): 大規模言語モデル(llm)は多くのタスクで印象的なパフォーマンスを示している。
しかし、最適性能を達成するためには、特別に設計されたプロンプト手法が必要である。
これらのメソッドは、特定のレベルのドメイン知識を必要とするタスク固有の少数ショットの例に依存するか、単純だが数種類のタスクでのみうまく機能するように設計されている。
本研究では,多岐にわたるタスクにおいて最適あるいは準最適性能を達成し,特定の問題に適したプロンプトを手動で選択・カスタマイズする必要をなくすという設計原理を基礎として,ジェネラリストプロンプトの概念の導入を試みる。
さらに,よりシンプルに設計されながら,ジェネラリストのプロンプトの基準を効果的に満たす革新的プロンプト手法であるMeMo(Mental Models)を提案する。
MeMoは、様々なプロンプト手法のコアを個別のメンタルモデルに蒸留し、LSMは、ゼロショット設定におけるSTEM、論理的推論、コモンセンス推論といった様々なタスクにおいて、最先端の成果を達成または近い方法で、問題の最も適切なメンタルモデルを選択することができる。
ここで提示した知見は, LLM の一般化的促進手法のさらなる探求を後押しするものと期待する。
関連論文リスト
- Meta-Task Prompting Elicits Embedding from Large Language Models [57.50329659098592]
本稿では,新しい教師なし埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを提案する。
モデル微調整やタスク固有のエンジニアリングを必要とせずに、大規模言語モデルから高品質な文の埋め込みを生成する。
実験により, 各種メタタスクから平均化された埋め込みは, セマンティックテキスト類似度ベンチマーク上での競合性能を示すことを示した。
本研究は, 埋込抽出のための多用途, 資源効率のよい手法を提供する, 埋込生成のための新しいスケーリング法則を示唆する。
論文 参考訳(メタデータ) (2024-02-28T16:35:52Z) - Towards Unified Task Embeddings Across Multiple Models: Bridging the Gap
for Prompt-Based Large Language Models and Beyond [18.476364176960868]
既存のタスク埋め込みメソッドは、微調整されたタスク固有の言語モデルに依存している。
本稿では,様々なモデルからタスク埋め込みを調和させる統合タスク埋め込み(FUTE)フレームワークを提案する。
論文 参考訳(メタデータ) (2024-02-22T13:13:31Z) - Enhancing Robotic Manipulation with AI Feedback from Multimodal Large
Language Models [41.38520841504846]
大規模言語モデル(LLM)は、画像入力から意思決定のガイドまで、自動的な好みフィードバックを提供する。
本研究では,ロボット操作作業における軌跡映像の理解が可能なマルチモーダルLLMであるCriticGPTを訓練する。
アルゴリズムの選好精度を実験的に評価すると、新しいタスクに対する効果的な一般化能力が示される。
Meta-Worldタスクのパフォーマンスは、CriticGPTの報酬モデルが、最先端の事前訓練された表現モデルに基づいて報酬を越え、ポリシー学習を効率的に導くことを示している。
論文 参考訳(メタデータ) (2024-02-22T03:14:03Z) - Mixture of Cluster-conditional LoRA Experts for Vision-language
Instruction Tuning [71.53493981808238]
クラスター条件のLoRAエキスパート(MoCLE)の混合
MoCLEはタスクカスタマイズモデルパラメータを活性化するために設計された新しいMixture of Expertsアーキテクチャである。
新規な命令に対するMoCLEの一般化能力を改善するために、別個のユニバーサルエキスパートがさらに組み込まれている。
論文 参考訳(メタデータ) (2023-12-19T18:11:19Z) - Large Language Model for Multi-objective Evolutionary Optimization [27.769955500670108]
本研究は,MOEA演算子の設計に強力な大規模言語モデル(LLM)を活用する新しいアプローチについて検討する。
適切なプロンプトエンジニアリングにより、ゼロショット方式で分解ベースのMOEA(MOEA/D)のためのブラックボックス探索演算子として、汎用LLMを機能させることに成功した。
さらに, LLMの挙動から学習することで, ランダムな明示的なホワイトボックス演算子を設計し, MOEA/D-LOと呼ばれる分解型MOEAの新バージョンを提案する。
論文 参考訳(メタデータ) (2023-10-19T07:46:54Z) - Towards Robust Multi-Modal Reasoning via Model Selection [8.37038849337004]
LLMはエージェントの"脳"として機能し、協調的な多段階タスク解決のための複数のツールを編成する。
我々はテスト時に無視できるランタイムオーバーヘッドを持つプラグインとして、$textitM3$フレームワークを提案する。
実験の結果,我々のフレームワークは,ユーザ入力とサブタスク依存の両方を考慮した動的モデル選択を可能にすることがわかった。
論文 参考訳(メタデータ) (2023-10-12T16:06:18Z) - Active Prompting with Chain-of-Thought for Large Language Models [16.9127713032405]
本稿では,大規模言語モデルを異なるタスクに適応させる新しい手法であるActive-Promptを提案する。
不確実性に基づくアクティブラーニングの関連問題からアイデアを借用することにより、不確実性を特徴づける指標をいくつか導入する。
実験により,提案手法の優位性を実証し,8つの複雑な推論タスクの最先端化を図った。
論文 参考訳(メタデータ) (2023-02-23T18:58:59Z) - OFASys: A Multi-Modal Multi-Task Learning System for Building Generalist
Models [72.8156832931841]
ジェネリストモデルは、単一のモデル内でタスクに依存しない方法で多様なマルチモーダルタスクを実行することができる。
マルチモーダル命令と呼ばれる宣言型タスクインタフェース上に構築された汎用モデル学習システムOFASysをリリースする。
論文 参考訳(メタデータ) (2022-12-08T17:07:09Z) - Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。
マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。
実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
論文 参考訳(メタデータ) (2022-06-08T14:48:06Z) - SUPERB-SG: Enhanced Speech processing Universal PERformance Benchmark
for Semantic and Generative Capabilities [76.97949110580703]
各種音声タスクの事前学習モデルを評価するための新しいベンチマークであるSUPERB-SGを紹介する。
データドメインのシフトの下で、事前訓練されたモデルによって学習された表現の堅牢性をテストするために、軽量な方法論を使用します。
また,SUPERB-SGのタスク多様性とタスク監督の限定が,モデル表現の一般化性を評価する効果的な方法であることを示す。
論文 参考訳(メタデータ) (2022-03-14T04:26:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。