論文の概要: Prompt-MII: Meta-Learning Instruction Induction for LLMs

• arxiv url: http://arxiv.org/abs/2510.16932v2
• Date: Fri, 31 Oct 2025 02:00:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-03 15:46:17.741481
• Title: Prompt-MII: Meta-Learning Instruction Induction for LLMs
• Title（参考訳）: Prompt-MII:LLMのためのメタラーニングインストラクション
• Authors: Emily Xiao, Yixiao Zeng, Ada Chen, Chin-Jou Li, Amanda Bertsch, Graham Neubig,
• Abstract要約: 本稿では,学習例をコンパクトで記述的なプロンプトに還元する命令誘導手法を提案する。 私たちはHuggingFaceハブから3,000以上の多様な分類データセットをトレーニングし、90の未確認タスクを評価します。 PROMPT-MIIは、ダウンストリームモデルの品質を4-9F1ポイント(10-20%の相対値)改善し、ICLのパフォーマンスは3-13倍のトークンを必要とする。
• 参考スコア（独自算出の注目度）: 40.37193886125562
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A popular method to adapt large language models (LLMs) to new tasks is in-context learning (ICL), which is effective but incurs high inference costs as context length grows. In this paper we propose a method to perform instruction induction, where we take training examples and reduce them to a compact but descriptive prompt that can achieve performance comparable to ICL over the full training set. Specifically, we propose PROMPT-MII, a reinforcement learning (RL) based framework to meta-learn an instruction induction model that can generate compact instructions on the fly for an arbitrary new dataset. We train on over 3,000 diverse classification datasets from the HuggingFace hub, and evaluate on 90 unseen tasks. PROMPT-MII improves downstream model quality by 4-9 F1 points (10-20% relative), matching ICL performance while requiring 3-13x fewer tokens.
• Abstract（参考訳）: 大規模言語モデル(LLM)を新しいタスクに適用するための一般的な方法は、コンテキスト内学習(ICL)である。 本稿では,実例を実例に取り入れて,ICLに匹敵する性能をフルトレーニングセット上で達成できるコンパクトかつ記述的なプロンプトに還元する命令誘導手法を提案する。 具体的には、任意の新しいデータセットに対して、オンザフライでコンパクトな命令を生成することができる命令誘導モデルをメタラーニングするための強化学習(RL)ベースのフレームワークであるProMPT-MIIを提案する。 私たちはHuggingFaceハブから3,000以上の多様な分類データセットをトレーニングし、90の未確認タスクを評価します。 PROMPT-MIIは、ダウンストリームモデルの品質を4-9F1ポイント(10-20%の相対値)改善し、ICLのパフォーマンスは3-13倍のトークンを必要とする。

関連論文リスト

• Large Language Models are Demonstration Pre-Selectors for Themselves [57.101804269100185]
  大規模言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、トレーニングデータ全体から数ショットのデモを選択することで、強力な数ショットのパフォーマンスを提供する。 FEw yet Essential Demonstration prE-selectoRは、デモの代表的なサブセットを特定する新しい事前選択フレームワークである。 FEwでもEssential Demonstration prE-selectoRは、パフォーマンスを維持しながら、トレーニングデータのサイズを20%以上削減できる。
  論文  参考訳（メタデータ） (2025-06-06T12:29:03Z)
• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Instruction Tuning With Loss Over Instructions [42.9106826952674]
  インストラクション・モデリング(IM)は、出力部のみではなく、インストラクションとプロンプト部に損失関数を適用してLMを訓練する。 多くのシナリオにおいて、IMはNLPタスクとオープン・エンド・ジェネレーション・ベンチマークの両方でのLM性能を効果的に改善できることを示す。 注目すべきは、最も有利な場合、IMはAlpacaEval 1.0のモデルパフォーマンスを100%以上向上させることだ。
  論文  参考訳（メタデータ） (2024-05-23T10:12:03Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。