Fugu-MT 論文翻訳(概要): Meta-Sel: Efficient Demonstration Selection for In-Context Learning via Supervised Meta-Learning

論文の概要: Meta-Sel: Efficient Demonstration Selection for In-Context Learning via Supervised Meta-Learning

arxiv url: http://arxiv.org/abs/2602.12123v1
Date: Thu, 12 Feb 2026 16:11:29 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-13 21:07:25.918218
Title: Meta-Sel: Efficient Demonstration Selection for In-Context Learning via Supervised Meta-Learning
Title（参考訳）: メタセル: 教師付きメタラーニングによるインコンテキスト学習のための効率的なデモ選択
Authors: Xubin Wang, Weijia Jia,
Abstract要約: 目的分類のための軽量な教師付きメタ学習手法であるMeta-Selを提案する。ラベル付きトレーニングデータから(候補、クエリ)ペアの高速で解釈可能なスコアリング関数を学習する。推測時、セレクタは全候補プール上で1つのベクトル化スコアを実行し、トップkのデモを返す。
参考スコア（独自算出の注目度）: 9.851186633544975
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Demonstration selection is a practical bottleneck in in-context learning (ICL): under a tight prompt budget, accuracy can change substantially depending on which few-shot examples are included, yet selection must remain cheap enough to run per query over large candidate pools. We propose Meta-Sel, a lightweight supervised meta-learning approach for intent classification that learns a fast, interpretable scoring function for (candidate, query) pairs from labeled training data. Meta-Sel constructs a meta-dataset by sampling pairs from the training split and using class agreement as supervision, then trains a calibrated logistic regressor on two inexpensive meta-features: TF--IDF cosine similarity and a length-compatibility ratio. At inference time, the selector performs a single vectorized scoring pass over the full candidate pool and returns the top-k demonstrations, requiring no model fine-tuning, no online exploration, and no additional LLM calls. This yields deterministic rankings and makes the selection mechanism straightforward to audit via interpretable feature weights. Beyond proposing Meta-Sel, we provide a broad empirical study of demonstration selection, benchmarking 12 methods -- spanning prompt engineering baselines, heuristic selection, reinforcement learning, and influence-based approaches -- across four intent datasets and five open-source LLMs. Across this benchmark, Meta-Sel consistently ranks among the top-performing methods, is particularly effective for smaller models where selection quality can partially compensate for limited model capacity, and maintains competitive selection-time overhead.
Abstract（参考訳）: デモストレーション選択(Demonstration selection)は、コンテキスト内学習(ICL:In-context Learning)における現実的なボトルネックである。ラベル付きトレーニングデータから(候補,クエリ)ペアの高速かつ解釈可能なスコアリング関数を学習する,意図分類のための軽量な教師付きメタラーニングアプローチであるMeta-Selを提案する。 Meta-Selは、トレーニング分割からペアをサンプリングし、クラス契約を監督として使用してメタデータセットを構築し、次に、TF--IDFコサイン類似度と長さ適合率の2つの安価なメタ機能でキャリブレーションされたロジスティック回帰器をトレーニングする。推測時、セレクタは単一のベクトル化されたスコアパスを全候補プール上で実行し、トップkのデモを返す。これにより、決定論的ランキングが得られ、選択機構は解釈可能な特徴量で簡単に監査できる。 Meta-Selの提案以外にも、デモの選択、12のメソッドのベンチマーク、即席のエンジニアリングベースライン、ヒューリスティックな選択、強化学習、インフルエンスベースのアプローチを4つのインテントデータセットと5つのオープンソースLCMにまたがる広範な実証的研究を提供しています。このベンチマーク全体では、Meta-Selは一貫してトップパフォーマンスの手法の1つであり、選択品質が限られたモデル容量に部分的に補償できる小さなモデルに特に有効であり、競合する選択時間オーバーヘッドを維持できる。

関連論文リスト

MetaRank: Task-Aware Metric Selection for Model Transferability Estimation [25.11923464702804]
タスク対応のMTEメトリック選択のためのメタ学習フレームワークであるMetaRankを紹介する。従来のメタ機能に頼るのではなく、MetaRankはデータセットとMTEメトリクスの両方のテキスト記述をエンコードする。メタ予測器は、さまざまなメタタスク上でオフラインでトレーニングされ、データセットの特徴とメートル法メカニズムの間の複雑な関係を学習する。
論文参考訳（メタデータ） (2025-11-26T03:15:13Z)
Imbalanced Regression Pipeline Recommendation [5.863538874435322]
本稿では,不均衡回帰(Meta-IR)フレームワークのメタラーニングを提案する。メタ分類器をトレーニングして、タスクごとの再サンプリング戦略と学習モデルで構成される最高のパイプラインを推奨する。 AutoMLフレームワークと比較して、Meta-IRはより良い結果を得た。
論文参考訳（メタデータ） (2025-07-16T04:34:02Z)
Large Language Models are Demonstration Pre-Selectors for Themselves [57.101804269100185]
大規模言語モデル(LLM)を備えたインコンテキスト学習(ICL)は、トレーニングデータ全体から数ショットのデモを選択することで、強力な数ショットのパフォーマンスを提供する。 FEw yet Essential Demonstration prE-selectoRは、デモの代表的なサブセットを特定する新しい事前選択フレームワークである。 FEwでもEssential Demonstration prE-selectoRは、パフォーマンスを維持しながら、トレーニングデータのサイズを20%以上削減できる。
論文参考訳（メタデータ） (2025-06-06T12:29:03Z)
MLRS-PDS: A Meta-learning recommendation of dynamic ensemble selection pipelines [3.1140073169854485]
本稿では,動的アンサンブル選択のための最適なプール生成手法を提案するメタラーニングレコメンデーションシステム(MLRS)を提案する。このシステムは、データセットのメタ機能から構築されたメタモデルを使用して、与えられたデータセットに対して最も適切なプール生成スキームとDESメソッドを予測する。このメタ学習レコメンデーションシステムは従来の固定プールやDESメソッドの選択方法よりも優れていることを示す。
論文参考訳（メタデータ） (2024-07-10T10:31:57Z)
LLM-Select: Feature Selection with Large Language Models [64.5099482021597]
大規模言語モデル(LLM)は、データサイエンスの標準ツールに匹敵するパフォーマンスで、最も予測可能な機能を選択することができる。以上の結果から,LSMはトレーニングに最適な機能を選択するだけでなく,そもそもどの機能を収集すべきかを判断する上でも有用である可能性が示唆された。
論文参考訳（メタデータ） (2024-07-02T22:23:40Z)
Your Vision-Language Model Itself Is a Strong Filter: Towards High-Quality Instruction Tuning with Data Selection [59.11430077029321]
視覚言語モデル(VLM)のための新しいデータセット選択手法であるSelf-Filterを導入する。第1段階では、VLMと共同で学習する訓練指導の難しさを評価するためのスコアリングネットワークを考案する。第2段階では、トレーニングされたスコアネットを使用して、各命令の難易度を測定し、最も難しいサンプルを選択し、類似したサンプルをペナルティ化し、多様性を促進する。
論文参考訳（メタデータ） (2024-02-19T20:08:48Z)
MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
論文参考訳（メタデータ） (2023-01-30T20:59:30Z)
A Markov Decision Process Approach to Active Meta Learning [24.50189361694407]
教師付き学習では、データが特定のタスクに関連付けられていると仮定して、与えられたデータセットに1つの統計モデルを適用する。メタラーニングでは、データは多数のタスクと関連付けられており、同時に全てのタスクでうまく機能するモデルを模索する。
論文参考訳（メタデータ） (2020-09-10T15:45:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。