論文の概要: GRaSp: Automatic Example Optimization for In-Context Learning in Low-Data Tasks
- arxiv url: http://arxiv.org/abs/2605.07454v1
- Date: Fri, 08 May 2026 09:00:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-11 19:43:38.933071
- Title: GRaSp: Automatic Example Optimization for In-Context Learning in Low-Data Tasks
- Title（参考訳）: GRaSp: 低データタスクにおけるインコンテキスト学習の自動例最適化
- Authors: Simen Bihaug-Frøyland, Henrik Brådland,
- Abstract要約: コンテキスト内学習により、大きな言語モデルで新しいタスクに適応できるが、そのパフォーマンスは選択された例に敏感である。
GRaSpは,テキスト内サンプルの自動最適化のための3段階フレームワークである。
まず、大規模な合成候補プールを生成し、クラスタ化と次元縮小で構成し、最後に、遺伝的アルゴリズムを用いて最適なインコンテキストの例を見つけることで、NERタスクに一貫した改善を示す。
- 参考スコア（独自算出の注目度）: 0.3374875022248866
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In-context learning enables large language models to adapt to new tasks, but their performance is highly sensitive to the selected examples. Finding effective demonstrations is particularly difficult in domain-specific, low-data settings where high-quality examples are scarce. We propose GRaSp, a three-stage framework for automatic in-context example optimization. By first generating a large synthetic candidate pool, then structuring it with clustering and dimensionality reduction, and finally using genetic algorithms to find the optimal in-context examples, the framework shows consistent improvements on the NER task. We also introduce a custom diversity-adaptive mutation mechanism, allowing it to transition from the initial broad inter-cluster exploration to focused intra-cluster refinement as the population converges. We evaluate GRaSp on financial named entity recognition (FiNER-139), comparing synthetic and human-annotated candidate pools across pool sizes of 500 and 5000. With non-synthetic data, GRaSp achieves 45.84% micro-F1, consistently outperforming both zero-shot and random few-shot baselines. Synthetic data matches the random baseline but does not exceed it, suggesting that distributional variety in the candidate pool is critical for generalization.
- Abstract（参考訳）: コンテキスト内学習により、大きな言語モデルで新しいタスクに適応できるが、その性能は選択された例に非常に敏感である。
高品質な例が不足しているドメイン固有の低データ設定では、効果的なデモを見つけることは特に困難です。
GRaSpは,テキスト内サンプルの自動最適化のための3段階フレームワークである。
まず、大規模な合成候補プールを生成し、クラスタ化と次元縮小で構成し、最後に、遺伝的アルゴリズムを用いて最適なインコンテキストの例を見つけることで、NERタスクに一貫した改善を示す。
また, 個体群が収束するにつれて, 初期クラスタ間探索から集中クラスタ内改良への移行を可能にする, 独自の多様性適応突然変異機構も導入する。
我々は、GRaSpをファイナンシャルネームエンティティ認識(FiNER-139)で評価し、500から5000のプールサイズの合成プールと人称アノテートプールを比較した。
非合成データでは、GRaSpは45.84%のマイクロF1を達成する。
合成データはランダムなベースラインと一致するが、それを超えず、候補プール内の分布変数が一般化に重要であることを示唆している。
関連論文リスト
- Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。
ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。
MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-05-05T07:02:50Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳（メタデータ） (2026-04-20T16:43:28Z) - Prismatic Synthesis: Gradient-based Data Diversification Boosts Generalization in LLM Reasoning [77.120955854093]
我々は,データ多様性が言語モデルにおける一般化の強力な予測因子であることを示す。
モデル誘起勾配のエントロピーを通して多様性を定量化する計量であるG-Vendiを導入する。
多様な合成データを生成するためのフレームワークであるPrismatic Synthesisを提案する。
論文 参考訳（メタデータ） (2025-05-26T16:05:10Z) - Combatting Dimensional Collapse in LLM Pre-Training Data via Diversified File Selection [65.96556073745197]
DiverSified File selection algorithm (DiSF) は特徴空間における最も非相関なテキストファイルを選択するために提案される。
DiSFは590万のトレーニングファイルの98.5%をSlimPajamaに保存し、50Bのトレーニング予算内でのデータ事前トレーニングを上回っている。
論文 参考訳（メタデータ） (2025-04-29T11:13:18Z) - SoftSRV: Learn to Generate Targeted Synthetic Data [35.20014396557643]
本稿では,タスク固有モデルを対象とした合成微調整データを生成するための新しいフレームワークであるSoftSRVを提案する。
We found that SoftSRV improve on typical prompt engineering approach, generated target data that led to fine-tuned model。
論文 参考訳（メタデータ） (2024-10-21T21:48:49Z) - Unsupervised Domain Adaption for Neural Information Retrieval [18.97486314518283]
本稿では,Large Language Models やルールベースの文字列操作を用いたクエリ生成による合成アノテーションの比較を行う。
大規模言語モデルは,すべてのシナリオにおいて,ルールベースの手法よりも大きなマージンで優れていることがわかった。
さらに、オープンな大規模言語モデルを用いて、合成データを生成し、中規模モデルで十分であることを示す。
論文 参考訳（メタデータ） (2023-10-13T18:27:33Z) - Target-Aware Generative Augmentations for Single-Shot Adaptation [21.840653627684855]
我々は、ソースドメインからターゲットドメインへのモデル適応のための新しいアプローチを提案する。
SiSTAは、単一ショットターゲットを用いてソースドメインから生成モデルを微調整し、その後、合成ターゲットデータをキュレートするための新しいサンプリング戦略を用いる。
顔検出や多クラス物体認識において,SiSTAは既存のベースラインよりも大幅に向上していることがわかった。
論文 参考訳（メタデータ） (2023-05-22T17:46:26Z) - Single-Shot Domain Adaptation via Target-Aware Generative Augmentation [21.17396588958938]
既存手法による拡張は,大規模な分散シフトを扱うには不十分である,と我々は主張する。
本稿では、まず、単一ショットターゲットを用いて、ソースドメインから生成モデルを微調整するSiSTA(Single-Shot Target Augmentations)を提案する。
顔検出において,SiSTAは既存のベースラインよりも最大20%改善できることがわかった。
論文 参考訳（メタデータ） (2022-10-29T20:53:57Z) - Score-based Generative Modeling in Latent Space [93.8985523558869]
スコアベース生成モデル(SGM)は,最近,サンプル品質と分布範囲の両面で顕著な結果を示した。
本稿では,Latent Score-based Generative Model (LSGM)を提案する。
データから潜在空間への移動により、より表現力のある生成モデルをトレーニングし、非連続データにSGMを適用し、よりスムーズなSGMをより小さな空間で学習することができる。
論文 参考訳（メタデータ） (2021-06-10T17:26:35Z) - Recent Developments Combining Ensemble Smoother and Deep Generative
Networks for Facies History Matching [58.720142291102135]
本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。
本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
論文 参考訳（メタデータ） (2020-05-08T21:32:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。