論文の概要: Scaling Laws for Many-Shot In-Context Learning with Self-Generated Annotations

• arxiv url: http://arxiv.org/abs/2503.03062v2
• Date: Tue, 20 May 2025 22:36:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:57.812593
• Title: Scaling Laws for Many-Shot In-Context Learning with Self-Generated Annotations
• Title（参考訳）: 自己生成アノテーションを用いた多面的インテクスト学習のためのスケーリング法則
• Authors: Zhengyao Gu, Henry Peng Zou, Yankai Chen, Aiwei Liu, Weizhi Zhang, Philip S. Yu,
• Abstract要約: 本研究では,従来の半教師付き学習に類似した枠組みを用いて,自己生成例を用いたインコンテキスト学習について検討する。 本フレームワークでは,ゼロショット,少数ショット,多ショット設定において,グランドトルースICLよりも優れた単純なベースラインを提案する。 本稿では,反復的洗練と擬似ラベル技術を統合する反復的アノテーション手法であるIterPSDを紹介する。
• 参考スコア（独自算出の注目度）: 37.62305582749307
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The high cost of obtaining high-quality annotated data for in-context learning (ICL) has motivated the development of methods that use self-generated annotations in place of ground-truth labels. While these approaches have shown promising results in few-shot settings, they generally do not scale to many-shot scenarios. In this work, we study ICL with self-generated examples using a framework analogous to traditional semi-supervised learning, consisting of annotation generation, demonstration selection, and in-context inference. Within this framework, we propose a simple baseline that outperforms ground-truth ICL in zero-shot, few-shot, and many-shot settings. Notably, we observe a scaling law with this baseline, where optimal performance is achieved with more than 1,000 demonstrations. To fully exploit the many-shot capabilities of semi-supervised ICL, we introduce IterPSD, an iterative annotation approach that integrates iterative refinement and curriculum pseudo-labeling techniques from semi-supervised learning, yielding up to 6.8% additional gains on classification tasks.
• Abstract（参考訳）: In-context Learning (ICL) のための高品質な注釈付きデータを取得するための高コストなコストは、地味ラベルの代わりに自己生成アノテーションを使用する手法の開発を動機付けている。 これらのアプローチは、いくつかのショット設定で有望な結果を示しているが、一般的には、多くのショットシナリオにスケールしない。 本研究では、アノテーション生成、実演選択、文脈内推論からなる従来の半教師あり学習に類似したフレームワークを用いて、ICLを自己生成例で研究する。 本フレームワークでは,ゼロショット,少数ショット,多ショット設定において,グランドトルースICLよりも優れた単純なベースラインを提案する。 特に,1000以上の実演で最適性能が達成される,このベースラインによるスケーリング法則を考察する。 半教師付きICLの多ショット機能を完全に活用するために,半教師付き学習から反復的洗練と擬似ラベル技術を統合した反復的アノテーション手法であるIterPSDを導入する。

関連論文リスト

• SelfPrompt: Confidence-Aware Semi-Supervised Tuning for Robust Vision-Language Model Adaptation [23.4909421082857]
  SelfPromptは、半教師付き学習環境における視覚言語モデル(VLM)の新しいプロンプトチューニング手法である。 疑似ラベル精度を向上させるクラスタ誘導擬似ラベリング手法を提案する。 また,信頼性を意識した半教師付き学習モジュールを提案する。
  論文  参考訳（メタデータ） (2025-01-24T00:31:01Z)
• PICLe: Pseudo-Annotations for In-Context Learning in Low-Resource Named Entity Detection [56.916656013563355]
  In-context Learning (ICL)により、大規模言語モデルでは、デモをほとんど使わずにタスクを実行することができる。 PICLeは、ノイズの多い擬似アノテーション付き実演によるインコンテキスト学習のためのフレームワークである。 バイオメディカルな5つのNEDデータセット上でPICLeを評価し,PICLeが低リソース環境でICLより優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-16T16:09:35Z)
• Mixtures of In-Context Learners [18.920361190065556]
  本稿では,実験のサブセットを専門家として扱う新しい手法を提案し,その出力分布をマージする重み付け関数を学習する。 実験では,強いベースラインのセットと比較して,7つの分類データセットのうち5つの性能改善を示す。 MoICLはドメイン外(最大+11%)、不均衡(最大+49%)、ノイズの多いデモ(最大+38%)、あるいはデータセットからこれらをフィルタリングすることができる。
  論文  参考訳（メタデータ） (2024-11-05T06:02:41Z)
• DemoShapley: Valuation of Demonstrations for In-Context Learning [20.26604061802236]
  インコンテキスト学習(ICL)を利用した大規模言語モデル(LLM)は、タスク固有の微調整を必要とせずに、様々なタスク間で数ショットの学習を行う新しいベンチマークを設定した。 我々は、Data Shapleyの評価定理にインスパイアされたDemoShapleyを紹介する。 この結果から,DemoShapleyは精度と公平性の観点からモデル性能を向上するだけでなく,コンテキスト内デモとは異なる領域からのクエリを一般化することがわかった。
  論文  参考訳（メタデータ） (2024-10-10T01:35:03Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• Self-Improving for Zero-Shot Named Entity Recognition with Large Language Models [16.16724411695959]
  この研究は、強力な大言語モデル(LLM)によるゼロショットNERのパフォーマンス境界を押し上げる。 LLMの自己学習能力を刺激するためにラベルのないコーパスを利用する、トレーニング不要な自己改善フレームワークを提案する。 4つのベンチマークの実験は、我々のフレームワークによって達成された大幅なパフォーマンス改善を示している。
  論文  参考訳（メタデータ） (2023-11-15T12:47:52Z)
• Dynamic Demonstrations Controller for In-Context Learning [48.455265597575675]
  In-context Learning (ICL)は自然言語処理のための新しいパラダイムである デモの数はモデル性能と正の相関関係にあると一般的に信じられている。 デモ数を調整することでICLの性能を向上させる動的デモ制御器(D$2$Controller)を提案する。
  論文  参考訳（メタデータ） (2023-09-30T14:04:22Z)
• Self-ICL: Zero-Shot In-Context Learning with Self-Generated Demonstrations [38.4166247280112]
  Self-ICLは、ゼロショットICLを実行するためにLMの固有の機能をブートストラップするフレームワークである。 Self-ICLは平均精度と頭部比較の両方でゼロショットベースラインを上回っている。
  論文  参考訳（メタデータ） (2023-05-24T11:22:34Z)
• Coverage-based Example Selection for In-Context Learning [27.215972147196805]
  BERTScore-Recall (BSR) がテスト入力の健全な側面をよりよく示すより良い例を選択していることを示す。 6つのタスクにまたがる15のデータセットと7つの LLM に対して、(1) BSR は、ボード全体のコンテキスト内サンプル選択において優れた指標であり、(2) 構成タスクでは、Set-BSR は、平均17ポイントまで独立したランキングを上回ります。
  論文  参考訳（メタデータ） (2023-05-24T08:58:28Z)
• Iterative Forward Tuning Boosts In-Context Learning in Language Models [88.25013390669845]
  本研究では,大規模言語モデル(LLM)における文脈内学習を促進する新しい2段階フレームワークを提案する。 具体的には、当社のフレームワークでは、ICLプロセスをDeep-ThinkingとTest Stageの2つの別々のステージに分類しています。 ディープシンキング段階にはユニークな注意機構、すなわち反復的な注意強化機構が組み込まれており、複数の情報の蓄積を可能にしている。
  論文  参考訳（メタデータ） (2023-05-22T13:18:17Z)
• Large Language Models Are Latent Variable Models: Explaining and Finding Good Demonstrations for In-Context Learning [104.58874584354787]
  近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。 本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
  論文  参考訳（メタデータ） (2023-01-27T18:59:01Z)
• Z-ICL: Zero-Shot In-Context Learning with Pseudo-Demonstrations [97.41375480696972]
  そこで,Z-ICLを提案する。Z-ICL,Z-ICLは,与えられたテスト入力に対して擬似デモを構築することでギャップを埋める新しいゼロショット方式である。 9つの分類データセットの評価は、Z-ICLが従来のゼロショット法よりも有意差で優れていたことを示している。
  論文  参考訳（メタデータ） (2022-12-19T21:34:26Z)
• Self-Generated In-Context Learning: Leveraging Auto-regressive Language Models as a Demonstration Generator [22.532627423361177]
  自己生成型インコンテキスト学習(SG-ICL)は、PLM自体からインコンテキスト学習のためのデモを生成する。 我々は、SG-ICLがゼロショット学習を著しく上回り、一般的に約0.6金のトレーニングサンプルの価値があることを示した。
  論文  参考訳（メタデータ） (2022-06-16T10:52:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。