論文の概要: Revisiting In-Context Learning with Long Context Language Models

• arxiv url: http://arxiv.org/abs/2412.16926v1
• Date: Sun, 22 Dec 2024 08:55:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 16:01:46.277931
• Title: Revisiting In-Context Learning with Long Context Language Models
• Title（参考訳）: 長期言語モデルによる文脈内学習の再考
• Authors: Jinheon Baek, Sun Jae Lee, Prakhar Gupta, Geunseob, Oh, Siddharth Dalmia, Prateek Kolhar,
• Abstract要約: In-Context Learning (ICL) は、言語モデルが入力コンテキストで提供される例に基づいて予測を行う手法である。 LCLM(Long Context Language Models)の出現により、コンテキストに含まれるサンプルの数が大幅に増加した。 4つのタスクにまたがる18のデータセットに関する広範な実験を通じて、LCLMの文脈でこれらのアプローチを再考する。
• 参考スコア（独自算出の注目度）: 22.918454608492393
• License:
• Abstract: In-Context Learning (ICL) is a technique by which language models make predictions based on examples provided in their input context. Previously, their context window size imposed a limit on the number of examples that can be shown, making example selection techniques crucial for identifying the maximally effective set of examples. However, the recent advent of Long Context Language Models (LCLMs) has significantly increased the number of examples that can be included in context, raising an important question of whether ICL performance in a many-shot regime is still sensitive to the method of sample selection. To answer this, we revisit these approaches in the context of LCLMs through extensive experiments on 18 datasets spanning 4 tasks. Surprisingly, we observe that sophisticated example selection techniques do not yield significant improvements over a simple random sample selection method. Instead, we find that the advent of LCLMs has fundamentally shifted the challenge of ICL from that of selecting the most effective examples to that of collecting sufficient examples to fill the context window. Specifically, in certain datasets, including all available examples does not fully utilize the context window; however, by augmenting the examples in context with a simple data augmentation approach, we substantially improve ICL performance by 5%.
• Abstract（参考訳）: In-Context Learning (ICL) は、言語モデルが入力コンテキストで提供される例に基づいて予測を行う手法である。 以前は、それらのコンテキストウィンドウサイズは、表示可能な例の数に制限を課しており、最大に有効な例の集合を特定するために、サンプル選択技術が不可欠であった。 しかし,近年のLong Context Language Models (LCLMs) の出現により,文脈に含める実例の数が大幅に増加し,多発型システムにおけるICLの性能がまだサンプル選択法に敏感であるかどうかという重要な疑問が持ち上がった。 これに対応するために,4つのタスクにまたがる18のデータセットに関する広範な実験を通じて,LCLMの文脈におけるこれらのアプローチを再考する。 驚いたことに、洗練されたサンプル選択技術は単純なランダムサンプル選択法よりも大きな改善をもたらすことはない。 その代わりに、LCLMの出現により、ICLの課題は、最も効果的な例を選択することから、コンテキストウィンドウを埋める十分な例を集めることへと根本的にシフトしている。 具体的には、利用可能なすべての例を含む特定のデータセットでは、コンテキストウィンドウを完全に活用していないが、単純なデータ拡張アプローチでコンテキスト内の例を増強することにより、ICLのパフォーマンスを5%改善する。

関連論文リスト

• Large Language Models Know What Makes Exemplary Contexts [42.90814615222177]
  In-context Learning (ICL) は、Large Language Model (LLM) の発展において重要な機能であることが証明されている。 本稿では,LLMのための統合フレームワークを提案する。このフレームワークにより,影響力のあるインコンテキストのサンプルを自己選択してコンテキストを構成することができる。
  論文  参考訳（メタデータ） (2024-08-14T12:32:41Z)
• Can Few-shot Work in Long-Context? Recycling the Context to Generate Demonstrations [44.24067814871803]
  In-Context Learning (ICL) の例は少ないが、長いコンテキストでLLMのパフォーマンスを向上させるための魅力的なソリューションである。 そこで本稿では,コンテキストのリサイクルにより,長時間のQAタスクの少数例を自動的に生成する手法を提案する。
  論文  参考訳（メタデータ） (2024-06-19T15:28:29Z)
• Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars [66.823588073584]
  大規模言語モデル(LLM)は、現実世界のアプリケーションで印象的な機能を示している。 これらの卓越した作品の品質は、パフォーマンスに大きな影響を与えます。 既存の方法は、先行注文がパフォーマンスに与える影響を適切に説明できない。
  論文  参考訳（メタデータ） (2024-05-25T08:23:05Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• One size doesn't fit all: Predicting the Number of Examples for In-Context Learning [16.712595387955574]
  In-context Learning (ICL)は、ラベル付きデータのトレーニングセットに少数の局所的な例(入力と意味的に類似しているもの)を追加するプロセスを指す。 私たちの作業は、この'one fits all'アプローチの制限を軽減し、数ショットの推論で使用する各データインスタンスの例数を動的に予測します。 テキスト分類ベンチマーク実験の結果,AICLが標準ICLを最大17%上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-03-11T03:28:13Z)
• $Se^2$: Sequential Example Selection for In-Context Learning [83.17038582333716]
  インコンテキスト学習(ICL)のための大規模言語モデル(LLM)は、実演例によって起動する必要がある。 以前の研究は、主に"select then organize"パラダイムに従って、ICLの例の選択を幅広く検討してきた。 本稿では,この問題を$Se$quential $Se$lection問題として定式化し,シーケンシャル・アウェア法である$Se2$を導入する。
  論文  参考訳（メタデータ） (2024-02-21T15:35:04Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Finding Support Examples for In-Context Learning [73.90376920653507]
  本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。 まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。 そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
  論文  参考訳（メタデータ） (2023-02-27T06:32:45Z)
• Compositional Exemplars for In-context Learning [21.961094715261133]
  大規模な事前学習言語モデル(LM)は、印象的なインコンテキスト学習(ICL)能力を示している。 本稿では,CEIL (Compositional Exemplars for In-context Learning) を提案する。 我々は、感情分析、パラフレーズ検出、自然言語推論、コモンセンス推論、オープンドメイン質問応答、コード生成、意味解析を含む7つの異なるNLPタスクから、CEILを12の分類および生成データセットで検証する。
  論文  参考訳（メタデータ） (2023-02-11T14:02:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。