論文の概要: Refract ICL: Rethinking Example Selection in the Era of Million-Token Models

• arxiv url: http://arxiv.org/abs/2506.12346v1
• Date: Sat, 14 Jun 2025 04:51:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:45.894343
• Title: Refract ICL: Rethinking Example Selection in the Era of Million-Token Models
• Title（参考訳）: Refract ICL: 百万モデル時代の事例選択を再考する
• Authors: Arjun R. Akula, Kazuma Hashimoto, Krishna Srinivasan, Aditi Chaudhary, Karthik Raman, Michael Bendersky,
• Abstract要約: LLM(Long-context large language model)は、インコンテキスト学習(ICL)に数百、あるいは数千のデモを利用可能にしている。 本稿では、ICLの例とテスト入力の類似性をバランスさせる従来のICL選択戦略が、多数の実演を利用する場合の有効性について検討する。 本稿では, LLM に着目した新しい ICL 選択アルゴリズム Refract ICL を紹介する。
• 参考スコア（独自算出の注目度）: 31.1838001692089
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of long-context large language models (LLMs) has enabled the use of hundreds, or even thousands, of demonstrations for in-context learning (ICL) - a previously impractical regime. This paper investigates whether traditional ICL selection strategies, which balance the similarity of ICL examples to the test input (using a text retriever) with diversity within the ICL set, remain effective when utilizing a large number of demonstrations. Our experiments demonstrate that, while longer contexts can accommodate more examples, simply increasing the number of demonstrations does not guarantee improved performance. Smart ICL selection remains crucial, even with thousands of demonstrations. To further enhance ICL in this setting, we introduce Refract ICL, a novel ICL selection algorithm specifically designed to focus LLM attention on challenging examples by strategically repeating them within the context and incorporating zero-shot predictions as error signals. Our results show that Refract ICL significantly improves the performance of extremely long-context models such as Gemini 1.5 Pro, particularly on tasks with a smaller number of output classes.
• Abstract（参考訳）: LLM(Long-context large language model)の出現により、従来は実践的ではなかったICL(In-context Learning)に何百、何千ものデモが利用可能になった。 本稿では、ICLの例とテスト入力(テキストレトリバーを用いた)の類似性をICLセット内の多様性とバランスさせる従来のICL選択戦略が、多数のデモを利用する場合の有効性について検討する。 我々の実験では、より長いコンテキストではより多くの例に対応できるが、単にデモの数を増やすだけでは性能が向上しないことを示した。 何千ものデモがあっても、スマートICLの選択は依然として重要です。 そこで本研究では,新たなICL選択アルゴリズムであるRefract ICLについて紹介する。このアルゴリズムは,LLMの注意を,コンテキスト内で戦略的に繰り返し,ゼロショット予測をエラー信号として組み込むことによって,困難な事例に焦点をあてることを目的としている。 以上の結果から,Refract ICLはGemini 1.5 Proのような非常に長いコンテキストモデル,特に少ない出力クラスを持つタスクの性能を著しく向上させることがわかった。

関連論文リスト

• Implicit In-context Learning [37.0562059811099]
  Inlicit In-context Learning (I2CL)は、ICLの推論コストを最小限の情報損失でゼロショット学習に還元する革新的なパラダイムである。 I2CLはゼロショット推論コストで数ショットレベルのパフォーマンスを実現し、実演例のバリエーションに対して堅牢性を示す。
  論文  参考訳（メタデータ） (2024-05-23T14:57:52Z)
• In-Context Learning with Long-Context Models: An In-Depth Exploration [92.16922648612807]
  大規模なラベル空間を持つ多くのデータセットでは、数千のデモでパフォーマンスが向上し続けています。 長文ICLは有効なツールであり,デモセットのエンコーディングに長文を必要としない可能性があることを示す。
  論文  参考訳（メタデータ） (2024-04-30T21:06:52Z)
• Many-Shot In-Context Learning [58.395589302800566]
  大規模言語モデル (LLMs) は、文脈内学習 (ICL) において優れている 我々は、多種多様な生成的および識別的タスクにおける顕著なパフォーマンス向上を観察する。 少数ショット学習とは異なり、多ショット学習は事前学習されたバイアスをオーバーライドするのに効果的である。
  論文  参考訳（メタデータ） (2024-04-17T02:49:26Z)
• ParaICL: Towards Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• Dynamic Demonstrations Controller for In-Context Learning [48.455265597575675]
  In-context Learning (ICL)は自然言語処理のための新しいパラダイムである デモの数はモデル性能と正の相関関係にあると一般的に信じられている。 デモ数を調整することでICLの性能を向上させる動的デモ制御器(D$2$Controller)を提案する。
  論文  参考訳（メタデータ） (2023-09-30T14:04:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。