論文の概要: Distilling Many-Shot In-Context Learning into a Cheat Sheet

• arxiv url: http://arxiv.org/abs/2509.20820v1
• Date: Thu, 25 Sep 2025 07:07:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.742742
• Title: Distilling Many-Shot In-Context Learning into a Cheat Sheet
• Title（参考訳）: マルチショットインコンテクスト学習をチートシートに蒸留する
• Authors: Ukyo Honda, Soichiro Murakami, Peinan Zhang,
• Abstract要約: 提案手法は,マルチショットICLからの情報を,推論時にコンテキストとして使用する簡潔なテキスト要約(チートシート)に蒸留するチートシートICLを提案する。 難解な推論タスクの実験では、不正なシークレットICLは、トークンがはるかに少ない多くのショットICLと同等または優れたパフォーマンスを達成し、テスト時間検索を必要とせずに検索ベースのICCと一致している。
• 参考スコア（独自算出の注目度）: 14.147877327632607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models (LLMs) enable effective in-context learning (ICL) with many-shot examples, but at the cost of high computational demand due to longer input tokens. To address this, we propose cheat-sheet ICL, which distills the information from many-shot ICL into a concise textual summary (cheat sheet) used as the context at inference time. Experiments on challenging reasoning tasks show that cheat-sheet ICL achieves comparable or better performance than many-shot ICL with far fewer tokens, and matches retrieval-based ICL without requiring test-time retrieval. These findings demonstrate that cheat-sheet ICL is a practical alternative for leveraging LLMs in downstream tasks.
• Abstract（参考訳）: 大規模言語モデル (LLM) の最近の進歩は, より長い入力トークンによる高い計算需要を犠牲にしつつ, 実効性のあるインコンテキスト学習 (ICL) を可能にしている。 そこで本研究では,多視点ICLから得られた情報を,推論時にコンテキストとして使用する簡潔なテキスト要約(チートシート)に抽出するチートシートICLを提案する。 難解な推論タスクの実験では、不正なシークレットICLは、トークンがはるかに少ない多くのショットICLと同等または優れたパフォーマンスを達成し、テスト時間検索を必要とせずに検索ベースのICCと一致している。 これらの結果から,浮動小数点数表ICLは下流タスクにおけるLLMの実践的な代替手段であることが示された。

関連論文リスト

• MAPLE: Many-Shot Adaptive Pseudo-Labeling for In-Context Learning [53.02571749383208]
  In-Context Learning (ICL)は、大規模言語モデル(LLM)に複数のインプット・アウトプット・サンプルを組み込むことで、多様なタスクに対処する権限を与える。 Many-Shot Adaptive Pseudo-LabEling (MAPLE)は、ラベル情報の欠如を補うために擬似ラベル付きサンプルを利用する新しいインフルエンスベースのマルチショットICLフレームワークである。
  論文  参考訳（メタデータ） (2025-05-22T04:54:27Z)
• Many-Shot In-Context Learning [58.395589302800566]
  大規模言語モデル (LLMs) は、文脈内学習 (ICL) において優れている 我々は、多種多様な生成的および識別的タスクにおける顕著なパフォーマンス向上を観察する。 少数ショット学習とは異なり、多ショット学習は事前学習されたバイアスをオーバーライドするのに効果的である。
  論文  参考訳（メタデータ） (2024-04-17T02:49:26Z)
• Batch-ICL: Effective, Efficient, and Order-Agnostic In-Context Learning [27.729189318779603]
  Batch-ICLは、文脈内学習のための効率的、効率的、秩序に依存しない推論アルゴリズムである。 Batch-ICL は ICL の例のほとんどを一貫して上回っていることを示す。 また,メタ最適化の「エポック」を複数備えた新しいBatch-ICLを開発した。
  論文  参考訳（メタデータ） (2024-01-12T09:31:17Z)
• In-Context Learning Learns Label Relationships but Is Not Conventional Learning [60.891931501449726]
  大規模言語モデルの文脈内学習(ICL)能力について、現時点では合意が得られていない。 ICLがラベル情報をどのように活用するかという新たな洞察を提供し、機能と制限の両方を明らかにします。 実験の結果, ICLの予測はコンテキスト内ラベルにほぼ常に依存しており, ICLはコンテキスト内における真に新しいタスクを学習できることがわかった。
  論文  参考訳（メタデータ） (2023-07-23T16:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。