論文の概要: Distilling Many-Shot In-Context Learning into a Cheat Sheet

• arxiv url: http://arxiv.org/abs/2509.20820v1
• Date: Thu, 25 Sep 2025 07:07:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.742742
• Title: Distilling Many-Shot In-Context Learning into a Cheat Sheet
• Title（参考訳）: マルチショットインコンテクスト学習をチートシートに蒸留する
• Authors: Ukyo Honda, Soichiro Murakami, Peinan Zhang,
• Abstract要約: 提案手法は,マルチショットICLからの情報を,推論時にコンテキストとして使用する簡潔なテキスト要約(チートシート)に蒸留するチートシートICLを提案する。 難解な推論タスクの実験では、不正なシークレットICLは、トークンがはるかに少ない多くのショットICLと同等または優れたパフォーマンスを達成し、テスト時間検索を必要とせずに検索ベースのICCと一致している。
• 参考スコア（独自算出の注目度）: 14.147877327632607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in large language models (LLMs) enable effective in-context learning (ICL) with many-shot examples, but at the cost of high computational demand due to longer input tokens. To address this, we propose cheat-sheet ICL, which distills the information from many-shot ICL into a concise textual summary (cheat sheet) used as the context at inference time. Experiments on challenging reasoning tasks show that cheat-sheet ICL achieves comparable or better performance than many-shot ICL with far fewer tokens, and matches retrieval-based ICL without requiring test-time retrieval. These findings demonstrate that cheat-sheet ICL is a practical alternative for leveraging LLMs in downstream tasks.
• Abstract（参考訳）: 大規模言語モデル (LLM) の最近の進歩は, より長い入力トークンによる高い計算需要を犠牲にしつつ, 実効性のあるインコンテキスト学習 (ICL) を可能にしている。 そこで本研究では,多視点ICLから得られた情報を,推論時にコンテキストとして使用する簡潔なテキスト要約(チートシート)に抽出するチートシートICLを提案する。 難解な推論タスクの実験では、不正なシークレットICLは、トークンがはるかに少ない多くのショットICLと同等または優れたパフォーマンスを達成し、テスト時間検索を必要とせずに検索ベースのICCと一致している。 これらの結果から,浮動小数点数表ICLは下流タスクにおけるLLMの実践的な代替手段であることが示された。

関連論文リスト

• Who Gets Cited Most? Benchmarking Long-Context Language Models on Scientific Articles [81.89404347890662]
  SciTrekは、科学論文を用いた大規模言語モデル(LLM)の長文推論能力を評価するために設計された、新しい質問応答ベンチマークである。 本分析により,モデルの基本的数値演算を行ない,特定の情報を長い文脈で正確に特定する能力において,系統的な欠点が明らかとなった。
  論文  参考訳（メタデータ） (2025-09-25T11:36:09Z)
• MAPLE: Many-Shot Adaptive Pseudo-Labeling for In-Context Learning [53.02571749383208]
  In-Context Learning (ICL)は、大規模言語モデル(LLM)に複数のインプット・アウトプット・サンプルを組み込むことで、多様なタスクに対処する権限を与える。 Many-Shot Adaptive Pseudo-LabEling (MAPLE)は、ラベル情報の欠如を補うために擬似ラベル付きサンプルを利用する新しいインフルエンスベースのマルチショットICLフレームワークである。
  論文  参考訳（メタデータ） (2025-05-22T04:54:27Z)
• In-context Continual Learning Assisted by an External Continual Learner [19.382196203113836]
  既存の継続学習(CL)手法は、大規模言語モデル(LLM)の微調整や適応に頼っている。 InCAは、外部連続学習者(ECL)をICLと統合し、CFなしでスケーラブルなCLを実現する新しいアプローチである。
  論文  参考訳（メタデータ） (2024-12-20T04:44:41Z)
• On Many-Shot In-Context Learning for Long-Context Evaluation [10.500629810624769]
  本稿では,マルチショットICLによる長文言語モデルの評価について検討する。 ICLタスクを共通サンプル学習(SSL)と全サンプル学習(ASL)の2つのグループに分類するメトリクスを開発する。 最先端のモデルではSSLタスクで64kトークンまでパフォーマンスが向上するが、ASLタスクで16kトークンしかなかったため、多くのモデルは大幅なパフォーマンス低下を経験している。
  論文  参考訳（メタデータ） (2024-11-11T17:00:59Z)
• Implicit In-context Learning [37.0562059811099]
  Inlicit In-context Learning (I2CL)は、ICLの推論コストを最小限の情報損失でゼロショット学習に還元する革新的なパラダイムである。 I2CLはゼロショット推論コストで数ショットレベルのパフォーマンスを実現し、実演例のバリエーションに対して堅牢性を示す。
  論文  参考訳（メタデータ） (2024-05-23T14:57:52Z)
• Many-Shot In-Context Learning [58.395589302800566]
  大規模言語モデル (LLMs) は、文脈内学習 (ICL) において優れている 我々は、多種多様な生成的および識別的タスクにおける顕著なパフォーマンス向上を観察する。 少数ショット学習とは異なり、多ショット学習は事前学習されたバイアスをオーバーライドするのに効果的である。
  論文  参考訳（メタデータ） (2024-04-17T02:49:26Z)
• ParaICL: Towards Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• Batch-ICL: Effective, Efficient, and Order-Agnostic In-Context Learning [27.729189318779603]
  Batch-ICLは、文脈内学習のための効率的、効率的、秩序に依存しない推論アルゴリズムである。 Batch-ICL は ICL の例のほとんどを一貫して上回っていることを示す。 また,メタ最適化の「エポック」を複数備えた新しいBatch-ICLを開発した。
  論文  参考訳（メタデータ） (2024-01-12T09:31:17Z)
• Hint-enhanced In-Context Learning wakes Large Language Models up for knowledge-intensive tasks [54.153914606302486]
  大規模言語モデル(LLM)の規模拡大に伴い、インコンテキスト学習(ICL)能力が出現した。 我々は、オープンドメイン質問応答におけるICLのパワーを探るため、Hint-enhanced In-Context Learning(HICL)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-03T14:39:20Z)
• In-Context Learning Learns Label Relationships but Is Not Conventional Learning [60.891931501449726]
  大規模言語モデルの文脈内学習(ICL)能力について、現時点では合意が得られていない。 ICLがラベル情報をどのように活用するかという新たな洞察を提供し、機能と制限の両方を明らかにします。 実験の結果, ICLの予測はコンテキスト内ラベルにほぼ常に依存しており, ICLはコンテキスト内における真に新しいタスクを学習できることがわかった。
  論文  参考訳（メタデータ） (2023-07-23T16:54:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。