論文の概要: Batch-ICL: Effective, Efficient, and Order-Agnostic In-Context Learning
- arxiv url: http://arxiv.org/abs/2401.06469v2
- Date: Fri, 16 Feb 2024 10:58:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-19 19:34:07.354240
- Title: Batch-ICL: Effective, Efficient, and Order-Agnostic In-Context Learning
- Title(参考訳): Batch-ICL:効果的、効率的、秩序に依存しないインコンテキスト学習
- Authors: Kaiyi Zhang, Ang Lv, Yuhan Chen, Hansen Ha, Tao Xu, Rui Yan
- Abstract要約: Batch-ICLは、文脈内学習のための効率的、効率的、秩序に依存しない推論アルゴリズムである。
Batch-ICL は ICL の例のほとんどを一貫して上回っていることを示す。
また,メタ最適化の「エポック」を複数備えた新しいBatch-ICLを開発した。
- 参考スコア(独自算出の注目度): 29.3822877145617
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this paper, by treating in-context learning (ICL) as a meta-optimization
process, we explain why LLMs are sensitive to the order of ICL examples. This
understanding leads us to the development of Batch-ICL, an effective,
efficient, and order-agnostic inference algorithm for ICL. Differing from the
standard N-shot learning approach, Batch-ICL employs $N$ separate 1-shot
forward computations and aggregates the resulting meta-gradients. These
aggregated meta-gradients are then applied to the forward computation of a
zero-shot query to generate the final prediction. This batch processing
approach renders the LLM agnostic to the order of ICL examples. Through
extensive experiments and analysis, we demonstrate that Batch-ICL consistently
outperforms most permutations of ICL examples. In some cases, it even exceeds
the performance of the best order for standard ICL, all while reducing the
computational resources required. Furthermore, we develop a novel variant of
Batch-ICL featuring multiple "epochs" of meta-optimization. This variant
implicitly explores permutations of ICL examples, further enhancing ICL
performance.
- Abstract(参考訳): 本稿では,テキスト内学習(ICL)をメタ最適化プロセスとして扱うことにより,LCMがICLの順序に敏感である理由を説明する。
この理解は、ICLの効率的、効率的、秩序に依存しない推論アルゴリズムであるBatch-ICLの開発につながる。
標準的なNショット学習アプローチとは違い、Batch-ICLは$N$の1ショットフォワード計算を採用し、その結果のメタ勾配を集約する。
これらの集約されたメタ勾配をゼロショットクエリの前方計算に適用し、最終的な予測を生成する。
このバッチ処理アプローチでは、LCMはICLの例の順序に依存しない。
広範な実験と解析により、Batch-ICLはICLの例のほとんどの置換よりも一貫して優れていることを示した。
場合によっては、必要な計算リソースを削減しながら、標準iclの最高のオーダーのパフォーマンスを上回ることさえある。
さらに,メタ最適化の「エポック」を複数備えた新しいBatch-ICLを開発した。
この変種は暗黙的に icl の例の置換を探索し、さらに icl の性能を向上させる。
関連論文リスト
- RecDCL: Dual Contrastive Learning for Recommendation [65.6236784430981]
本稿では、RecDCLという2つのコントラスト学習推薦フレームワークを提案する。
RecDCLでは、FCLの目的は、ユーザとイテムの正のペアに対する冗長なソリューションを排除することである。
BCLの目的は、表現の堅牢性を高めるために出力ベクトルにコントラスト埋め込みを生成するために利用される。
論文 参考訳(メタデータ) (2024-01-28T11:51:09Z) - Positional Information Matters for Invariant In-Context Learning: A Case
Study of Simple Function Classes [39.08988313527199]
インコンテキストラーニング(In-context Learning, ICL)とは、新しいクエリ入力に対する応答を生成するために、いくつかのインコンテキストデモでモデルに条件を付ける能力である。
LLMの印象的なICL能力にもかかわらず、LSMのICLは入力デモに敏感であり、短い文脈長に限定されている。
論文 参考訳(メタデータ) (2023-11-30T02:26:55Z) - Speak Like a Native: Prompting Large Language Models in a Native Style [53.84738665918496]
In-context Learning (ICL) with large language model (LLMs) は、多くの自然言語処理タスクにおいて近代的なツールとなっている。
本稿では, LLMの推論能力を向上させるために, textbfAlignedCoT という新しい効果的手法を提案する。
数学的質問答え、常識的推論、テキスト理解に関するいくつかのベンチマークにおいて、広範囲かつ包括的な実験を行う。
論文 参考訳(メタデータ) (2023-11-22T17:24:21Z) - Which Examples to Annotate for In-Context Learning? Towards Effective
and Efficient Selection [35.924633625147365]
大規模言語モデル(LLM)は、文脈内学習(ICL)を介して新しいタスクに適応できる
そこで本研究では,ICLのアクティブな学習手法について検討し,アノテートのための予算が限られている。
本稿では,モデルが不確実であることを示すモデル適応型最適化自由アルゴリズムAdaICLを提案する。
論文 参考訳(メタデータ) (2023-10-30T22:03:55Z) - Estimating Large Language Model Capabilities without Labeled Test Data [51.428562302037534]
大規模言語モデル(LLM)は、ほんの数例からICL(In-context Learning)を実行するという印象的な能力を持っている。
ICLの精度推定タスクを提案し、新しいタスクで文脈内学習を行う場合のLLMの精度を予測する。
論文 参考訳(メタデータ) (2023-05-24T06:55:09Z) - Iterative Forward Tuning Boosts In-context Learning in Language Models [46.848235335267375]
大規模言語モデル (LLM) は、ICL(In-context Learning) の能力を示す。
本稿では、トランスフォーマーの注意と勾配降下に基づく最適化の二重形式を利用して、LCMにおけるICL向上のための2段階のフレームワークを提案する。
本手法は,精度と効率の両面で,標準ICLよりもかなり優れた性能を実現する。
論文 参考訳(メタデータ) (2023-05-22T13:18:17Z) - Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。
本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。
ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
論文 参考訳(メタデータ) (2023-05-22T06:45:02Z) - OpenICL: An Open-Source Framework for In-context Learning [48.75452105457122]
In-context Learning (ICL) と大規模言語モデル評価のためのオープンソースツールキット OpenICL を紹介する。
OpenICLは、ユーザが自分のニーズに合ったさまざまなコンポーネントを簡単に組み合わせられるように、非常に柔軟なアーキテクチャで研究に親しみやすい。
OpenICLの有効性は、分類、QA、機械翻訳、意味解析を含む幅広いNLPタスクで検証されている。
論文 参考訳(メタデータ) (2023-03-06T06:20:25Z) - Self-Adaptive In-Context Learning: An Information Compression
Perspective for In-Context Example Selection and Ordering [15.3566963926257]
本稿では、自己適応型インコンテキスト学習(ICL)の新たな原則を提唱する。
自己適応機構を導入し、各サンプルが正しい予測を導出できるコンテキスト内サンプル置換を見つけるのを助ける。
我々の自己適応型ICL法は,実践環境よりも40%の相対的な改善を実現している。
論文 参考訳(メタデータ) (2022-12-20T15:55:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。