論文の概要: In-Context Learning in Large Language Models Learns Label Relationships
but Is Not Conventional Learning
- arxiv url: http://arxiv.org/abs/2307.12375v1
- Date: Sun, 23 Jul 2023 16:54:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-25 16:32:39.821790
- Title: In-Context Learning in Large Language Models Learns Label Relationships
but Is Not Conventional Learning
- Title（参考訳）: 大規模言語モデルにおける文脈学習はラベル関係を学習するが、従来の学習ではない
- Authors: Jannik Kossen, Tom Rainforth, Yarin Gal
- Abstract要約: In-context例のラベルが予測にどのように影響するか、事前学習中に学習したラベル関係が、in-contextが提供する入力ラベル例とどのように相互作用するか、in-context例間でラベル情報を集約するか、について検討する。
この結果から, LLM はテキスト内ラベルからの情報を通常含んでいるが, 事前学習とテキスト内ラベルの関係は異なる扱いがなされており, モデルがすべてのテキスト内情報を等しく考慮していないことが示唆された。
- 参考スコア（独自算出の注目度）: 61.136718081848635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The performance of Large Language Models (LLMs) on downstream tasks often
improves significantly when including examples of the input-label relationship
in the context. However, there is currently no consensus about how this
in-context learning (ICL) ability of LLMs works: for example, while Xie et al.
(2021) liken ICL to a general-purpose learning algorithm, Min et al. (2022b)
argue ICL does not even learn label relationships from in-context examples. In
this paper, we study (1) how labels of in-context examples affect predictions,
(2) how label relationships learned during pre-training interact with
input-label examples provided in-context, and (3) how ICL aggregates label
information across in-context examples. Our findings suggests LLMs usually
incorporate information from in-context labels, but that pre-training and
in-context label relationships are treated differently, and that the model does
not consider all in-context information equally. Our results give insights into
understanding and aligning LLM behavior.
- Abstract（参考訳）: 下流タスクにおけるLarge Language Models (LLM) の性能は、文脈における入力-ラベル関係の例を含むと、しばしば著しく改善される。
例えば、Xie et al. (2021)は、ICLを汎用学習アルゴリズムに例えたが、Min et al. (2022b)は、ICLはインコンテキストの例からラベル関係を学ばないと主張している。
本稿では,(1)テキスト内サンプルのラベルが予測にどのように影響するか,(2)事前学習中に学習したラベル関係がテキスト内サンプルとどのように相互作用するか,(3)ICLがテキスト内サンプル間でラベル情報を集約する方法について検討する。
この結果から, LLM はテキスト内ラベルからの情報を通常含んでいるが, 事前学習とテキスト内ラベルの関係は異なる扱いがなされており, モデルがすべてのテキスト内情報を等しく考慮していないことが示唆された。
私たちの結果は、llmの動作の理解と調整に関する洞察を与えます。
関連論文リスト
- Multimodal Contrastive In-Context Learning [0.9120312014267044]
本稿では,Large Language Models (LLMs) における勾配なしインコンテキスト学習 (ICL) の理解を高めるために,新しいマルチモーダルコントラスト型インコンテキスト学習フレームワークを提案する。
まず、実世界におけるICLの対照的な解釈を示し、ICLの差別化要因としてキー値表現の距離を示す。
第2に、実世界のデータセットに対するマルチモーダル入力フォーマットにおけるバイアスに対処する分析フレームワークを開発する。
第3に、ヘイトフルミームの検出の有効性を示すICLのオンザフライアプローチを提案する。
論文 参考訳（メタデータ） (2024-08-23T10:10:01Z) - ICLEval: Evaluating In-Context Learning Ability of Large Language Models [68.7494310749199]
In-Context Learning (ICL) は大規模言語モデル(LLM)の重要な能力であり、相互接続された入力の理解と推論を可能にする。
既存の評価フレームワークは主に言語能力と知識に重点を置いており、しばしばICL能力の評価を見落としている。
LLMのICL能力を評価するためにICLEvalベンチマークを導入する。
論文 参考訳（メタデータ） (2024-06-21T08:06:10Z) - Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。
ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。
そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
論文 参考訳（メタデータ） (2024-06-20T06:37:47Z) - In-Context Learning with Long-Context Models: An In-Depth Exploration [96.1389740719691]
大規模なラベル空間を持つ多くのデータセットでは、数百から数千のデモでパフォーマンスが向上し続けています。
長いコンテキストのICLは驚くほど効果的であるが、ほとんどの利益は同様の例に答えることから得られている。
論文 参考訳（メタデータ） (2024-04-30T21:06:52Z) - In-Context Exemplars as Clues to Retrieving from Large Associative
Memory [1.2952137350423816]
インコンテキスト学習(ICL)は、大規模言語モデル(LLM)がトレーニングなしでインコンテキストの例からパターンを学習することを可能にする。
文脈内学習の仕組みの理解が欠如しているため、模範をどう選ぶかはいまだ不明である。
本研究は、メモリ検索に接続することで、ICLのメカニズムに新たな光を当てる。
論文 参考訳（メタデータ） (2023-11-06T20:13:29Z) - Investigating the Learning Behaviour of In-context Learning: A
Comparison with Supervised Learning [67.25698169440818]
大規模言語モデル(LLM)は、文脈内学習(ICL)において顕著な能力を示している。
我々は、ICLと教師あり学習(SL)を通して、同じ実演例で同じLLMを訓練し、ラベル摂動下での性能を調査する。
まず、特に大規模言語モデルにおいて、ゴールドラベルがダウンストリーム・イン・コンテクストのパフォーマンスに大きな影響を与えることを発見した。
第2に、SLと比較すると、ICLはSLよりもラベル摂動に敏感で、モデルサイズが大きくなるにつれて徐々にSLに匹敵する性能が得られることが実証的に示される。
論文 参考訳（メタデータ） (2023-07-28T09:03:19Z) - A Survey on In-context Learning [77.78614055956365]
In-context Learning (ICL) は自然言語処理(NLP)の新しいパラダイムとして登場した。
まず、ICLの形式的定義を示し、関連する研究との相関を明らかにする。
次に、トレーニング戦略、迅速なデザイン戦略、関連する分析を含む高度なテクニックを組織化し、議論する。
論文 参考訳（メタデータ） (2022-12-31T15:57:09Z) - Weakly Supervised Continual Learning [17.90483695137098]
この研究は、弱々しい監視された継続的学習(WSCL)を探求する
我々の提案は、教師付き情報が不足している場合に高い柔軟性を示すだけでなく、25%未満のラベルが、完全な監督の下で訓練されたSOTAメソッドに到達したり、性能を上回るのに十分であることを示す。
そこで本手法では, 教師付き情報が少ない場合に高い柔軟性を示すだけでなく, 25%未満のラベルが, 完全監督下で訓練されたSOTA手法に到達したり, 性能を向上させるのに十分であることを示す。
論文 参考訳（メタデータ） (2021-08-14T14:38:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。