論文の概要: A Data Generation Perspective to the Mechanism of In-Context Learning
- arxiv url: http://arxiv.org/abs/2402.02212v1
- Date: Sat, 3 Feb 2024 17:13:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 21:12:22.024158
- Title: A Data Generation Perspective to the Mechanism of In-Context Learning
- Title(参考訳): 文脈内学習のメカニズムに関するデータ生成の視点
- Authors: Haitao Mao, Guangliang Liu, Yao Ma, Rongrong Wang, Jiliang Tang
- Abstract要約: In-Context Learning (ICL)は、大規模言語モデル(LLM)にコンテキストで学習する能力を与える。
経験的成功を奨励するにもかかわらず、ICLの基盤となるメカニズムは未だ不明である。
- 参考スコア(独自算出の注目度): 42.74744001778945
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In-Context Learning (ICL) empowers Large Language Models (LLMs) with the
capacity to learn in context, achieving downstream generalization without
gradient updates but with a few in-context examples. Despite the encouraging
empirical success, the underlying mechanism of ICL remains unclear, and
existing research offers various viewpoints of understanding. These studies
propose intuition-driven and ad-hoc technical solutions for interpreting ICL,
illustrating an ambiguous road map. In this paper, we leverage a data
generation perspective to reinterpret recent efforts and demonstrate the
potential broader usage of popular technical solutions, approaching a
systematic angle. For a conceptual definition, we rigorously adopt the terms of
skill learning and skill recognition. The difference between them is skill
learning can learn new data generation functions from in-context data. We also
provide a comprehensive study on the merits and weaknesses of different
solutions, and highlight the uniformity among them given the perspective of
data generation, establishing a technical foundation for future research to
incorporate the strengths of different lines of research.
- Abstract(参考訳): in-context learning(icl)は、大規模言語モデル(llm)にコンテキストで学習する能力を与え、勾配更新なしで下流の一般化を達成する。
実証的な成功を奨励しているにもかかわらず、ICLの基盤となるメカニズムはいまだ不明であり、既存の研究は様々な理解の視点を提供している。
これらの研究は直観的かつアドホックなicl解釈法を提案し、あいまいな道路図を導出する。
本稿では、データ生成の観点から最近の取り組みを再解釈し、体系的な角度に近づき、一般的な技術ソリューションの幅広い利用の可能性を示す。
概念的定義としては、スキル学習とスキル認識の用語を厳格に採用する。
両者の違いは、スキル学習がコンテキスト内データから新しいデータ生成関数を学習できることだ。
また、さまざまなソリューションのメリットと弱点を総合的に研究し、データ生成の観点からそれらの均一性を強調し、異なる研究ラインの強みを組み込むための将来の研究のための技術基盤を確立する。
関連論文リスト
- Exploring Machine Learning Models for Federated Learning: A Review of
Approaches, Performance, and Limitations [1.1060425537315088]
フェデレートラーニング(Federated Learning)は、個人のデータのプライバシを保護するために強化された分散学習フレームワークである。
危機時には、リアルタイムな意思決定が重要である場合、フェデレートされた学習は、機密データを共有せずに複数のエンティティをまとめて機能させることができる。
本稿では,ここ数年のプライバシ保護機械学習に関する文献を体系的にレビューする。
論文 参考訳(メタデータ) (2023-11-17T19:23:21Z) - Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
我々は、ITの一般的な方法論、ITデータセットの構築、ITモデルのトレーニング、異なるモダリティ、ドメイン、アプリケーションへのアプリケーションを含む、文献を体系的にレビューする。
また、ITの潜在的な落とし穴とそれに対する批判、および既存の戦略の現在の欠陥を指摘し、実りある研究の道筋を提案する。
論文 参考訳(メタデータ) (2023-08-21T15:35:16Z) - SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。
メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。
実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
論文 参考訳(メタデータ) (2023-07-15T08:33:08Z) - The Contribution of Knowledge in Visiolinguistic Learning: A Survey on
Tasks and Challenges [0.0]
視覚言語学(VL)事前学習に用いられる現在のデータセットは、限られた量の視覚的知識と言語的知識しか含まない。
知識グラフ(KG)やLarge Language Model(LLM)といった外部知識ソースは、そのような一般化ギャップをカバーすることができる。
論文 参考訳(メタデータ) (2023-03-04T13:12:18Z) - Semi-Supervised and Unsupervised Deep Visual Learning: A Survey [76.2650734930974]
半教師なし学習と教師なし学習は、ラベルなしの視覚データから学ぶための有望なパラダイムを提供する。
本稿では, 半教師付き学習(SSL)と非教師付き学習(UL)の先進的な深層学習アルゴリズムについて, 統一的な視点による視覚的認識について概説する。
論文 参考訳(メタデータ) (2022-08-24T04:26:21Z) - Causal Reasoning Meets Visual Representation Learning: A Prospective
Study [117.08431221482638]
解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。
人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。
本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
論文 参考訳(メタデータ) (2022-04-26T02:22:28Z) - Semantic-aware Knowledge Distillation for Few-Shot Class-Incremental
Learning [32.52270964066876]
少数のショットクラスインクリメンタルラーニング(FSCIL)は、新しい概念を徐々に学習する問題を示しています。
FSCILの問題に対処するための蒸留アルゴリズムを導入し、トレーニング中に意味情報の活用を提案する。
論文 参考訳(メタデータ) (2021-03-06T08:07:26Z) - Semantics of the Black-Box: Can knowledge graphs help make deep learning
systems more interpretable and explainable? [4.2111286819721485]
近年のディープラーニング(DL)の革新は、個人や社会に大きな影響を与える可能性がある。
DLモデルのブラックボックスの性質と大量のデータへの過度依存は、システムの解釈可能性と説明可能性に課題をもたらす。
本稿では,知識グラフとして提供される知識が,知識注入学習を用いたDL手法にどのように組み込まれているかを示す。
論文 参考訳(メタデータ) (2020-10-16T22:55:23Z) - Concept Learners for Few-Shot Learning [76.08585517480807]
本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。
我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
論文 参考訳(メタデータ) (2020-07-14T22:04:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。