論文の概要: A Data Generation Perspective to the Mechanism of In-Context Learning
- arxiv url: http://arxiv.org/abs/2402.02212v1
- Date: Sat, 3 Feb 2024 17:13:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 21:12:22.024158
- Title: A Data Generation Perspective to the Mechanism of In-Context Learning
- Title（参考訳）: 文脈内学習のメカニズムに関するデータ生成の視点
- Authors: Haitao Mao, Guangliang Liu, Yao Ma, Rongrong Wang, Jiliang Tang
- Abstract要約: In-Context Learning (ICL)は、大規模言語モデル(LLM)にコンテキストで学習する能力を与える。
経験的成功を奨励するにもかかわらず、ICLの基盤となるメカニズムは未だ不明である。
- 参考スコア（独自算出の注目度）: 42.74744001778945
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In-Context Learning (ICL) empowers Large Language Models (LLMs) with the
capacity to learn in context, achieving downstream generalization without
gradient updates but with a few in-context examples. Despite the encouraging
empirical success, the underlying mechanism of ICL remains unclear, and
existing research offers various viewpoints of understanding. These studies
propose intuition-driven and ad-hoc technical solutions for interpreting ICL,
illustrating an ambiguous road map. In this paper, we leverage a data
generation perspective to reinterpret recent efforts and demonstrate the
potential broader usage of popular technical solutions, approaching a
systematic angle. For a conceptual definition, we rigorously adopt the terms of
skill learning and skill recognition. The difference between them is skill
learning can learn new data generation functions from in-context data. We also
provide a comprehensive study on the merits and weaknesses of different
solutions, and highlight the uniformity among them given the perspective of
data generation, establishing a technical foundation for future research to
incorporate the strengths of different lines of research.
- Abstract（参考訳）: in-context learning(icl)は、大規模言語モデル(llm)にコンテキストで学習する能力を与え、勾配更新なしで下流の一般化を達成する。
実証的な成功を奨励しているにもかかわらず、ICLの基盤となるメカニズムはいまだ不明であり、既存の研究は様々な理解の視点を提供している。
これらの研究は直観的かつアドホックなicl解釈法を提案し、あいまいな道路図を導出する。
本稿では、データ生成の観点から最近の取り組みを再解釈し、体系的な角度に近づき、一般的な技術ソリューションの幅広い利用の可能性を示す。
概念的定義としては、スキル学習とスキル認識の用語を厳格に採用する。
両者の違いは、スキル学習がコンテキスト内データから新しいデータ生成関数を学習できることだ。
また、さまざまなソリューションのメリットと弱点を総合的に研究し、データ生成の観点からそれらの均一性を強調し、異なる研究ラインの強みを組み込むための将来の研究のための技術基盤を確立する。
関連論文リスト
- Explainability in AI Based Applications: A Framework for Comparing Different Techniques [2.5874041837241304]
ビジネスアプリケーションでは、理解可能性と精度のバランスをとる適切な説明可能性方法を選択することが課題である。
本稿では,異なる説明可能性手法の一致を評価するための新しい手法を提案する。
多様な説明可能性手法の合意を理解するための実践的な枠組みを提供することにより、ビジネスアプリケーションにおける解釈可能なAIシステムのより広範な統合を促進することを目的としている。
論文 参考訳（メタデータ） (2024-10-28T09:45:34Z) - Coding for Intelligence from the Perspective of Category [66.14012258680992]
符号化の対象はデータの圧縮と再構成、インテリジェンスである。
最近の傾向は、これらの2つの分野の潜在的均一性を示している。
本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
論文 参考訳（メタデータ） (2024-07-01T07:05:44Z) - Federated Learning driven Large Language Models for Swarm Intelligence: A Survey [2.769238399659845]
Federated Learning (FL)は、大規模言語モデル(LLM)をトレーニングするための魅力的なフレームワークを提供する
私たちは機械学習に重点を置いています。これは、忘れられる権利のようなプライバシー規則に従う上で重要な側面です。
摂動技術やモデル分解,漸進学習など,効果的なアンラーニングを可能にするさまざまな戦略を探求する。
論文 参考訳（メタデータ） (2024-06-14T08:40:58Z) - Développement automatique de lexiques pour les concepts émergents : une exploration méthodologique [0.0]
本稿では,非技術革新を中心に,新しい概念を中心としたレキシコンの開発について述べる。
人間の専門知識、統計分析、機械学習技術を組み合わせた4段階の方法論を導入し、複数のドメインにまたがって一般化可能なモデルを確立する。
論文 参考訳（メタデータ） (2024-06-10T12:58:56Z) - Exploring the landscape of large language models: Foundations, techniques, and challenges [8.042562891309414]
この記事では、コンテキスト内学習の力学と微調整アプローチのスペクトルについて光を当てている。
革新的な強化学習フレームワークを通じて、LLMが人間の好みとより緊密に連携する方法について検討する。
LLMデプロイメントの倫理的側面は議論され、マインドフルで責任あるアプリケーションの必要性を浮き彫りにしている。
論文 参考訳（メタデータ） (2024-04-18T08:01:20Z) - A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳（メタデータ） (2024-03-20T02:21:44Z) - Vision+X: A Survey on Multimodal Learning in the Light of Data [64.03266872103835]
様々なソースからのデータを組み込んだマルチモーダル機械学習が,ますます普及している研究分野となっている。
我々は、視覚、音声、テキスト、動きなど、各データフォーマットの共通点と特異点を分析する。
本稿では,表現学習と下流アプリケーションレベルの両方から,マルチモーダル学習に関する既存の文献を考察する。
論文 参考訳（メタデータ） (2022-10-05T13:14:57Z) - Semi-Supervised and Unsupervised Deep Visual Learning: A Survey [76.2650734930974]
半教師なし学習と教師なし学習は、ラベルなしの視覚データから学ぶための有望なパラダイムを提供する。
本稿では, 半教師付き学習(SSL)と非教師付き学習(UL)の先進的な深層学習アルゴリズムについて, 統一的な視点による視覚的認識について概説する。
論文 参考訳（メタデータ） (2022-08-24T04:26:21Z) - Causal Reasoning Meets Visual Representation Learning: A Prospective
Study [117.08431221482638]
解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。
人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。
本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
論文 参考訳（メタデータ） (2022-04-26T02:22:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。