論文の概要: A Data Generation Perspective to the Mechanism of In-Context Learning

• arxiv url: http://arxiv.org/abs/2402.02212v1
• Date: Sat, 3 Feb 2024 17:13:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-02-06 21:12:22.024158
• Title: A Data Generation Perspective to the Mechanism of In-Context Learning
• Title（参考訳）: 文脈内学習のメカニズムに関するデータ生成の視点
• Authors: Haitao Mao, Guangliang Liu, Yao Ma, Rongrong Wang, Jiliang Tang
• Abstract要約: In-Context Learning (ICL)は、大規模言語モデル(LLM)にコンテキストで学習する能力を与える。 経験的成功を奨励するにもかかわらず、ICLの基盤となるメカニズムは未だ不明である。
• 参考スコア（独自算出の注目度）: 42.74744001778945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Context Learning (ICL) empowers Large Language Models (LLMs) with the capacity to learn in context, achieving downstream generalization without gradient updates but with a few in-context examples. Despite the encouraging empirical success, the underlying mechanism of ICL remains unclear, and existing research offers various viewpoints of understanding. These studies propose intuition-driven and ad-hoc technical solutions for interpreting ICL, illustrating an ambiguous road map. In this paper, we leverage a data generation perspective to reinterpret recent efforts and demonstrate the potential broader usage of popular technical solutions, approaching a systematic angle. For a conceptual definition, we rigorously adopt the terms of skill learning and skill recognition. The difference between them is skill learning can learn new data generation functions from in-context data. We also provide a comprehensive study on the merits and weaknesses of different solutions, and highlight the uniformity among them given the perspective of data generation, establishing a technical foundation for future research to incorporate the strengths of different lines of research.
• Abstract（参考訳）: in-context learning(icl)は、大規模言語モデル(llm)にコンテキストで学習する能力を与え、勾配更新なしで下流の一般化を達成する。 実証的な成功を奨励しているにもかかわらず、ICLの基盤となるメカニズムはいまだ不明であり、既存の研究は様々な理解の視点を提供している。 これらの研究は直観的かつアドホックなicl解釈法を提案し、あいまいな道路図を導出する。 本稿では、データ生成の観点から最近の取り組みを再解釈し、体系的な角度に近づき、一般的な技術ソリューションの幅広い利用の可能性を示す。 概念的定義としては、スキル学習とスキル認識の用語を厳格に採用する。 両者の違いは、スキル学習がコンテキスト内データから新しいデータ生成関数を学習できることだ。 また、さまざまなソリューションのメリットと弱点を総合的に研究し、データ生成の観点からそれらの均一性を強調し、異なる研究ラインの強みを組み込むための将来の研究のための技術基盤を確立する。

関連論文リスト

• Language Guided Concept Bottleneck Models for Interpretable Continual Learning [62.09201360376577]
  継続的な学習は、学習した情報を忘れることなく、学習システムが新しい知識を常に獲得することを目的としている。 既存のCLメソッドのほとんどは、モデルパフォーマンスを改善するための学習知識の保存に重点を置いている。 両課題に対処するために,言語指導型概念ボトルネックモデルを統合する新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-03-30T02:41:55Z)
• In-Context Learning with Topological Information for Knowledge Graph Completion [3.035601871864059]
  我々は,知識グラフの性能を向上させるために,文脈内学習を通じてトポロジ情報を組み込む新しい手法を開発した。 提案手法は,テストグラフデータセット内のノードがトレーニンググラフデータセットに存在するような,トランスダクティブな設定において,高いパフォーマンスを実現する。 提案手法は,ILPC小データセットとILPC大データセットのベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-11T19:29:36Z)
• Explainability in AI Based Applications: A Framework for Comparing Different Techniques [2.5874041837241304]
  ビジネスアプリケーションでは、理解可能性と精度のバランスをとる適切な説明可能性方法を選択することが課題である。 本稿では,異なる説明可能性手法の一致を評価するための新しい手法を提案する。 多様な説明可能性手法の合意を理解するための実践的な枠組みを提供することにより、ビジネスアプリケーションにおける解釈可能なAIシステムのより広範な統合を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-10-28T09:45:34Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Federated Learning driven Large Language Models for Swarm Intelligence: A Survey [2.769238399659845]
  Federated Learning (FL)は、大規模言語モデル(LLM)をトレーニングするための魅力的なフレームワークを提供する 私たちは機械学習に重点を置いています。これは、忘れられる権利のようなプライバシー規則に従う上で重要な側面です。 摂動技術やモデル分解,漸進学習など,効果的なアンラーニングを可能にするさまざまな戦略を探求する。
  論文  参考訳（メタデータ） (2024-06-14T08:40:58Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Développement automatique de lexiques pour les concepts émergents : une exploration méthodologique [0.0]
  本稿では,非技術革新を中心に,新しい概念を中心としたレキシコンの開発について述べる。 人間の専門知識、統計分析、機械学習技術を組み合わせた4段階の方法論を導入し、複数のドメインにまたがって一般化可能なモデルを確立する。
  論文  参考訳（メタデータ） (2024-06-10T12:58:56Z)
• Exploring the landscape of large language models: Foundations, techniques, and challenges [8.042562891309414]
  この記事では、コンテキスト内学習の力学と微調整アプローチのスペクトルについて光を当てている。 革新的な強化学習フレームワークを通じて、LLMが人間の好みとより緊密に連携する方法について検討する。 LLMデプロイメントの倫理的側面は議論され、マインドフルで責任あるアプリケーションの必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-04-18T08:01:20Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• The Contribution of Knowledge in Visiolinguistic Learning: A Survey on Tasks and Challenges [0.0]
  視覚言語学(VL)事前学習に用いられる現在のデータセットは、限られた量の視覚的知識と言語的知識しか含まない。 知識グラフ(KG)やLarge Language Model(LLM)といった外部知識ソースは、そのような一般化ギャップをカバーすることができる。
  論文  参考訳（メタデータ） (2023-03-04T13:12:18Z)
• Vision+X: A Survey on Multimodal Learning in the Light of Data [64.03266872103835]
  様々なソースからのデータを組み込んだマルチモーダル機械学習が,ますます普及している研究分野となっている。 我々は、視覚、音声、テキスト、動きなど、各データフォーマットの共通点と特異点を分析する。 本稿では,表現学習と下流アプリケーションレベルの両方から,マルチモーダル学習に関する既存の文献を考察する。
  論文  参考訳（メタデータ） (2022-10-05T13:14:57Z)
• Semi-Supervised and Unsupervised Deep Visual Learning: A Survey [76.2650734930974]
  半教師なし学習と教師なし学習は、ラベルなしの視覚データから学ぶための有望なパラダイムを提供する。 本稿では, 半教師付き学習(SSL)と非教師付き学習(UL)の先進的な深層学習アルゴリズムについて, 統一的な視点による視覚的認識について概説する。
  論文  参考訳（メタデータ） (2022-08-24T04:26:21Z)
• Causal Reasoning Meets Visual Representation Learning: A Prospective Study [117.08431221482638]
  解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。 人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。 本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
  論文  参考訳（メタデータ） (2022-04-26T02:22:28Z)
• Semantics of the Black-Box: Can knowledge graphs help make deep learning systems more interpretable and explainable? [4.2111286819721485]
  近年のディープラーニング(DL)の革新は、個人や社会に大きな影響を与える可能性がある。 DLモデルのブラックボックスの性質と大量のデータへの過度依存は、システムの解釈可能性と説明可能性に課題をもたらす。 本稿では,知識グラフとして提供される知識が,知識注入学習を用いたDL手法にどのように組み込まれているかを示す。
  論文  参考訳（メタデータ） (2020-10-16T22:55:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。