論文の概要: A Survey to Recent Progress Towards Understanding In-Context Learning

• arxiv url: http://arxiv.org/abs/2402.02212v3
• Date: Fri, 24 Jan 2025 19:04:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 23:58:08.370219
• Title: A Survey to Recent Progress Towards Understanding In-Context Learning
• Title（参考訳）: インテクスト学習の理解に向けての最近の進歩に関する調査研究
• Authors: Haitao Mao, Guangliang Liu, Yao Ma, Rongrong Wang, Kristen Johnson, Jiliang Tang,
• Abstract要約: In-Context Learning (ICL) は、プロンプトで提供されるいくつかの例から学ぶことができる大規模言語モデル(LLM)を強化する。 実証的な成功にもかかわらず、ICLの根底にあるメカニズムはいまだ不明である。
• 参考スコア（独自算出の注目度）: 37.933016939520684
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-Context Learning (ICL) empowers Large Language Models (LLMs) with the ability to learn from a few examples provided in the prompt, enabling downstream generalization without the requirement for gradient updates. Despite encouragingly empirical success, the underlying mechanism of ICL remains unclear. Existing research remains ambiguous with various viewpoints, utilizing intuition-driven and ad-hoc technical solutions to interpret ICL. In this paper, we leverage a data generation perspective to reinterpret recent efforts from a systematic angle, demonstrating the potential broader usage of these popular technical solutions. For a conceptual definition, we rigorously adopt the terms of skill recognition and skill learning. Skill recognition selects one learned data generation function previously seen during pre-training while skill learning can learn new data generation functions from in-context data. Furthermore, we provide insights into the strengths and weaknesses of both abilities, emphasizing their commonalities through the perspective of data generation. This analysis suggests potential directions for future research.
• Abstract（参考訳）: In-Context Learning(ICL)は、インプロンプトで提供されたいくつかの例から学習する機能を備えたLarge Language Models(LLM)を強化することで、勾配更新を必要とせずに、下流の一般化を可能にする。 実証的な成功にもかかわらず、ICLの根底にあるメカニズムはいまだ不明である。 既存の研究は、直観駆動型およびアドホックな技術ソリューションを利用してICLを解釈し、様々な観点であいまいなままである。 本稿では、データ生成の観点から、最近の取り組みを体系的な角度から再解釈し、これらの一般的な技術的ソリューションの幅広い利用の可能性を示す。 概念的定義として、スキル認識とスキル学習の用語を厳格に採用する。 スキル認識は、事前学習中にこれまで見られた1つの学習データ生成関数を選択し、スキル学習は、コンテキスト内データから新しいデータ生成関数を学習することができる。 さらに,両能力の長所と短所を考察し,データ生成の観点から共通点を強調した。 この分析は将来の研究の方向性を示唆している。

関連論文リスト

• Language Guided Concept Bottleneck Models for Interpretable Continual Learning [62.09201360376577]
  継続的な学習は、学習した情報を忘れることなく、学習システムが新しい知識を常に獲得することを目的としている。 既存のCLメソッドのほとんどは、モデルパフォーマンスを改善するための学習知識の保存に重点を置いている。 両課題に対処するために,言語指導型概念ボトルネックモデルを統合する新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-03-30T02:41:55Z)
• In-Context Learning with Topological Information for Knowledge Graph Completion [3.035601871864059]
  我々は,知識グラフの性能を向上させるために,文脈内学習を通じてトポロジ情報を組み込む新しい手法を開発した。 提案手法は,テストグラフデータセット内のノードがトレーニンググラフデータセットに存在するような,トランスダクティブな設定において,高いパフォーマンスを実現する。 提案手法は,ILPC小データセットとILPC大データセットのベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-11T19:29:36Z)
• Explainability in AI Based Applications: A Framework for Comparing Different Techniques [2.5874041837241304]
  ビジネスアプリケーションでは、理解可能性と精度のバランスをとる適切な説明可能性方法を選択することが課題である。 本稿では,異なる説明可能性手法の一致を評価するための新しい手法を提案する。 多様な説明可能性手法の合意を理解するための実践的な枠組みを提供することにより、ビジネスアプリケーションにおける解釈可能なAIシステムのより広範な統合を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-10-28T09:45:34Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Federated Learning driven Large Language Models for Swarm Intelligence: A Survey [2.769238399659845]
  Federated Learning (FL)は、大規模言語モデル(LLM)をトレーニングするための魅力的なフレームワークを提供する 私たちは機械学習に重点を置いています。これは、忘れられる権利のようなプライバシー規則に従う上で重要な側面です。 摂動技術やモデル分解,漸進学習など,効果的なアンラーニングを可能にするさまざまな戦略を探求する。
  論文  参考訳（メタデータ） (2024-06-14T08:40:58Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Développement automatique de lexiques pour les concepts émergents : une exploration méthodologique [0.0]
  本稿では,非技術革新を中心に,新しい概念を中心としたレキシコンの開発について述べる。 人間の専門知識、統計分析、機械学習技術を組み合わせた4段階の方法論を導入し、複数のドメインにまたがって一般化可能なモデルを確立する。
  論文  参考訳（メタデータ） (2024-06-10T12:58:56Z)
• Exploring the landscape of large language models: Foundations, techniques, and challenges [8.042562891309414]
  この記事では、コンテキスト内学習の力学と微調整アプローチのスペクトルについて光を当てている。 革新的な強化学習フレームワークを通じて、LLMが人間の好みとより緊密に連携する方法について検討する。 LLMデプロイメントの倫理的側面は議論され、マインドフルで責任あるアプリケーションの必要性を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-04-18T08:01:20Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• The Contribution of Knowledge in Visiolinguistic Learning: A Survey on Tasks and Challenges [0.0]
  視覚言語学(VL)事前学習に用いられる現在のデータセットは、限られた量の視覚的知識と言語的知識しか含まない。 知識グラフ(KG)やLarge Language Model(LLM)といった外部知識ソースは、そのような一般化ギャップをカバーすることができる。
  論文  参考訳（メタデータ） (2023-03-04T13:12:18Z)
• Vision+X: A Survey on Multimodal Learning in the Light of Data [64.03266872103835]
  様々なソースからのデータを組み込んだマルチモーダル機械学習が,ますます普及している研究分野となっている。 我々は、視覚、音声、テキスト、動きなど、各データフォーマットの共通点と特異点を分析する。 本稿では,表現学習と下流アプリケーションレベルの両方から,マルチモーダル学習に関する既存の文献を考察する。
  論文  参考訳（メタデータ） (2022-10-05T13:14:57Z)
• Semi-Supervised and Unsupervised Deep Visual Learning: A Survey [76.2650734930974]
  半教師なし学習と教師なし学習は、ラベルなしの視覚データから学ぶための有望なパラダイムを提供する。 本稿では, 半教師付き学習(SSL)と非教師付き学習(UL)の先進的な深層学習アルゴリズムについて, 統一的な視点による視覚的認識について概説する。
  論文  参考訳（メタデータ） (2022-08-24T04:26:21Z)
• Causal Reasoning Meets Visual Representation Learning: A Prospective Study [117.08431221482638]
  解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。 人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。 本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
  論文  参考訳（メタデータ） (2022-04-26T02:22:28Z)
• Semantics of the Black-Box: Can knowledge graphs help make deep learning systems more interpretable and explainable? [4.2111286819721485]
  近年のディープラーニング(DL)の革新は、個人や社会に大きな影響を与える可能性がある。 DLモデルのブラックボックスの性質と大量のデータへの過度依存は、システムの解釈可能性と説明可能性に課題をもたらす。 本稿では,知識グラフとして提供される知識が,知識注入学習を用いたDL手法にどのように組み込まれているかを示す。
  論文  参考訳（メタデータ） (2020-10-16T22:55:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。