論文の概要: The broader spectrum of in-context learning

• arxiv url: http://arxiv.org/abs/2412.03782v1
• Date: Thu, 05 Dec 2024 00:05:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-06 14:42:27.712123
• Title: The broader spectrum of in-context learning
• Title（参考訳）: テキスト内学習の幅広いスペクトル
• Authors: Andrew Kyle Lampinen, Stephanie C. Y. Chan, Aaditya K. Singh, Murray Shanahan,
• Abstract要約: 我々は、このタイプの教師付き少数ショット学習を、より広い範囲のメタラーニングインコンテキストラーニングの範囲内に配置する視点を提供する。 文脈非自明にその後の予測における損失を減少させるシーケンスの分布を抽出できることを提案する。 我々は、文脈内学習の研究は、このより広い範囲の文脈内能力と一般化のタイプを考慮すべきである、という提案を締めくくっている。
• 参考スコア（独自算出の注目度）: 13.111927028942329
• License:
• Abstract: The ability of language models to learn a task from a few examples in context has generated substantial interest. Here, we provide a perspective that situates this type of supervised few-shot learning within a much broader spectrum of meta-learned in-context learning. Indeed, we suggest that any distribution of sequences in which context non-trivially decreases loss on subsequent predictions can be interpreted as eliciting a kind of in-context learning. We suggest that this perspective helps to unify the broad set of in-context abilities that language models exhibit $\unicode{x2014}$ such as adapting to tasks from instructions or role play, or extrapolating time series. This perspective also sheds light on potential roots of in-context learning in lower-level processing of linguistic dependencies (e.g. coreference or parallel structures). Finally, taking this perspective highlights the importance of generalization, which we suggest can be studied along several dimensions: not only the ability to learn something novel, but also flexibility in learning from different presentations, and in applying what is learned. We discuss broader connections to past literature in meta-learning and goal-conditioned agents, and other perspectives on learning and adaptation. We close by suggesting that research on in-context learning should consider this broader spectrum of in-context capabilities and types of generalization.
• Abstract（参考訳）: 言語モデルがコンテキスト内のいくつかの例からタスクを学習する能力は、かなりの関心を集めている。 ここでは、このタイプの教師付き少数ショット学習を、メタ学習によるテキスト内学習のより広い範囲に網羅する視点を提供する。 実際、文脈非自明にその後の予測における損失を減少させるシーケンスの分布は、文脈内学習の一種を引き出すものとして解釈できる。 この視点は、言語モデルが$\unicode{x2014}$を示す幅広いコンテキスト内能力の集合を統一するのに役立ち、例えば、命令やロールプレイからタスクに適応したり、時系列を外挿したりするのに役立ちます。 この視点はまた、言語依存(例えば、コア参照や並列構造)の低レベルな処理における文脈内学習の潜在的な根源にも光を当てている。 最後に、この観点からは、一般化の重要性を強調します。これは、新しいことを学ぶ能力だけでなく、異なるプレゼンテーションから学ぶことの柔軟性や、何を学ぶかを適用することの柔軟性など、いくつかの側面で研究できることを示唆します。 メタラーニングと目標条件付きエージェントにおける過去の文学とのより広範な関係や、学習と適応に関する他の視点について論じる。 我々は、文脈内学習の研究は、この広い範囲の文脈内能力と一般化のタイプを考慮すべきである、という提案を締めくくっている。

関連論文リスト

• Toward Understanding In-context vs. In-weight Learning [50.24035812301655]
  本研究は,文脈内学習の出現と消失を引き起こす簡易な分布特性を同定する。 そして、この研究を完全な大規模言語モデルに拡張し、自然言語プロンプトの様々なコレクションの微調整が、文脈内および重み付き学習の振る舞いをいかに引き出すかを示す。
  論文  参考訳（メタデータ） (2024-10-30T14:09:00Z)
• In-context Learning in Presence of Spurious Correlations [8.055478206164105]
  本研究では,突発的特徴を含む分類課題に対して,文脈内学習者を訓練する可能性について検討する。 従来の文脈内学習者の訓練手法は、刺激的な特徴に影響を受けやすいことが判明した。 与えられた分類タスクに対して,そのような学習者を訓練するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-10-04T04:26:36Z)
• Improving In-Context Learning in Diffusion Models with Visual Context-Modulated Prompts [83.03471704115786]
  本研究では,改良型プロンプト拡散(iPromptDiff)を紹介する。 iPromptDiffは、視覚コンテキストを埋め込みベクトルに変換するエンドツーエンドのトレーニングされた視覚エンコーダを統合する。 拡散に基づく視覚基盤モデルにおいて,この視覚的文脈変調テキストガイダンスと標準制御ネット構造を組み込んだ場合,多種多様な学習課題における多目的性と堅牢性を示すことを示す。
  論文  参考訳（メタデータ） (2023-12-03T14:15:52Z)
• MAGNIFICo: Evaluating the In-Context Learning Ability of Large Language Models to Generalize to Novel Interpretations [37.13707912132472]
  人間は言語表現に新しい解釈を割り当てる素晴らしい能力を持っている。 大きな言語モデル(LLM)は知識の切り離しを持ち、何度も微調整を繰り返すのに費用がかかる。 我々は,LLMが文脈内学習を用いて新しい解釈を習得する能力を体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-18T00:02:38Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• How Do In-Context Examples Affect Compositional Generalization? [86.57079616209474]
  本稿では,コンテクスト内構成一般化を検証するためのテストスイートであるCoFeを提案する。 構成一般化性能は、文脈内例の選択によって容易に影響を受けることが判明した。 我々の系統実験は、文脈内サンプルは、テストケースと構造的に似ており、互いに異なっており、個別に単純であることを示します。
  論文  参考訳（メタデータ） (2023-05-08T16:32:18Z)
• The Learnability of In-Context Learning [16.182561312622315]
  そこで本研究では,文脈内学習のための初歩的なPACベースのフレームワークを提案する。 本フレームワークは,事前学習に適合する初期事前学習フェーズを含む。 文脈内学習は、タスクを学習することよりも、タスクを特定することにあることを示す。
  論文  参考訳（メタデータ） (2023-03-14T13:28:39Z)
• Rethinking the Role of Scale for In-Context Learning: An Interpretability-based Case Study at 66 Billion Scale [60.336655143884904]
  本研究では,大規模言語モデルによるタスクの文脈内学習性能が,その基盤となるコンポーネントに均一に分散していないという仮説を考察する。 タスク間のインコンテキスト学習とインコンテキストサンプルの数に対して,アテンションヘッドのセット(重要でない)にかなりの重複がみられた。
  論文  参考訳（メタデータ） (2022-12-18T14:36:07Z)
• Towards a theory of out-of-distribution learning [23.878004729029644]
  本稿では,PAC学習フレームワークを用いて,異なる学習課題を定義するための時系列的アプローチを提案する。 まずは流通学習から始め、最近提案された生涯学習や継続学習へと進む。 この研究によって、さまざまなタイプの学習を定量化する、普遍的に合意されたアプローチがもたらされることを期待しています。
  論文  参考訳（メタデータ） (2021-09-29T15:35:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。