論文の概要: From Unstructured Data to In-Context Learning: Exploring What Tasks Can Be Learned and When

• arxiv url: http://arxiv.org/abs/2406.00131v2
• Date: Sun, 10 Nov 2024 13:58:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:06:32.633694
• Title: From Unstructured Data to In-Context Learning: Exploring What Tasks Can Be Learned and When
• Title（参考訳）: 構造化されていないデータからコンテキスト内学習へ - どのようなタスクをいつ学べるかを探る
• Authors: Kevin Christian Wibisono, Yixin Wang,
• Abstract要約: トランスフォーマーのような大きな言語モデル(LLM)は、インコンテキスト学習(ICL)機能を示す。 我々は、非構造化データで訓練されたモデルにおいて、ICLを実現するために、重要なシーケンスモデル要件とデータ構造について検討する。 我々は,非構造化データにおける意味的関連語対の共起から,多くのICL機能が出現することを発見した。 In one in logic reasoning task that requires generalization to new, unseen pattern, and another in analogy completion where relevant word pairs appears in fixed training position。
• 参考スコア（独自算出の注目度）: 19.841163050181194
• License:
• Abstract: Large language models (LLMs) like transformers demonstrate impressive in-context learning (ICL) capabilities, allowing them to make predictions for new tasks based on prompt exemplars without parameter updates. While existing ICL theories often assume structured training data resembling ICL tasks (e.g., x-y pairs for linear regression), LLMs are typically trained unsupervised on unstructured text, such as web content, which lacks clear parallels to tasks like word analogy. To address this gap, we examine what enables ICL in models trained on unstructured data, focusing on critical sequence model requirements and training data structure. We find that many ICL capabilities can emerge simply from co-occurrence of semantically related word pairs in unstructured data; word analogy completion, for example, can provably arise purely through co-occurrence modeling, using classical language models like continuous bag of words (CBOW), without needing positional information or attention mechanisms. However, positional information becomes crucial for logic reasoning tasks requiring generalization to unseen tokens. Finally, we identify two cases where ICL fails: one in logic reasoning tasks that require generalizing to new, unseen patterns, and another in analogy completion where relevant word pairs appear only in fixed training positions. These findings suggest that LLMs' ICL abilities depend heavily on the structural elements within their training data.
• Abstract（参考訳）: トランスフォーマーのような大きな言語モデル(LLM)は、印象的なインコンテキスト学習(ICL)機能を示し、パラメータを更新せずにプロンプトエクスプローラに基づいた新しいタスクの予測を可能にする。 既存のICL理論では、ICLタスクに似た構造化トレーニングデータ(例えば、線形回帰のためのx-yペア)を仮定することが多いが、LLMは通常、Webコンテンツのような構造化されていないテキストで教師なしで訓練される。 このギャップに対処するために、重要シーケンスモデルの要求とデータ構造のトレーニングに焦点をあて、非構造化データで訓練されたモデルにおいてICLを実現する方法を検討する。 例えば、単語の類似補完は、位置情報や注意機構を必要とせず、連続的な単語の袋(CBOW)のような古典的な言語モデルを用いて、共起モデリングによって純粋に生じる。 しかし、位置情報は、未知のトークンの一般化を必要とする論理的推論タスクにおいて重要である。 最後に、ICLが失敗する2つのケースを特定する。1つは、新しい、見えないパターンへの一般化を必要とする論理推論タスクであり、もう1つは、関連する単語ペアが固定されたトレーニング位置にのみ現れるアナログ補完である。 これらの結果から,LSMのICL能力はトレーニングデータの構造的要素に大きく依存していることが示唆された。

関連論文リスト

• Retrieval or Global Context Understanding? On Many-Shot In-Context Learning for Long-Context Evaluation [10.500629810624769]
  マルチショットインコンテキスト学習(ICL)による長文言語モデルの評価について検討する。 ICLタスクが必要とするスキルを特定し、それらに対するモデルの長期コンテキスト能力を調べる。 我々は、LCLMの検索機能とグローバルコンテキスト理解機能を別々に特徴付けるために、新しいマルチショットICLベンチマークMANYICLBENCHを導入する。
  論文  参考訳（メタデータ） (2024-11-11T17:00:59Z)
• Understanding Synthetic Context Extension via Retrieval Heads [51.8869530817334]
  本稿では,検索と推論を必要とする3つの長文タスクに対する合成データの微調整について検討する。 合成データに基づいてトレーニングされたモデルは、実際のデータには及ばないが、驚くべきことに、ミスマッチを解釈できる。 我々の結果は、合成データの微調整性能の解釈方法と、長期にわたる実世界の能力学習のためのより良いデータ作成方法に光を当てた。
  論文  参考訳（メタデータ） (2024-10-29T17:55:00Z)
• Struct-X: Enhancing Large Language Models Reasoning with Structured Data [38.558614152006975]
  構造Xは5つの重要なフェーズを通して動作する:read-model-fill-reflect-reason' 構造化データをグラフ埋め込みを用いて位相空間にエンコードする。 行方不明のエンティティ情報を知識検索モジュールで埋める。 最後のフェーズでは、選択したトークンでトポロジネットワークを構築する。
  論文  参考訳（メタデータ） (2024-07-17T13:06:25Z)
• Can Long-Context Language Models Subsume Retrieval, RAG, SQL, and More? [54.667202878390526]
  長文言語モデル(LCLM)は、従来、検索システムやデータベースといった外部ツールに依存していたタスクへのアプローチに革命をもたらす可能性がある。 実世界のタスクのベンチマークであるLOFTを導入し、文脈内検索と推論においてLCLMの性能を評価するために設計された数百万のトークンを出力する。 以上の結果からLCLMは,これらのタスクを明示的に訓練したことがないにも関わらず,最先端の検索システムやRAGシステムと競合する驚くべき能力を示した。
  論文  参考訳（メタデータ） (2024-06-19T00:28:58Z)
• Parallel Structures in Pre-training Data Yield In-Context Learning [41.27837171531926]
  我々は、事前学習データのパターンが文脈内学習(ICL)にどのような寄与するかを検討する。 LMのICL能力は、事前学習データで$textitparallel構造に依存している。
  論文  参考訳（メタデータ） (2024-02-19T20:40:48Z)
• In-context Learning Generalizes, But Not Always Robustly: The Case of Syntax [36.98247762224868]
  In-context Learning (ICL)は、現在、大規模言語モデル(LLM)の新しいタスクを教える一般的な方法である。 モデルは、文脈によって定義されたタスクの基盤構造を推論するか、あるいは、同じ分散例にのみ一般化する表面一般化に依存するか? GPT, PaLM, および Llama 2 ファミリーのモデルを用いた実験では, LM 間で大きなばらつきが認められた。 この分散は、モデルサイズよりも事前学習コーパスと監督方法の構成によりより説明される。
  論文  参考訳（メタデータ） (2023-11-13T23:52:43Z)
• Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
  テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。 モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
  論文  参考訳（メタデータ） (2023-10-09T06:57:45Z)
• Understanding In-Context Learning via Supportive Pretraining Data [55.648777340129364]
  In-context Learning (ICL)は、推論時にいくつかの例を示すだけで、様々なNLPタスクにおける言語モデルの性能を改善する。 ICLの能力がなぜ出現するかはよく分かっていないが、モデルがそのようなデモで特別に訓練されたことはない。 我々の研究は、インスタンスレベルの事前学習データを分析して、ICLを理解するための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2023-06-26T22:14:04Z)
• Concept-aware Training Improves In-context Learning Ability of Language Models [0.0]
  トランスフォーマーファミリーの最近の言語モデル(LM)の多くは、いわゆるインコンテキスト学習(ICL)能力を示している。 テキスト内情報をよりよく活用できるLMを作成する手法を提案する。 概念認識トレーニングのデータサンプリングはモデルの推論能力を継続的に改善する。
  論文  参考訳（メタデータ） (2023-05-23T07:44:52Z)
• Explaining Emergent In-Context Learning as Kernel Regression [61.57151500616111]
  大規模言語モデル(LLM)は、伝達学習のパラダイムシフトを開始した。 本稿では,トランスフォーマーに基づく言語モデルが事前学習後に文脈内学習を達成できる理由について検討する。 ICL中、LLMの注意と隠れた特徴は、カーネル回帰の挙動と一致していることがわかった。
  論文  参考訳（メタデータ） (2023-05-22T06:45:02Z)
• Prompting Language Models for Linguistic Structure [73.11488464916668]
  本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。 提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
  論文  参考訳（メタデータ） (2022-11-15T01:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。