論文の概要: Concept-aware Data Construction Improves In-context Learning of Language Models

• arxiv url: http://arxiv.org/abs/2403.09703v2
• Date: Fri, 28 Jun 2024 08:03:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 21:25:00.729719
• Title: Concept-aware Data Construction Improves In-context Learning of Language Models
• Title（参考訳）: 概念認識型データ構築は言語モデルの文脈内学習を改善する
• Authors: Michal Štefánik, Marek Kadlčík, Petr Sojka,
• Abstract要約: 従来の命令チューニングと比較して,概念認識型インコンテキスト学習が新しいタスクの大部分に有効であることを示す。 概念認識学習(CoAT)は,実演から類推的推論概念を学習する上で,LMにとって有益な訓練シナリオを構築するためのフレームワークである。
• 参考スコア（独自算出の注目度）: 2.4715271879679395
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many recent language models (LMs) are capable of in-context learning (ICL), manifested in the LMs' ability to perform a new task solely from natural-language instruction. Previous work curating in-context learners assumes that ICL emerges from a vast over-parametrization or the scale of multi-task training. However, recent theoretical work attributes the ICL ability to concept-dependent training data and creates functional in-context learners even in small-scale, synthetic settings. In this work, we practically explore this newly identified axis of ICL quality. We propose Concept-aware Training (CoAT), a framework for constructing training scenarios that make it beneficial for the LM to learn to utilize the analogical reasoning concepts from demonstrations. We find that by using CoAT, pre-trained transformers can learn to better utilise new latent concepts from demonstrations and that such ability makes ICL more robust to the functional deficiencies of the previous models. Finally, we show that concept-aware in-context learning is more effective for a majority of new tasks when compared to traditional instruction tuning, resulting in a performance comparable to the previous in-context learners using magnitudes of more training data.
• Abstract（参考訳）: 近年の多くの言語モデル (LM) はインコンテキスト学習 (ICL) が可能であり、自然言語命令のみから新しいタスクを実行する能力に表れている。 従来のコンテキスト学習者は、ICLが過度な過度なパラメータ化やマルチタスクトレーニングの規模から生まれると仮定していた。 しかし、近年の理論的研究は、ICLが概念に依存したトレーニングデータを作成し、小規模で合成的な設定であっても、コンテキスト内で機能的な学習者を作成することを特徴としている。 本稿では,新たに同定されたICL品質の軸を実際に検討する。 概念認識学習(CoAT)は,実演から類推的推論概念を学習する上で,LMにとって有益な訓練シナリオを構築するためのフレームワークである。 我々は、CoATを用いることで、事前学習されたトランスフォーマーは、デモから新しい潜在概念をより有効に活用することを学び、ICLが以前のモデルの機能的欠陥に対してより堅牢になることを見出した。 最後に,従来のインストラクションチューニングと比較して,概念認識型インコンテキスト学習が新しいタスクの大部分に有効であることを示し,その結果,より多くのトレーニングデータを用いた従来のインコンテキスト学習と同等のパフォーマンスが得られることを示した。

関連論文リスト

• Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
  In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。 ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。 そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T06:37:47Z)
• DETAIL: Task DEmonsTration Attribution for Interpretable In-context Learning [75.68193159293425]
  インコンテキスト学習(ICL)により、トランスフォーマーベースの言語モデルでは、パラメータを更新することなく、いくつかの"タスクデモ"で特定のタスクを学習することができる。 ICLの特徴に対処する影響関数に基づく帰属手法DETAILを提案する。 ホワイトボックスモデルで得られた属性スコアがブラックボックスモデルに転送可能であることを示すことにより、モデル性能を向上させる上で、DETAILの広範な適用性を実験的に証明する。
  論文  参考訳（メタデータ） (2024-05-22T15:52:52Z)
• Towards More Unified In-context Visual Understanding [74.55332581979292]
  マルチモーダル出力を有効にした視覚理解のための新しいICLフレームワークを提案する。 まず、テキストと視覚的プロンプトの両方を量子化し、統一された表現空間に埋め込む。 次にデコーダのみのスパーストランスアーキテクチャを用いて生成モデリングを行う。
  論文  参考訳（メタデータ） (2023-12-05T06:02:21Z)
• In-Context Exemplars as Clues to Retrieving from Large Associative Memory [1.2952137350423816]
  インコンテキスト学習(ICL)は、大規模言語モデル(LLM)がトレーニングなしでインコンテキストの例からパターンを学習することを可能にする。 文脈内学習の仕組みの理解が欠如しているため、模範をどう選ぶかはいまだ不明である。 本研究は、メモリ検索に接続することで、ICLのメカニズムに新たな光を当てる。
  論文  参考訳（メタデータ） (2023-11-06T20:13:29Z)
• Link-Context Learning for Multimodal LLMs [40.923816691928536]
  リンクコンテキスト学習(LCL)はMLLMの学習能力を高めるために「原因と効果からの推論」を強調する。 LCLは、アナログだけでなく、データポイント間の因果関係も識別するようモデルに導出する。 本手法の評価を容易にするため,ISEKAIデータセットを提案する。
  論文  参考訳（メタデータ） (2023-08-15T17:33:24Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• Concept-aware Training Improves In-context Learning Ability of Language Models [0.0]
  トランスフォーマーファミリーの最近の言語モデル(LM)の多くは、いわゆるインコンテキスト学習(ICL)能力を示している。 テキスト内情報をよりよく活用できるLMを作成する手法を提案する。 概念認識トレーニングのデータサンプリングはモデルの推論能力を継続的に改善する。
  論文  参考訳（メタデータ） (2023-05-23T07:44:52Z)
• Pre-Training to Learn in Context [138.0745138788142]
  言語モデルが文脈で学習するために明示的に訓練されていないため、コンテキスト内学習の能力は十分に活用されていない。 In-Context Learning のための PICL (Pre-training for In-Context Learning) を提案する。 実験の結果,PICLはベースラインよりも効率が高く,タスクの汎用性が高く,約4倍のパラメータを持つ言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-05-16T03:38:06Z)
• Resources and Few-shot Learners for In-context Learning in Slavic Languages [0.22940141855172028]
  スラヴ語における文脈内学習(ICL)の訓練と評価に必要なインフラを収集する。 直近のコンテキスト内学習者の集合を評価し,その結果を教師付きベースラインと比較する。 英語で調整されたICLモデルは、非英語の文脈からいくつかのタスクを学習することができる。
  論文  参考訳（メタデータ） (2023-04-04T16:16:25Z)
• The Learnability of In-Context Learning [16.182561312622315]
  そこで本研究では,文脈内学習のための初歩的なPACベースのフレームワークを提案する。 本フレームワークは,事前学習に適合する初期事前学習フェーズを含む。 文脈内学習は、タスクを学習することよりも、タスクを特定することにあることを示す。
  論文  参考訳（メタデータ） (2023-03-14T13:28:39Z)
• In-context Learning Distillation: Transferring Few-shot Learning Ability of Pre-trained Language Models [55.78264509270503]
  そこで本研究では,大規模モデルから小型モデルへ,文脈内数ショット学習能力を移行するために,文脈内学習蒸留を導入する。 メタ・イン・コンテクスト・タニング(Meta-ICT)とマルチタスク・イン・コンテクスト・タニング(Multitask-ICT)の2つの異なる学習パラダイムの下で、イン・コンテクスト・ラーニング・蒸留を行う。 実験と分析により,マルチタスクICTパラダイムの下で,文脈内学習の目的と言語モデリングの目的が相補的であることが明らかとなった。
  論文  参考訳（メタデータ） (2022-12-20T22:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。