論文の概要: Rapid Word Learning Through Meta In-Context Learning

• arxiv url: http://arxiv.org/abs/2502.14791v1
• Date: Thu, 20 Feb 2025 18:11:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:30:16.340666
• Title: Rapid Word Learning Through Meta In-Context Learning
• Title（参考訳）: メタインテクスト学習による素早い単語学習
• Authors: Wentao Wang, Guangyuan Jiang, Tal Linzen, Brenden M. Lake,
• Abstract要約: In-context learNing Of Words(Minnow)のためのメタトレーニング手法を提案する。 この方法は、いくつかの文脈内例から単語の使用例を生成するために言語モデルを訓練する。 Minnowでスクラッチからトレーニングするモデルは、人間のスケールの子供指向言語で、強力な数発の単語学習を可能にしている。
• 参考スコア（独自算出の注目度）: 29.29775111160227
• License:
• Abstract: Humans can quickly learn a new word from a few illustrative examples, and then systematically and flexibly use it in novel contexts. Yet the abilities of current language models for few-shot word learning, and methods for improving these abilities, are underexplored. In this study, we introduce a novel method, Meta-training for IN-context learNing Of Words (Minnow). This method trains language models to generate new examples of a word's usage given a few in-context examples, using a special placeholder token to represent the new word. This training is repeated on many new words to develop a general word-learning ability. We find that training models from scratch with Minnow on human-scale child-directed language enables strong few-shot word learning, comparable to a large language model (LLM) pre-trained on orders of magnitude more data. Furthermore, through discriminative and generative evaluations, we demonstrate that finetuning pre-trained LLMs with Minnow improves their ability to discriminate between new words, identify syntactic categories of new words, and generate reasonable new usages and definitions for new words, based on one or a few in-context examples. These findings highlight the data efficiency of Minnow and its potential to improve language model performance in word learning tasks.
• Abstract（参考訳）: 人間はいくつかの例から新しい単語を素早く学習し、新しい文脈で体系的に柔軟に使用することができる。 しかし、数発の単語学習のための現在の言語モデルの能力や、これらの能力を改善する方法については、未検討である。 本研究では,In-context learNing Of Words (Minnow) のためのメタトレーニング手法を提案する。 この方法は言語モデルを用いて、新しい単語を表す特別なプレースホルダートークンを使用して、いくつかの文脈内例から単語の使用例を生成する。 このトレーニングは、一般的な単語学習能力を開発するために、多くの新しい単語で繰り返される。 Minnowでスクラッチからトレーニングモデルを構築することで、大きな言語モデル(LLM)に匹敵する強力な数発の単語学習が可能になることがわかりました。 さらに、識別的・生成的評価により、Minnowを用いた事前学習LLMの微調整により、新しい単語の識別能力が向上し、新しい単語の構文的カテゴリを識別し、新しい単語に対する合理的な使用法と定義を生成することを示した。 これらの結果は、Minnowのデータ効率と、単語学習タスクにおける言語モデルの性能向上の可能性を強調している。

関連論文リスト

• Exploring Automated Keyword Mnemonics Generation with Large Language Models via Overgenerate-and-Rank [4.383205675898942]
  キーワード・ムネモニクス(英: Keywords mnemonics)は、単語を単語のキューを通じて記憶可能な関連性を通じて記憶する技法である。 そこで本稿では,大規模言語モデルに言語的手がかりを生成させる手法として,新しいオーバージェネレーション・アンド・ランク法を提案する。 以上の結果から, LLM生成のメネモニクスは, 画像性, コヒーレンス, 知覚的有用性の観点から, 人間生成のミネモニクスに匹敵するものであることが示唆された。
  論文  参考訳（メタデータ） (2024-09-21T00:00:18Z)
• Large Vocabulary Size Improves Large Language Models [28.83786065307658]
  単語語彙サイズと大規模言語モデル(LLM)の性能の関係について検討する。 実験結果から,LLMの語彙サイズが大きくなると性能が向上することがわかった。 事前定義された語彙の代わりに新しい語彙を使用するための簡単な方法を導入する。
  論文  参考訳（メタデータ） (2024-06-24T10:27:07Z)
• CoLLEGe: Concept Embedding Generation for Large Language Models [12.812113254812028]
  CoLLEGeは、新しい概念のための柔軟な埋め込みを生成することができるメタ学習フレームワークである。 我々は,現実のシナリオに挑戦する上で,新しい概念学習をテストするための一連のタスクを設計する。
  論文  参考訳（メタデータ） (2024-03-22T17:26:05Z)
• Continuously Learning New Words in Automatic Speech Recognition [56.972851337263755]
  音声認識のための自己教師付き連続学習手法を提案する。 文献からのメモリ拡張型ASRモデルを用いて、スライドから新しい単語を復号する。 提案手法により,新たな単語の出現頻度が高くなると,新たな単語のパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2024-01-09T10:39:17Z)
• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• Evolving Dictionary Representation for Few-shot Class-incremental Learning [34.887690018011675]
  数発クラス増分学習(FSCIL)という,挑戦的で実践的な連続学習シナリオに取り組む。 FSCILでは、ラベル付きデータはベースセッションでクラスに対して与えられるが、新しいインクリメンタルクラスでは非常に限定されたラベル付きインスタンスが利用できる。 本稿では,辞書学習と視覚表現学習を組み合わせたハイブリッド学習アーキテクチャであるディープ辞書学習を提案する。
  論文  参考訳（メタデータ） (2023-05-03T04:30:34Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Always Keep your Target in Mind: Studying Semantics and Improving Performance of Neural Lexical Substitution [124.99894592871385]
  本稿では,従来の言語モデルと最近の言語モデルの両方を用いた語彙置換手法の大規模比較研究を行う。 目的語に関する情報を適切に注入すれば,SOTA LMs/MLMsによるすでに競合する結果がさらに大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2022-06-07T16:16:19Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)
• MICE: Mining Idioms with Contextual Embeddings [0.0]
  MICEatic式は自然言語処理アプリケーションでは問題となることがある。 我々は,その目的のためにコンテキスト埋め込みを利用するアプローチを提案する。 両埋め込みを用いたディープニューラルネットワークは,既存のアプローチよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2020-08-13T08:56:40Z)
• Word Sense Disambiguation for 158 Languages using Word Embeddings Only [80.79437083582643]
  文脈における単語感覚の曖昧さは人間にとって容易であるが、自動的アプローチでは大きな課題である。 本稿では,学習前の標準単語埋め込みモデルを入力として,完全に学習した単語認識のインベントリを誘導する手法を提案する。 この手法を用いて、158の言語に対して、事前訓練されたfastText単語の埋め込みに基づいて、センスインベントリのコレクションを誘導する。
  論文  参考訳（メタデータ） (2020-03-14T14:50:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。