論文の概要: Incremental and Data-Efficient Concept Formation to Support Masked Word Prediction

• arxiv url: http://arxiv.org/abs/2409.12440v1
• Date: Thu, 19 Sep 2024 03:48:31 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 14:52:37.437212
• Title: Incremental and Data-Efficient Concept Formation to Support Masked Word Prediction
• Title（参考訳）: モーズドワード予測を支援するインクリメンタル・データ効率な概念形成
• Authors: Xin Lian, Nishant Baglodi, Christopher J. MacLellan,
• Abstract要約: 本稿では、マスク付き単語予測をサポートする効率的な言語モデル学習のための新しいアプローチであるCobweb4Lを紹介する。 我々は、Cobweb4Lが急速に学習し、Word2Vecに匹敵する性能を達成していることを示す。
• 参考スコア（独自算出の注目度）: 0.7260176762955546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper introduces Cobweb4L, a novel approach for efficient language model learning that supports masked word prediction. The approach builds on Cobweb, an incremental system that learns a hierarchy of probabilistic concepts. Each concept stores the frequencies of words that appear in instances tagged with that concept label. The system utilizes an attribute value representation to encode words and their surrounding context into instances. Cobweb4L uses the information theoretic variant of category utility and a new performance mechanism that leverages multiple concepts to generate predictions. We demonstrate that with these extensions it significantly outperforms prior Cobweb performance mechanisms that use only a single node to generate predictions. Further, we demonstrate that Cobweb4L learns rapidly and achieves performance comparable to and even superior to Word2Vec. Next, we show that Cobweb4L and Word2Vec outperform BERT in the same task with less training data. Finally, we discuss future work to make our conclusions more robust and inclusive.
• Abstract（参考訳）: 本稿では、マスク付き単語予測をサポートする効率的な言語モデル学習のための新しいアプローチであるCobweb4Lを紹介する。 このアプローチは、確率論的概念の階層構造を学ぶインクリメンタルシステムであるCobweb上に構築されている。 各概念は、その概念ラベルにタグ付けされたインスタンスに現れる単語の頻度を格納する。 このシステムは属性値表現を利用して、単語とその周辺コンテキストをインスタンスにエンコードする。 Cobweb4Lは、カテゴリユーティリティの情報理論の変種と、複数の概念を活用して予測を生成する新しいパフォーマンスメカニズムを使用している。 これらの拡張により、単一のノードのみを使用して予測を生成する、以前のCobwebパフォーマンスメカニズムよりも大幅に性能が向上することを示した。 さらに、Cobweb4Lは急速に学習し、Word2Vecに匹敵する性能を達成できることを示した。 次に、Cobweb4LとWord2VecがBERTよりも少ないトレーニングデータで性能を向上していることを示す。 最後に、我々の結論をより堅牢かつ包括的にするための今後の取り組みについて論じる。

関連論文リスト

• Spatio-Temporal Side Tuning Pre-trained Foundation Models for Video-based Pedestrian Attribute Recognition [58.79807861739438]
  既存の歩行者認識アルゴリズム(PAR)は主に静的画像に基づいて開発されている。 本稿では,時間的情報を完全に活用できるビデオフレームを用いて,人間の属性を理解することを提案する。
  論文  参考訳（メタデータ） (2024-04-27T14:43:32Z)
• Exploring Category Structure with Contextual Language Models and Lexical Semantic Networks [0.0]
  我々は、典型値の予測のために、CLMを探索するためのより広い範囲の手法を試験する。 BERTを用いた実験では,CLMプローブの適切な利用の重要性が示された。 その結果, この課題における多義性の重要性が浮き彫りとなった。
  論文  参考訳（メタデータ） (2023-02-14T09:57:23Z)
• Efficient Induction of Language Models Via Probabilistic Concept Formation [13.632454840363916]
  コーパスから言語モデルを取得するための新しいアプローチを提案する。 このフレームワークは、確率論的概念の分類学的階層を構築するための初期のシステムであるCobweb上に構築されている。 Cobwebの3つの新しい拡張(Word、Leaf、Pathの亜種)について調べる。
  論文  参考訳（メタデータ） (2022-12-22T18:16:58Z)
• Progressive Tree-Structured Prototype Network for End-to-End Image Captioning [74.8547752611337]
  本稿では,新しいプログレッシブツリー構造型プロトタイプネットワーク(PTSN)を提案する。 PTSNは、階層的テキスト意味論をモデル化することによって、適切な意味論で予測語の範囲を狭める最初の試みである。 提案手法は,144.2%(シングルモデル),146.5%(4モデルのアンサンブル),141.4%(c5),143.9%(c40)のCIDErを公式オンラインテストサーバ上でスコアする。
  論文  参考訳（メタデータ） (2022-11-17T11:04:00Z)
• DetCLIP: Dictionary-Enriched Visual-Concept Paralleled Pre-training for Open-world Detection [118.36746273425354]
  本稿では,デザインされた概念辞書から知識の豊かさを生かして,オープンワールド検出のための並列視覚概念事前学習手法を提案する。 概念をそれらの記述で豊かにすることにより、オープンドメイン学習を促進するために、さまざまな概念間の関係を明確に構築する。 提案フレームワークは、例えばLVISデータセット上で、強力なゼロショット検出性能を示し、私たちのDetCLIP-TはGLIP-Tを9.9%向上させ、レアカテゴリで13.5%改善した。
  論文  参考訳（メタデータ） (2022-09-20T02:01:01Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)
• Meta-Learning with Variational Semantic Memory for Word Sense Disambiguation [56.830395467247016]
  メタ学習環境におけるWSDのセマンティックメモリモデルを提案する。 我々のモデルは階層的変動推論に基づいており、ハイパーネットワークを介して適応的なメモリ更新ルールを組み込んでいる。 極めて少ないシナリオでの効果的な学習を支援するために,本モデルがWSDで最先端の技術を数ショットで実現していることを示す。
  論文  参考訳（メタデータ） (2021-06-05T20:40:01Z)
• SpanNer: Named Entity Re-/Recognition as Span Prediction [62.66148736099347]
  スパン予測モデルは名前付きエンティティ認識に使用される。 我々は11のデータセットに154のシステムを実験的に実装し、3つの言語をカバーした。 私たちのモデルはExplainaBoardプラットフォームにデプロイされました。
  論文  参考訳（メタデータ） (2021-06-01T17:11:42Z)
• Predictive Representation Learning for Language Modeling [33.08232449211759]
  副次的情報の相関がLSTM表現に現れるが、それらは暗黙的に監督された予測タスクの一部ではない。 予測表現学習(PRL)を提案し,LSTMを明示的に制約し,特定の予測を符号化する。
  論文  参考訳（メタデータ） (2021-05-29T05:03:47Z)
• Attention Word Embedding [23.997145283950346]
  本稿では,アテンションワード埋め込み(AWE)モデルを紹介し,アテンションメカニズムをCBOWモデルに統合する。 また,サブワード情報を組み込んだAWE-Sを提案する。 AWEとAWE-Sは、様々な単語類似性データセット上で、最先端の単語埋め込みモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-01T14:47:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。