論文の概要: Efficient Induction of Language Models Via Probabilistic Concept Formation

• arxiv url: http://arxiv.org/abs/2212.11937v1
• Date: Thu, 22 Dec 2022 18:16:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-23 13:41:25.255512
• Title: Efficient Induction of Language Models Via Probabilistic Concept Formation
• Title（参考訳）: 確率的概念形成による言語モデルの効率的な誘導
• Authors: Christopher J. MacLellan, Peter Matsakis, Pat Langley
• Abstract要約: コーパスから言語モデルを取得するための新しいアプローチを提案する。 このフレームワークは、確率論的概念の分類学的階層を構築するための初期のシステムであるCobweb上に構築されている。 Cobwebの3つの新しい拡張(Word、Leaf、Pathの亜種)について調べる。
• 参考スコア（独自算出の注目度）: 13.632454840363916
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a novel approach to the acquisition of language models from corpora. The framework builds on Cobweb, an early system for constructing taxonomic hierarchies of probabilistic concepts that used a tabular, attribute-value encoding of training cases and concepts, making it unsuitable for sequential input like language. In response, we explore three new extensions to Cobweb -- the Word, Leaf, and Path variants. These systems encode each training case as an anchor word and surrounding context words, and they store probabilistic descriptions of concepts as distributions over anchor and context information. As in the original Cobweb, a performance element sorts a new instance downward through the hierarchy and uses the final node to predict missing features. Learning is interleaved with performance, updating concept probabilities and hierarchy structure as classification occurs. Thus, the new approaches process training cases in an incremental, online manner that it very different from most methods for statistical language learning. We examine how well the three variants place synonyms together and keep homonyms apart, their ability to recall synonyms as a function of training set size, and their training efficiency. Finally, we discuss related work on incremental learning and directions for further research.
• Abstract（参考訳）: 本稿では,コーパスから言語モデルを取得するための新しいアプローチを提案する。 cobwebは、確率的概念の分類学的階層を構築するための初期のシステムで、トレーニングケースや概念の表式、属性値のエンコーディングを使用しており、言語のようなシーケンシャル入力には適していない。 これに対し、我々は、Word、Leaf、Pathの3つの新しい拡張機能、Cobwebを探索する。 これらのシステムは、各トレーニングケースをアンカーワードおよび周囲のコンテキストワードとしてエンコードし、アンカーおよびコンテキスト情報上の分布として概念の確率論的記述を格納する。 オリジナルのCobwebのように、パフォーマンス要素は階層構造を通して新しいインスタンスを下位にソートし、最後のノードを使って機能不足を予測する。 学習は性能とインターリーブされ、概念確率と階層構造が分類されるにつれて更新される。 このように、新しいアプローチは、統計的言語学習のほとんどの方法と大きく異なる、漸進的でオンラインな方法でトレーニングケースを処理する。 3つの変種が同義語をいかにうまく配置し、同義語を分離するか、同義語を訓練セットのサイズと訓練効率の関数として呼び起こす能力について検討する。 最後に、さらなる研究のための漸進的な学習と方向性に関する関連する研究について論じる。

関連論文リスト

• TRESTLE: A Model of Concept Formation in Structured Domains [4.399333421690168]
  本稿では、構造化ドメインにおける確率論的概念形成の漸進的な説明であるTRESTLEを提案する。 教師なし学習タスクと教師なしクラスタリングタスクにおいて,TRESTLEの性能を評価する。
  論文  参考訳（メタデータ） (2024-10-14T15:00:43Z)
• Incremental and Data-Efficient Concept Formation to Support Masked Word Prediction [0.7260176762955546]
  本稿では、マスク付き単語予測をサポートする効率的な言語モデル学習のための新しいアプローチであるCobweb4Lを紹介する。 我々は、Cobweb4Lが急速に学習し、Word2Vecに匹敵する性能を達成していることを示す。
  論文  参考訳（メタデータ） (2024-09-19T03:48:31Z)
• CoLLEGe: Concept Embedding Generation for Large Language Models [12.812113254812028]
  CoLLEGeは、新しい概念のための柔軟な埋め込みを生成することができるメタ学習フレームワークである。 我々は,現実のシナリオに挑戦する上で,新しい概念学習をテストするための一連のタスクを設計する。
  論文  参考訳（メタデータ） (2024-03-22T17:26:05Z)
• A Recursive Bateson-Inspired Model for the Generation of Semantic Formal Concepts from Spatial Sensory Data [77.34726150561087]
  本稿では,複雑な感覚データから階層構造を生成するための記号のみの手法を提案する。 このアプローチは、概念や概念の創始の鍵としてのバテソンの差異の概念に基づいている。 このモデルは、トレーニングなしでかなりリッチだが人間に読まれる概念表現を生成することができる。
  論文  参考訳（メタデータ） (2023-07-16T15:59:13Z)
• Joint Language Semantic and Structure Embedding for Knowledge Graph Completion [66.15933600765835]
  本稿では,知識三重項の自然言語記述と構造情報とを共同で組み込むことを提案する。 本手法は,学習済み言語モデルを微調整することで,完了作業のための知識グラフを埋め込む。 各種知識グラフベンチマーク実験により,本手法の最先端性能を実証した。
  論文  参考訳（メタデータ） (2022-09-19T02:41:02Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)
• On the Learnability of Concepts: With Applications to Comparing Word Embedding Algorithms [0.0]
  セマンティックコンテンツを共有した単語の一覧として「概念」の概念を導入する。 まず、この概念を用いて、事前訓練された単語埋め込みにおける概念の学習可能性を測定する。 そこで我々は,様々な埋め込みアルゴリズムの相対的メリットを比較するために,仮説テストとROC曲線に基づく概念学習可能性の統計的解析を開発した。
  論文  参考訳（メタデータ） (2020-06-17T14:25:36Z)
• How Can We Accelerate Progress Towards Human-like Linguistic Generalization? [22.810889064523167]
  本論文は,PAID(Pretraining-Agnostic Identically Distributed)評価パラダイムについて記述し,批判する。 本パラダイムは,(1)任意の大きさのコーパス上の単語予測モデルの事前学習,(2)分類タスクを表すトレーニングセット上の微調整(トランスファーラーニング),(3)同トレーニングセットと同じ分布から抽出されたテストセットの評価の3段階からなる。
  論文  参考訳（メタデータ） (2020-05-03T00:31:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。