論文の概要: Next Word Suggestion using Graph Neural Network

• arxiv url: http://arxiv.org/abs/2505.09649v1
• Date: Tue, 13 May 2025 06:59:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 22:29:06.033785
• Title: Next Word Suggestion using Graph Neural Network
• Title（参考訳）: グラフニューラルネットワークを用いた次の単語提案
• Authors: Abisha Thapa Magar, Anup Shakya,
• Abstract要約: 本稿では,GNNにおけるグラフ畳み込み処理を利用してコンテキストを符号化し,LSTMと連立して次の単語を予測する手法を提案する。 我々は、非常に限られたリソースを使って、カスタムのウィキペディアテキストコーパスでこれをテストし、このアプローチが次の単語を予測するのにかなりうまく機能していることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language Modeling is a prevalent task in Natural Language Processing. The currently existing most recent and most successful language models often tend to build a massive model with billions of parameters, feed in a tremendous amount of text data, and train with enormous computation resources which require millions of dollars. In this project, we aim to address an important sub-task in language modeling, i.e., context embedding. We propose an approach to exploit the Graph Convolution operation in GNNs to encode the context and use it in coalition with LSTMs to predict the next word given a local context of preceding words. We test this on the custom Wikipedia text corpus using a very limited amount of resources and show that this approach works fairly well to predict the next word.
• Abstract（参考訳）: 言語モデリングは自然言語処理において一般的なタスクである。 現在、最も最近で最も成功した言語モデルは、数十億のパラメータを持つ巨大なモデルを構築し、大量のテキストデータをフィードし、数百万ドルを必要とする膨大な計算リソースでトレーニングする傾向があります。 本稿では,言語モデリングにおける重要なサブタスク,すなわちコンテキスト埋め込みに対処することを目的としている。 我々は,GNNにおけるグラフ畳み込み処理を利用してコンテキストを符号化し,LSTMと連立して,先行する単語の局所的な文脈から次の単語を予測する手法を提案する。 我々は、非常に限られたリソースを使って、カスタムのウィキペディアテキストコーパスでこれをテストし、このアプローチが次の単語を予測するのにかなりうまく機能していることを示す。

関連論文リスト

• Efficient Continual Pre-training of LLMs for Low-resource Languages [45.44796295841526]
  大規模コーパスからテキストのサブセットを選択するアルゴリズムを開発した。 さらなる改良を求めて,LLM語彙に含まれるトークンを選択する新しいアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-12-13T16:13:35Z)
• CompoundPiece: Evaluating and Improving Decompounding Performance of Language Models [77.45934004406283]
  複合語を構成語に分割する作業である「分解」を体系的に研究する。 We introduced a dataset of 255k compound and non-compound words across 56 various languages obtained from Wiktionary。 分割のための専用モデルを訓練するための新しい手法を導入する。
  論文  参考訳（メタデータ） (2023-05-23T16:32:27Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)
• Between words and characters: A Brief History of Open-Vocabulary Modeling and Tokenization in NLP [22.772546707304766]
  単語と文字のハイブリッドなアプローチと,学習セグメンテーションに基づくサブワードベースのアプローチが提案され,評価されていることを示す。 すべてのアプリケーションに対して銀の弾丸特異解が存在することはあり得ない。
  論文  参考訳（メタデータ） (2021-12-20T13:04:18Z)
• Dict-BERT: Enhancing Language Model Pre-training with Dictionary [42.0998323292348]
  事前学習型言語モデル(PLM)は,大規模コーパス上で自己指導型学習タスクを行うことで,普遍的な言語表現を学習することを目的としている。 本研究では,辞書におけるレアワードの定義を活用することで,言語モデル事前学習の強化に焦点をあてる。 入力テキストシーケンスとまれな単語定義間の単語と文レベルのアライメントに関する2つの新しい自己教師付き事前学習タスクを提案する。
  論文  参考訳（メタデータ） (2021-10-13T04:29:14Z)
• Multi-Sense Language Modelling [19.396806939258806]
  我々は,次の単語を予測できるだけでなく,文脈における意味を予測できる言語モデルを提案する。 この高い予測粒度は、補助的な記述のようなエンドタスクに有用である。 感覚予測には,定義や単語感覚の例を符号化したグラフ注意ネットワークを利用する。
  論文  参考訳（メタデータ） (2020-12-10T16:06:05Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。