論文の概要: XLM: A Python package for non-autoregressive language models

• arxiv url: http://arxiv.org/abs/2512.17065v1
• Date: Thu, 18 Dec 2025 21:05:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-22 19:25:54.170969
• Title: XLM: A Python package for non-autoregressive language models
• Title（参考訳）: XLM:非自己回帰型言語モデルのためのPythonパッケージ
• Authors: Dhruvesh Patel, Durga Prasad Maram, Sai Sreenivas Chintha, Benjamin Rozonoyer, Andrew McCallum,
• Abstract要約: 近年,汎用言語モデリングの文脈において,非自己回帰テキスト生成への関心が高まっている。 提案するXLM pythonパッケージは,小さな非自己回帰言語モデルの実装を高速化する。
• 参考スコア（独自算出の注目度）: 22.95539075474856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, there has been a resurgence of interest in non-autoregressive text generation in the context of general language modeling. Unlike the well-established autoregressive language modeling paradigm, which has a plethora of standard training and inference libraries, implementations of non-autoregressive language modeling have largely been bespoke making it difficult to perform systematic comparisons of different methods. Moreover, each non-autoregressive language model typically requires it own data collation, loss, and prediction logic, making it challenging to reuse common components. In this work, we present the XLM python package, which is designed to make implementing small non-autoregressive language models faster with a secondary goal of providing a suite of small pre-trained models (through a companion xlm-models package) that can be used by the research community. The code is available at https://github.com/dhruvdcoder/xlm-core.
• Abstract（参考訳）: 近年,汎用言語モデリングの文脈において,非自己回帰テキスト生成への関心が高まっている。 標準トレーニングと推論ライブラリの多さを持つ、確立された自己回帰型言語モデリングパラダイムとは異なり、非自己回帰型言語モデリングの実装は、様々な方法の体系的な比較を困難にしている。 さらに、各非自己回帰言語モデルは、データコレーション、損失、予測ロジックを所有する必要があるため、一般的なコンポーネントの再利用は困難である。 本研究では, XLM python パッケージについて述べる。XLM python パッケージは,小さな非自己回帰言語モデルをより高速に実装することを目的として,研究コミュニティが利用できる小さな事前学習モデル(xlm-models パッケージを介して)のスイートを提供することを目的としている。 コードはhttps://github.com/dhruvdcoder/xlm-coreで入手できる。

関連論文リスト

• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Language Models on a Diet: Cost-Efficient Development of Encoders for Closely-Related Languages via Additional Pretraining [4.38070902806635]
  クロアチア語、セルビア語、ボスニア語、モンテネグロ語のベンチマークを設定しました。 我々は、利用可能な多言語モデルの追加事前学習により、専用のin-scratchモデルに匹敵する性能が得られることを示す。 また、Slovenianの場合、隣接する言語は、最終モデルの性能にほとんど、あるいは全く損なわない追加の事前訓練に含めることができることを示す。
  論文  参考訳（メタデータ） (2024-04-08T11:55:44Z)
• FiLM: Fill-in Language Models for Any-Order Generation [71.42044325886194]
  Fill-in Language Model (FiLM) は、特定の生成順序に固執することなく任意の位置で柔軟な生成を可能にする新しい言語モデリング手法である。 推論中、FiLMは欠落したフレーズ、文、段落をシームレスに挿入できる。 FiLMは、再構成されたテキストセグメントでトレーニングされた左から右への言語モデルに依存する既存のインフィル手法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-15T19:37:39Z)
• Qwen Technical Report [132.54304067403922]
  当社の大規模言語モデルシリーズの最初のインストールであるQwenを紹介します。 Qwenはトレーニング済みの言語モデルの基本であり、Qwen-Chatは人間のアライメント技術で微調整されたチャットモデルである。 また、コーディング特化モデルであるCode-QwenとCode-Qwen-Chatも開発し、数学に焦点を当てたMath-Qwen-Chatも開発しました。
  論文  参考訳（メタデータ） (2023-09-28T17:07:49Z)
• Generate to Understand for Representation [3.5325087487696463]
  GURは、言語モデリングと対照的な学習目標を単一のトレーニングステップで組み合わせた事前トレーニングフレームワークである。 GURはラベル付きトレーニングデータなしで印象的な結果を実現し、ゼロショット設定でリコールベンチマークでレシーバーとして、トレーニング済みのすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-06-14T06:00:18Z)
• Multi-lingual Evaluation of Code Generation Models [82.7357812992118]
  本稿では,MBXPとMultilingual HumanEval,MathQA-Xという,評価コード生成モデルに関する新しいベンチマークを提案する。 これらのデータセットは10以上のプログラミング言語をカバーする。 コード生成モデルの性能を多言語で評価することができる。
  論文  参考訳（メタデータ） (2022-10-26T17:17:06Z)
• Fusing Sentence Embeddings Into LSTM-based Autoregressive Language Models [20.24851041248274]
  本稿では,プレフィックス埋め込みを用いたLSTMに基づく自己回帰言語モデルを提案する。 融合は、異なるドメインからのデータセットへの転送後に保存される難易度(16.74$rightarrow$ 15.80)を確実に低下させるのに役立つ。 また,次の単語推定値と人間の読解時間とを相関させることにより,最も優れた融合モデルの評価を行った。
  論文  参考訳（メタデータ） (2022-08-04T02:13:03Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。