論文の概要: Diffutron: A Masked Diffusion Language Model for Turkish Language

• arxiv url: http://arxiv.org/abs/2603.20466v1
• Date: Fri, 20 Mar 2026 19:52:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:38.929386
• Title: Diffutron: A Masked Diffusion Language Model for Turkish Language
• Title（参考訳）: Diffutron:トルコ語のための仮設拡散言語モデル
• Authors: Şuayp Talha Kocabay, Talha Rüzgar Akkuş,
• Abstract要約: トルコ語に特化したマスク付き拡散言語モデルであるtextitDiffutron$を紹介した。 我々は、一般的な命令セットとタスク固有の命令セットにモデルを逐次適応させるプログレッシブな命令チューニング戦略を採用する。 これらの結果は,トルコ語における非自己回帰テキスト生成におけるマスク拡散モデリングと多段階チューニングの併用の有効性を検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked Diffusion Language Models (MDLMs) have emerged as a compelling non-autoregressive alternative to standard large language models; however, their application to morphologically rich languages remains limited. In this paper, we introduce $\textit{Diffutron}$, a masked diffusion language model specifically designed for Turkish. Our approach leverages a resource-efficient training pipeline, starting with LoRA-based continual pre-training of a multilingual encoder on a large-scale corpus. To enable generative capabilities, we employ a progressive instruction-tuning strategy, sequentially adapting the model on general and task-specific instruction sets. Experimental results across comprehensive benchmarks demonstrate that, despite its compact size, our model achieves competitive performance compared to existing multi-billion-parameter baselines. These findings validate the effectiveness of masked diffusion modeling combined with multi-stage tuning for non-autoregressive text generation in Turkish.
• Abstract（参考訳）: Masked Diffusion Language Models (MDLM) は、標準の大規模言語モデルに代わる強力な非自己回帰的代替品として登場したが、その形態学的に豊かな言語への応用は限定的である。 本稿では,トルコ語に特化したマスク付き拡散言語モデルである$\textit{Diffutron}$を紹介する。 提案手法は,大規模コーパス上での多言語エンコーダの継続事前学習から始まる,リソース効率の高いトレーニングパイプラインを活用する。 生成機能を実現するために,汎用命令セットとタスク固有の命令セットにモデルを逐次適応させるプログレッシブ命令チューニング戦略を採用した。 総合的なベンチマークによる実験結果から, モデルのサイズは小さいものの, 既存のマルチビリオンパラメータベースラインと比較して, 競争性能が向上することが示された。 これらの結果は,トルコ語における非自己回帰テキスト生成におけるマスク拡散モデリングと多段階チューニングの併用の有効性を検証した。

関連論文リスト

• xVLM2Vec: Adapting LVLM-based embedding models to multilinguality using Self-Knowledge Distillation [2.9998889086656586]
  本稿では,言語データに基づいて学習した大規模視覚言語モデルの適応手法を提案し,その性能を向上する。 マルチ言語およびマルチモーダル埋め込みモデルの有効性を評価するためのベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-03-12T12:04:05Z)
• LLMic: Romanian Foundation Language Model [76.09455151754062]
  ルーマニア語に特化して設計された基礎言語モデルである LLMic について述べる。 英語からルーマニア語への翻訳作業において,事前学習後の言語翻訳のための微調整 LLMic が既存の解よりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-01-13T22:14:45Z)
• MoE-CT: A Novel Approach For Large Language Models Training With Resistance To Catastrophic Forgetting [53.77590764277568]
  ベースモデルの学習を多言語拡張プロセスから分離する新しいMoE-CTアーキテクチャを提案する。 我々の設計では、元のLLMパラメータを凍結し、高リソース言語のパフォーマンスを保護しますが、様々な言語データセットに基づいてトレーニングされたMoEモジュールは、低リソース言語の習熟度を向上します。
  論文  参考訳（メタデータ） (2024-06-25T11:03:45Z)
• Simple and Effective Masked Diffusion Language Models [48.68198363304619]
  単純なマスク付き離散拡散は以前考えられていたよりも性能が高いことを示す。 私たちの目標はシンプルなフォーム -- 古典的なマスキング言語モデリング損失の混合です。 言語モデリングベンチマークでは、現代のエンジニアリングプラクティスで訓練された様々なマスク付き拡散モデルが、新しい最先端技術を実現している。
  論文  参考訳（メタデータ） (2024-06-11T17:51:40Z)
• Low-resource neural machine translation with morphological modeling [3.3721926640077804]
  ニューラルマシン翻訳(NMT)における形態的モデリングは、オープン語彙機械翻訳を実現するための有望なアプローチである。 低リソース環境における複雑な形態をモデル化するためのフレームワークソリューションを提案する。 パブリックドメインのパラレルテキストを用いた英訳であるKinyarwandaについて,提案手法の評価を行った。
  論文  参考訳（メタデータ） (2024-04-03T01:31:41Z)
• Extrapolating Multilingual Understanding Models as Multilingual Generators [82.1355802012414]
  本稿では,多言語理解モデルに統一モデルを得るための生成能力を付与する手法について検討する。 少数の新しいパラメータを持つ多言語ジェネレータにエンコーダを適用するために,textbfSemantic-textbfGuided textbfAlignment-then-Denoising (SGA)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-22T15:33:21Z)
• PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
  我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。 我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。 数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
  論文  参考訳（メタデータ） (2022-04-05T16:11:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。