Fugu-MT 論文翻訳(概要): GEITje 7B Ultra: A Conversational Model for Dutch

論文の概要: GEITje 7B Ultra: A Conversational Model for Dutch

arxiv url: http://arxiv.org/abs/2412.04092v1
Date: Thu, 05 Dec 2024 11:56:48 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-06 14:41:26.314030
Title: GEITje 7B Ultra: A Conversational Model for Dutch
Title（参考訳）: GEITje 7B Ultra:オランダの会話モデル
Authors: Bram Vanroy,
Abstract要約: GEITjeはイギリスのMistral 7Bから派生したモデルである。この研究は、新しく作成された高品質な合成会話データセットの微調整を監督することでGEITjeの能力を拡張する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: Language models have rapidly evolved, predominantly focusing on English while often neglecting extensive pretraining in other languages. This approach has required initiatives to adapt powerful, English-centric models to other linguistic contexts through finetuning. For Dutch, such a recent endeavour is ``GEITje'' a model originally derived from the English-based Mistral 7B. Building on this fundamental work, the current research extends the capabilities of GEITje by supervised finetuning on newly created high-quality synthetic conversational datasets, along with an additional preference alignment procedure on a synthetic feedback dataset. Both the developed models and the created datasets are openly available.
Abstract（参考訳）: 言語モデルは急速に発展し、主に英語に焦点をあてる一方で、他の言語での広範な事前訓練を無視している。このアプローチでは、ファインタニングを通じて、強力な英語中心のモデルを他の言語文脈に適応させるイニシアチブを必要としている。オランダ語では、「GEITje」は英語のMistral 7Bから派生したモデルである。この基礎研究に基づいて、この研究はGEITjeの能力を拡張し、新しく作成された高品質な合成会話データセットの微調整と、合成フィードバックデータセットへの追加の優先順位調整手順を監督する。開発されたモデルと生成されたデータセットの両方が公開されています。

関連論文リスト

Türkçe Dil Modellerinin Performans Karşılaştırması Performance Comparison of Turkish Language Models [0.0]
文脈学習と質問応答能力に基づいて,選択した7つの言語モデルの比較を行った。その結果,質問応答では,教師用データセットを微調整する前に事前学習を継続することで,トルコ語に多言語モデルを適用することに成功していることがわかった。
論文参考訳（メタデータ） (2024-04-25T20:10:14Z)
Language Resources for Dutch Large Language Modelling [0.0]
Llama 2 13Bモデルの微調整版を2種類導入する。我々は、複数の世代タスクにおける(Dutch)モデルのパフォーマンスを追跡するためのリーダーボードを提供する。
論文参考訳（メタデータ） (2023-12-20T09:06:06Z)
Unified Model Learning for Various Neural Machine Translation [63.320005222549646]
既存の機械翻訳(NMT)研究は主にデータセット固有のモデルの開発に焦点を当てている。我々は,NMT(UMLNMT)のための統一モデル学習モデル(Unified Model Learning for NMT)を提案する。 OurNMTは、データセット固有のモデルよりも大幅に改善され、モデルデプロイメントコストが大幅に削減される。
論文参考訳（メタデータ） (2023-05-04T12:21:52Z)
Accidental Learners: Spoken Language Identification in Multilingual Self-Supervised Models [11.439430077017635]
事前学習された音声モデルは,下位層における言語識別情報を最適に符号化する。これらの層から得られる埋め込みは、目に見えない言語を分類するのに非常に堅牢であることを示す。 NVIDIA NeMoツールキットを通じてモデルをオープンソースにしています。
論文参考訳（メタデータ） (2022-11-09T18:53:59Z)
Crosslingual Generalization through Multitask Finetuning [80.8822603322471]
マルチタスク誘導ファインタニング(MTF)は、大きな言語モデルがゼロショット設定で新しいタスクに一般化するのに役立つことが示されている。 MTFを事前訓練された多言語BLOOMおよびmT5モデルファミリーに適用し、BLOOMZおよびmT0と呼ばれる微調整された変種を生成する。英語のプロンプトを用いた英語タスクにおける多言語多言語モデルの微調整により、非英語言語へのタスク一般化が可能となる。
論文参考訳（メタデータ） (2022-11-03T13:19:32Z)
Cross-Lingual Dialogue Dataset Creation via Outline-Based Generation [70.81596088969378]
言語間アウトラインに基づく対話データセット(COD)は、自然言語の理解を可能にする。 CODは、4つの異なる言語で対話状態の追跡とエンドツーエンドの対話モデリングと評価を可能にする。
論文参考訳（メタデータ） (2022-01-31T18:11:21Z)
Recent Advances in Natural Language Processing via Large Pre-Trained Language Models: A Survey [67.82942975834924]
BERTのような大規模で事前訓練された言語モデルは、自然言語処理(NLP)の分野を大きく変えた。本稿では,これらの大規模言語モデルを用いたNLPタスクの事前学習,微調整,プロンプト,テキスト生成といった手法を用いた最近の研究について紹介する。
論文参考訳（メタデータ） (2021-11-01T20:08:05Z)
Scribosermo: Fast Speech-to-Text models for German and other Languages [69.7571480246023]
本稿では,ドイツ語とスペイン語とフランス語の特殊特徴を持つ音声テキストモデルについて述べる。それらは小さく、RaspberryPiのようなマイクロコントローラ上でリアルタイムで実行される。事前トレーニングされた英語モデルを使用して、比較的小さなデータセットで、コンシューマグレードのハードウェアでトレーニングすることができる。
論文参考訳（メタデータ） (2021-10-15T10:10:34Z)
Synthetic Source Language Augmentation for Colloquial Neural Machine Translation [3.303435360096988]
youtube と twitter から収集した新しいインドネシア英語テストセットを開発した。インドネシア語正規語のソースに合成スタイル拡張を行い、ベースラインのId-Enモデルを改善することを示す。
論文参考訳（メタデータ） (2020-12-30T14:52:15Z)
Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文参考訳（メタデータ） (2020-10-24T11:55:28Z)
ParsBERT: Transformer-based Model for Persian Language Understanding [0.7646713951724012]
本稿ではペルシャ語用単言語BERT(ParsBERT)を提案する。他のアーキテクチャや多言語モデルと比較すると、最先端のパフォーマンスを示している。 ParsBERTは、既存のデータセットや合成データセットを含む、すべてのデータセットでより高いスコアを取得する。
論文参考訳（メタデータ） (2020-05-26T05:05:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。