論文の概要: Advancing Generative AI for Portuguese with Open Decoder Gerv\'asio PT*
- arxiv url: http://arxiv.org/abs/2402.18766v1
- Date: Thu, 29 Feb 2024 00:19:13 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 16:32:08.093558
- Title: Advancing Generative AI for Portuguese with Open Decoder Gerv\'asio PT*
- Title（参考訳）: Open Decoder Gerv\'asio PT*によるポルトガル語生成AIの強化
- Authors: Rodrigo Santos, Jo\~ao Silva, Lu\'is Gomes, Jo\~ao Rodrigues,
Ant\'onio Branco
- Abstract要約: 本稿では,ポルトガル語のニューラルデコーディングにおける新たな技術状態を設定する,完全にオープンなTransformerベースの命令調整デコーダモデルを提案する。
Gerv'asioのすべてのバージョンはオープンソースであり、研究用と商用用の両方のライセンスで無償で配布されている。
- 参考スコア（独自算出の注目度）: 0.38570000254272757
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To advance the neural decoding of Portuguese, in this paper we present a
fully open Transformer-based, instruction-tuned decoder model that sets a new
state of the art in this respect. To develop this decoder, which we named
Gerv\'asio PT*, a strong LLaMA~2 7B model was used as a starting point, and its
further improvement through additional training was done over language
resources that include new instruction data sets of Portuguese prepared for
this purpose, which are also contributed in this paper. All versions of
Gerv\'asio are open source and distributed for free under an open license,
including for either research or commercial usage, and can be run on
consumer-grade hardware, thus seeking to contribute to the advancement of
research and innovation in language technology for Portuguese.
- Abstract（参考訳）: 本稿では,ポルトガル語のニューラルデコードを促進するために,トランスフォーマーをベースとした命令調整型デコーダモデルを提案する。
私たちがgerv\'asio pt*と命名したこのデコーダを開発するために、強いllama~2 7bモデルが出発点として使われ、この目的のために準備されたポルトガル語の新しい命令データセットを含む言語リソースに対して、追加のトレーニングによってさらなる改善が行われた。
gerv\'asioのすべてのバージョンはオープンソースであり、研究用または商用用を含むオープンライセンス下で無償で配布されており、消費者レベルのハードウェア上で動作可能であるため、ポルトガル語のための言語技術の研究とイノベーションの進展に貢献したいと考えている。
関連論文リスト
- Tucano: Advancing Neural Text Generation for Portuguese [0.0]
本研究は,ポルトガル語におけるニューラルテキスト生成の今後の発展を促進するために,新たなリソースセットを導入することを目的としている。
本研究は,ポルトガル語テキストコーパスの重複であるGigaVerboの開発について述べる。
我々のモデルは、ポルトガルのいくつかのベンチマークにおいて、同様の大きさの他のポルトガル語および多言語言語モデルと同等または優れている。
論文 参考訳（メタデータ） (2024-11-12T15:06:06Z) - PORTULAN ExtraGLUE Datasets and Models: Kick-starting a Benchmark for the Neural Processing of Portuguese [1.2779732438508473]
我々は、一連の言語処理タスクのためのデータセットのコレクションと、これらの下流タスクに関する微調整されたニューラルネットワークモデルのコレクションにコントリビュートする。
もともと英語で開発された文献の主流ベンチマークと合わせると、データセットは英語から機械翻訳され、最先端の翻訳エンジンが組み込まれていた。
その結果得られた PortULAN ExtraGLUE ベンチマークは、今後の研究で改善が追求されるポルトガルの研究の基盤となっている。
論文 参考訳（メタデータ） (2024-04-08T09:22:41Z) - Fostering the Ecosystem of Open Neural Encoders for Portuguese with
Albertina PT* Family [0.3230831234454389]
本稿では,オープンソースであり,任意の目的のためにオープンライセンスの下で無償で配布されるファンデーションエンコーダモデルに貢献する。
本稿では,15億のパラメータを持つ最大パフォーマンス駆動モデルと,1億のパラメータを持つより小さな効率駆動モデルを用いて,ポルトガル語に対する最先端のオープンエンコーダのエコシステムの拡張について述べる。
論文 参考訳（メタデータ） (2024-03-04T09:56:47Z) - CodeTF: One-stop Transformer Library for State-of-the-art Code LLM [72.1638273937025]
我々は、最先端のCode LLMとコードインテリジェンスのためのオープンソースのTransformerベースのライブラリであるCodeTFを紹介する。
我々のライブラリは、事前訓練されたコードLLMモデルと人気のあるコードベンチマークのコレクションをサポートします。
CodeTFが機械学習/生成AIとソフトウェア工学のギャップを埋められることを願っている。
論文 参考訳（メタデータ） (2023-05-31T05:24:48Z) - Advancing Neural Encoding of Portuguese with Transformer Albertina PT-* [0.5937476291232802]
アルベルティーナPT-*は、ポルトガルからのヨーロッパポルトガル(PT-PT)とブラジルからのアメリカポルトガル(PT-BR)の2つの変種のうちの2つの芸術の新たな状態を設定する基礎モデルである。
アルベルティーナと競合するモデルの性能は、ポルトガル語に適応した顕著な下流言語処理タスクで評価することで評価された。
Albertina PT-PT と PT-BR はいずれも無償で配布されており、最も寛容なライセンスの下ではコンシューマグレードのハードウェア上で動作可能である。
論文 参考訳（メタデータ） (2023-05-11T10:56:20Z) - Summarize and Generate to Back-translate: Unsupervised Translation of
Programming Languages [86.08359401867577]
バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。
コード要約と生成による逆翻訳を提案する。
提案手法は最先端の手法と競合することを示す。
論文 参考訳（メタデータ） (2022-05-23T08:20:41Z) - Reinforced Iterative Knowledge Distillation for Cross-Lingual Named
Entity Recognition [54.92161571089808]
言語間NERは、知識をリッチリソース言語から低リソース言語に転送する。
既存の言語間NERメソッドは、ターゲット言語でリッチなラベル付けされていないデータをうまく利用しない。
半教師付き学習と強化学習のアイデアに基づく新しいアプローチを開発する。
論文 参考訳（メタデータ） (2021-06-01T05:46:22Z) - Unsupervised Transfer Learning in Multilingual Neural Machine
Translation with Cross-Lingual Word Embeddings [72.69253034282035]
我々は、言語独立多言語文表現を活用し、新しい言語に容易に一般化する。
複数のロマンス言語を含むベースシステムを用いてポルトガル語から盲目的に復号し、ポルトガル語では36.4 BLEU、ロシア語では12.8 BLEUのスコアを得た。
非反復的逆翻訳によるより実用的な適応アプローチを探求し、高品質の翻訳を生産するモデルの能力を活用します。
論文 参考訳（メタデータ） (2021-03-11T14:22:08Z) - Transformers and Transfer Learning for Improving Portuguese Semantic
Role Labeling [2.9005223064604078]
低リソース言語、特にポルトガル語の場合、現在利用可能なSRLモデルは、トレーニングデータの不足によって妨げられます。
トレーニング済みのBERTモデル,線形層,ソフトマックス,ビタビ復号のみを用いたモデルアーキテクチャについて検討する。
論文 参考訳（メタデータ） (2021-01-04T19:56:01Z) - Incorporating External Knowledge through Pre-training for Natural
Language to Code Generation [97.97049697457425]
オープンドメインコード生成は、自然言語(NL)の意図から汎用プログラミング言語でコードを生成することを目的としている。
オンラインプログラミングQAフォーラムStackOverflowとプログラミング言語APIドキュメントからNL-codeペアを自動的にマイニングする。
評価の結果,2つのソースとデータ拡張と検索ベースデータ再サンプリングを組み合わせることで,コード生成テストベッドCoNaLa上でのBLEUスコアが最大2.2%向上することがわかった。
論文 参考訳（メタデータ） (2020-04-20T01:45:27Z) - Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。
各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
論文 参考訳（メタデータ） (2020-01-14T02:05:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。