Fugu-MT 論文翻訳(概要): Open Sentence Embeddings for Portuguese with the Serafim PT* encoders family

論文の概要: Open Sentence Embeddings for Portuguese with the Serafim PT* encoders family

arxiv url: http://arxiv.org/abs/2407.19527v1
Date: Sun, 28 Jul 2024 16:34:25 GMT
ステータス: 処理完了
システム内更新日: 2024-07-30 17:42:21.035913
Title: Open Sentence Embeddings for Portuguese with the Serafim PT* encoders family
Title（参考訳）: Serafim PT*エンコーダファミリーを用いたポルトガル語のオープン文埋め込み
Authors: Luís Gomes, António Branco, João Silva, João Rodrigues, Rodrigo Santos,
Abstract要約: Serafim PT*はポルトガル語のオープンソース文エンコーダのファミリーである。各モデルは最先端のパフォーマンスを示し、パーミッシブライセンスの下で公開されています。本稿では,トップパフォーマンスエンコーダを支援する学習目標とパラメータの選択基準について,体系的な研究と教訓を提供する。
参考スコア（独自算出の注目度）: 1.8414956187889855
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Sentence encoder encode the semantics of their input, enabling key downstream applications such as classification, clustering, or retrieval. In this paper, we present Serafim PT*, a family of open-source sentence encoders for Portuguese with various sizes, suited to different hardware/compute budgets. Each model exhibits state-of-the-art performance and is made openly available under a permissive license, allowing its use for both commercial and research purposes. Besides the sentence encoders, this paper contributes a systematic study and lessons learned concerning the selection criteria of learning objectives and parameters that support top-performing encoders.
Abstract（参考訳）: 文エンコーダは入力のセマンティクスをエンコードし、分類、クラスタリング、検索などの重要な下流アプリケーションを可能にする。本稿では,様々な大きさのポルトガル語用オープンソース文エンコーダであるSerafim PT*を,様々なハードウェア/計算予算に適合させる。各モデルは最先端のパフォーマンスを示し、パーミッシブ・ライセンスの下で公開されており、商用および研究目的の両方に使用することができる。文エンコーダの他に,トップパフォーマンスエンコーダを支援する学習目標とパラメータの選択基準について,体系的な研究と授業を行った。

関連論文リスト

Encoder vs Decoder: Comparative Analysis of Encoder and Decoder Language Models on Multilingual NLU Tasks [4.851704512420683]
NLUタスク上でデコーダモデルを評価する手法を導入し,デンマーク語,スウェーデン語,ノルウェー語,アイスランド語,フェロー語,ドイツ語,オランダ語,英語の言語に適用する。この結果から,デコーダモデルでは,異なるタスクや言語間でニュアンスを観測することで,エンコーダモデルよりもはるかに優れたNLU性能が得られることがわかった。
論文参考訳（メタデータ） (2024-06-19T11:50:09Z)
Advancing Generative AI for Portuguese with Open Decoder Gerv\'asio PT* [0.38570000254272757]
本稿では,ポルトガル語のニューラルデコーディングにおける新たな技術状態を設定する,完全にオープンなTransformerベースの命令調整デコーダモデルを提案する。 Gerv'asioのすべてのバージョンはオープンソースであり、研究用と商用用の両方のライセンスで無償で配布されている。
論文参考訳（メタデータ） (2024-02-29T00:19:13Z)
On Leveraging Encoder-only Pre-trained Language Models for Effective Keyphrase Generation [76.52997424694767]
本研究では、キーフレーズ生成(KPG)におけるエンコーダのみの事前学習言語モデル(PLM)の適用について述べる。エンコーダのみの PLM では、条件付きランダムフィールドを持つ KPE は、現在のキーフレーズの同定においてわずかに優れているが、KPG の定式化はキーフレーズの予測の幅広いスペクトルを表現している。また,エンコーダのみの PLM を用いたエンコーダデコーダアーキテクチャを用いる場合,幅よりもモデル深度に対するパラメータ割り当てが望ましいことを示す。
論文参考訳（メタデータ） (2024-02-21T18:57:54Z)
Unlocking Efficiency in Large Language Model Inference: A Comprehensive Survey of Speculative Decoding [46.485363806259265]
投機的デコーディングは、LLM(Large Language Models)推論のための新しいデコーディングパラダイムとして登場した。復号処理の各ステップにおいて、この手法はまず、複数の将来のトークンを効率的にドラフトし、それらを並列に検証する。本稿では,この有望な復号化パラダイムの概観と解析について述べる。
論文参考訳（メタデータ） (2024-01-15T17:26:50Z)
Language Models are Universal Embedders [48.12992614723464]
事前学習されたトランスフォーマーデコーダは、限定的な英語データに基づいて微調整された場合、普遍的に埋め込み可能であることを示す。我々のモデルは、最小限のトレーニングデータにより、異なる埋め込みタスクにおける競争性能を達成する。これらの結果は、強力な統合インバータを構築するための有望な道の証となる。
論文参考訳（メタデータ） (2023-10-12T11:25:46Z)
Zero Resource Code-switched Speech Benchmark Using Speech Utterance Pairs For Multiple Spoken Languages [49.6922490267701]
我々は,自己教師型音声エンコーダのコード切替能力を評価するために,ゼロリソースコード切替音声ベンチマークを導入した。本稿では,音声エンコーダのコードスイッチング能力を評価するために,離散単位に基づく言語モデリングのベースラインシステムを紹介する。
論文参考訳（メタデータ） (2023-10-04T17:58:11Z)
OCR Language Models with Custom Vocabularies [5.608846358903994]
本稿では,OCRシステムにおける汎用言語モデルに対して,実行時にドメイン固有の単語ベース言語モデルを効率的に生成し,アタッチするアルゴリズムを提案する。また,CTCビームサーチデコーダを改良し,将来的な語彙の完成を前提として仮説を競合状態に保たせるようにした。
論文参考訳（メタデータ） (2023-08-18T16:46:11Z)
Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
論文参考訳（メタデータ） (2023-04-08T15:44:29Z)
Discrete Cosine Transform as Universal Sentence Encoder [10.355894890759377]
我々は離散コサイン変換(DCT)を用いて、異なる言語に対する普遍的な文表現を生成する。実験結果からDCT符号化の有効性が明らかとなった。
論文参考訳（メタデータ） (2021-06-02T04:43:54Z)
Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval [51.60862829942932]
本稿では,言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性に着目した体系的実証研究を行う。文レベルのCLIRでは、最先端のパフォーマンスが達成できることを実証する。しかし、ピーク性能は、汎用の多言語テキストエンコーダをオフ・ザ・シェルフで使うのではなく、文の理解タスクにさらに特化したバリエーションに依存している。
論文参考訳（メタデータ） (2021-01-21T00:15:38Z)
Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
論文参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。