論文の概要: Introducing Bode: A Fine-Tuned Large Language Model for Portuguese Prompt-Based Task

• arxiv url: http://arxiv.org/abs/2401.02909v1
• Date: Fri, 5 Jan 2024 17:15:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-08 14:42:03.890270
• Title: Introducing Bode: A Fine-Tuned Large Language Model for Portuguese Prompt-Based Task
• Title（参考訳）: Bode: ポルトガル語のpromptベースのタスクのための微調整された大規模言語モデル
• Authors: Gabriel Lino Garcia, Pedro Henrique Paiola, Luis Henrique Morelli, Giovani Candido, Arnaldo C\^andido J\'unior, Danilo Samuel Jodas, Luis C. S. Afonso, Ivan Rizzo Guilherme, Bruno Elias Penteado, Jo\~ao Paulo Papa
• Abstract要約: この研究は、ポルトガルのプロンプト「ボーデ」のための微調整されたLLaMA 2ベースのモデルを提案する。 In-context Learningを用いたゼロショット手法を用いて分類タスクにおけるこのモデルの性能を評価する。
• 参考スコア（独自算出の注目度）: 1.158680734110387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are increasingly bringing advances to Natural Language Processing. However, low-resource languages, those lacking extensive prominence in datasets for various NLP tasks, or where existing datasets are not as substantial, such as Portuguese, already obtain several benefits from LLMs, but not to the same extent. LLMs trained on multilingual datasets normally struggle to respond to prompts in Portuguese satisfactorily, presenting, for example, code switching in their responses. This work proposes a fine-tuned LLaMA 2-based model for Portuguese prompts named Bode in two versions: 7B and 13B. We evaluate the performance of this model in classification tasks using the zero-shot approach with in-context learning, and compare it with other LLMs. Our main contribution is to bring an LLM with satisfactory results in the Portuguese language, as well as to provide a model that is free for research or commercial purposes.
• Abstract（参考訳）: 大規模言語モデル(llm)は自然言語処理に進歩をもたらしつつある。 しかし、低リソース言語、様々なnlpタスクのためのデータセットの広範な隆起を欠く言語、あるいはポルトガルのような既存のデータセットがそれほど重要でない言語は、既にllmからいくつかの利点を得ているが、同じ程度ではない。 多言語データセットでトレーニングされたllmは通常、ポルトガル語のプロンプトに対する応答に苦労し、例えば、応答でコードスイッチを提示する。 本研究は7Bと13Bの2つのバージョンで、ポルトガルのプロンプトのための微調整LLaMA 2ベースのモデルを提案する。 ゼロショットとインコンテキスト学習を用いて分類タスクにおけるこのモデルの性能を評価し,他のLLMと比較した。 私たちの主な貢献は、ポルトガル語に十分な結果のllmを提供することと、研究目的や商業目的に無償のモデルを提供することです。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Leveraging Open-Source Large Language Models for Native Language Identification [1.6267479602370543]
  ネイティブ言語識別(NLI)は、法医学、マーケティング、第二言語習得に応用されている。 本研究では,オープンソース生成型大規模言語モデル(LLM)をNLIに適用する可能性について検討する。
  論文  参考訳（メタデータ） (2024-09-15T08:14:18Z)
• Multilingual Prompts in LLM-Based Recommenders: Performance Across Languages [0.0]
  この研究は、非英語のプロンプトがレコメンデーションパフォーマンスに与える影響を探求する。 ML1M、LastFM、Amazon-Beautyの3つの実世界のデータセットの評価は、非英語プロンプトの使用が一般的にパフォーマンスを低下させることを示した。 多言語プロンプトによるリトレーニングにより、言語間のバランスの取れたパフォーマンスが向上したが、英語のパフォーマンスはわずかに低下した。
  論文  参考訳（メタデータ） (2024-09-11T20:31:42Z)
• A Survey of Large Language Models for European Languages [4.328283741894074]
  大規模言語モデル(LLM)は、多岐にわたる自然言語処理における高い性能のため、大きな注目を集めている。 LLaMA, PaLM, GPT, MoE など LLM ファミリーの概要を報告する。 大規模言語モデルの事前学習に使用される共通単言語および多言語データセットの包括的要約を提供する。
  論文  参考訳（メタデータ） (2024-08-27T13:10:05Z)
• Zero-Shot Cross-Lingual Reranking with Large Language Models for Low-Resource Languages [51.301942056881146]
  アフリカ語における言語間情報検索システムにおいて,大規模言語モデル (LLM) がリランカーとしてどのように機能するかを検討する。 私たちの実装は、英語と4つのアフリカの言語(ハウサ語、ソマリ語、スワヒリ語、ヨルバ語)を対象としています。 我々は、英語のクェリとアフリカの言葉の文節による言語横断的な格付けについて検討する。
  論文  参考訳（メタデータ） (2023-12-26T18:38:54Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)
• Okapi: Instruction-tuned Large Language Models in Multiple Languages with Reinforcement Learning from Human Feedback [61.83548032416181]
  複数の言語を対象としたRLHFに基づく命令調整型LLMシステムであるOkapiを提案する。 オカピは26の多言語言語でインストラクションと応答ランクデータを導入し、将来の多言語LLM研究の促進と開発に役立てている。
  論文  参考訳（メタデータ） (2023-07-29T18:01:46Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• llm-japanese-dataset v0: Construction of Japanese Chat Dataset for Large Language Models and its Methodology [4.396516562723691]
  本研究では,約840万レコードからなる大規模言語モデル(LLM)をチューニングするための日本語チャットデータセットを構築した。 その結果,このデータセットはLLMにとって有益である可能性が示唆された。 しかし、英語以外の言語でLLMを構築することの難しさも明らかにした。
  論文  参考訳（メタデータ） (2023-05-22T04:59:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。