Fugu-MT 論文翻訳(概要): Creating Arabic LLM Prompts at Scale

論文の概要: Creating Arabic LLM Prompts at Scale

arxiv url: http://arxiv.org/abs/2408.05882v1
Date: Mon, 12 Aug 2024 00:46:39 GMT
ステータス: 処理完了
システム内更新日: 2024-08-13 15:05:59.019936
Title: Creating Arabic LLM Prompts at Scale
Title（参考訳）: アラビア語のLLMプロンプトを大規模に作成する
Authors: Abdelrahman El-Sheikh, Ahmed Elmogtaba, Kareem Darwish, Muhammad Elmallah, Ashraf Elneima, Hassan Sawaf,
Abstract要約: アラビア語のプロンプトを安価かつ迅速に作成する2つの方法を紹介する。我々は6740万以上のアラビア語のプロンプトを作成し、様々なタスクをカバーしています。オープンな70億パラメータの大言語モデルであるQwen2 7Bを微調整することで,700億パラメータ命令チューニングモデルであるLlama3 70Bよりも優れた性能が得られることを示す。
参考スコア（独自算出の注目度）: 3.425427289009094
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: The debut of chatGPT and BARD has popularized instruction following text generation using LLMs, where a user can interrogate an LLM using natural language requests and obtain natural language answers that matches their requests. Training LLMs to respond in this manner requires a large number of worked out examples of user requests (aka prompts) with corresponding gold responses. In this paper, we introduce two methods for creating such prompts for Arabic cheaply and quickly. The first methods entails automatically translating existing prompt datasets from English, such as PromptSource and Super-NaturalInstructions, and then using machine translation quality estimation to retain high quality translations only. The second method involves creating natural language prompts on top of existing Arabic NLP datasets. Using these two methods we were able to create more than 67.4 million Arabic prompts that cover a variety of tasks including summarization, headline generation, grammar checking, open/closed question answering, creative writing, etc. We show that fine tuning an open 7 billion parameter large language model, namely base Qwen2 7B, enables it to outperform a state-of-the-art 70 billion parameter instruction tuned model, namely Llama3 70B, in handling Arabic prompts.
Abstract（参考訳）: chatGPT と BARD の登場により LLM を用いたテキスト生成による命令の一般化が図られ,自然言語要求を用いて LLM を問うことができ,その要求にマッチする自然言語の回答が得られるようになった。この方法でLLMに応答するためのトレーニングには、対応するゴールドレスポンスを持つユーザリクエスト(別名プロンプト)の多数の実例が必要となる。本稿では、アラビア語に対するこのようなプロンプトを安価かつ迅速に作成する2つの方法を紹介する。最初の方法は、PromptSourceやSuper-Natural Instructionsといった既存のプロンプトデータセットを英語から自動的に翻訳し、マシン翻訳の品質評価を使用して、高品質な翻訳のみを保持する。 2つ目の方法は、既存のアラビアのNLPデータセットの上に自然言語プロンプトを作成することである。これら2つの方法を用いることで、要約、見出し生成、文法チェック、オープン/クローズドな質問応答、創造的な文章など、さまざまなタスクをカバーする6740万以上のアラビア語プロンプトを作成できるようになりました。オープンな70億パラメータの大言語モデルであるQwen2 7Bを微調整することで、アラビア語のプロンプトを扱う上で、最先端の70億パラメータ命令チューニングモデル、すなわちLlama3 70Bより優れていることを示す。

関連論文リスト

Dictionary Insertion Prompting for Multilingual Reasoning on Multilingual Large Language Models [52.00446751692225]
textbfDictionary textbfInsertion textbfPrompting (textbfDIP) という,新規かつシンプルで効果的な方法を提案する。非英語のプロンプトを提供する際、DIPは単語辞書を調べ、単語の英語のプロンプトをLLMのプロンプトに挿入する。そして、英語へのより良い翻訳とより良い英語モデル思考のステップを可能にし、明らかにより良い結果をもたらす。
論文参考訳（メタデータ） (2024-11-02T05:10:50Z)
Learning Semantic Structure through First-Order-Logic Translation [4.005483185111992]
言語モデルは、どのオブジェクトに適用されるかの述語を混乱させることがある。一般化能力を評価するために設計された合成データセット上で、いくつかの大きな言語モデルを微調整する。その結果,LLMのFOL翻訳は述語構造を学習するのに適していることがわかった。
論文参考訳（メタデータ） (2024-10-04T07:39:34Z)
GemmAr: Enhancing LLMs Through Arabic Instruction-Tuning [0.0]
InstAr-500kは、コンテンツの生成と収集によって生成された新しいアラビア文字の命令データセットである。我々は,オープンソースのGemma-7Bモデルを下流タスクで微調整し,その機能を改善することにより,このデータセットを評価する。複数の評価結果に基づき, アラビアNLPベンチマークにおいて, 微調整モデルにより優れた性能が得られた。
論文参考訳（メタデータ） (2024-07-02T10:43:49Z)
ArabicaQA: A Comprehensive Dataset for Arabic Question Answering [13.65056111661002]
アラビカQAは、アラビア語で機械読解とオープンドメイン質問応答のための最初の大規模データセットである。また、アラビア語ウィキペディアコーパスで訓練された最初の高密度経路探索モデルであるAraDPRを提示する。
論文参考訳（メタデータ） (2024-03-26T16:37:54Z)
Few-Shot Cross-Lingual Transfer for Prompting Large Language Models in Low-Resource Languages [0.0]
プロンプティング(prompting)とは、ユーザがタスクの説明と完了したタスクのいくつかの例を PLM にコンテキストとして提供し、PLM に新しい例でタスクを実行するように促す方法である。提案手法は, 数発プロンプト(prompt), 言語適応微調整(LAFT), ニューラルマシン翻訳(Translate)の3種類である。翻訳とプロンプトの設定は、選択した低リソース言語に対して、数ショットプロンプトの計算効率とコスト効率のよい方法であることがわかった。
論文参考訳（メタデータ） (2024-03-09T21:36:13Z)
Introducing Bode: A Fine-Tuned Large Language Model for Portuguese Prompt-Based Task [1.158680734110387]
この研究は、ポルトガルのプロンプト「ボーデ」のための微調整されたLLaMA 2ベースのモデルを提案する。 In-context Learningを用いたゼロショット手法を用いて分類タスクにおけるこのモデルの性能を評価する。
論文参考訳（メタデータ） (2024-01-05T17:15:01Z)
Learning to Prompt with Text Only Supervision for Vision-Language Models [107.282881515667]
メソッドの1つのブランチは、視覚情報を使用してプロンプトを学習することでCLIPに適応する。別のアプローチでは、大規模な言語モデルからクラス記述を生成することで、トレーニング不要の手法を利用する。そこで本研究では,テキストデータのみを用いてプロンプトを学習することで,両ストリームの強みを組み合わせることを提案する。
論文参考訳（メタデータ） (2024-01-04T18:59:49Z)
YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
論文参考訳（メタデータ） (2023-12-22T17:34:47Z)
PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
論文参考訳（メタデータ） (2023-07-12T09:00:37Z)
Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
論文参考訳（メタデータ） (2023-06-20T08:27:47Z)
Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
論文参考訳（メタデータ） (2023-04-03T18:46:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。