論文の概要: Camoscio: an Italian Instruction-tuned LLaMA

• arxiv url: http://arxiv.org/abs/2307.16456v1
• Date: Mon, 31 Jul 2023 07:31:48 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-01 15:29:38.102940
• Title: Camoscio: an Italian Instruction-tuned LLaMA
• Title（参考訳）: カモッシオ - イタリア製のLLaMA。
• Authors: Andrea Santilli and Emanuele Rodol\`a
• Abstract要約: カモシオ(Camoscio)は、イタリア語で利用者の指示に従うよう特別に調整された言語モデルである。 LLaMAの最小変種であるLoRAをChatGPT経由でイタリア語に翻訳した命令プロンプトのコーパスに微調整した。 その結果、イタリアにおける様々な下流タスクにおけるゼロショット性能は、これらのタスクに特化された既存のモデルと良好に競合していることがわかった。
• 参考スコア（独自算出の注目度）: 2.206749228451897
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In recent years Large Language Models (LLMs) have increased the state of the art on several natural language processing tasks. However, their accessibility is often limited to paid API services, posing challenges for researchers in conducting extensive investigations. On the other hand, while some open-source models have been proposed by the community, they are typically multilingual and not specifically tailored for the Italian language. In an effort to democratize the available and open resources for the Italian language, in this paper we introduce Camoscio: a language model specifically tuned to follow users' prompts in Italian. Specifically, we finetuned the smallest variant of LLaMA (7b) with LoRA on a corpus of instruction prompts translated to Italian via ChatGPT. Results indicate that the model's zero-shot performance on various downstream tasks in Italian competes favorably with existing models specifically finetuned for those tasks. All the artifacts (code, dataset, model) are released to the community at the following url: https://github.com/teelinsan/camoscio
• Abstract（参考訳）: 近年、Large Language Models (LLMs) は、自然言語処理タスクにおける技術の現状を高めている。 しかし、そのアクセシビリティは有料のAPIサービスに限定されることが多く、研究者が広範な調査を行う上での課題となっている。 一方で、コミュニティによっていくつかのオープンソースモデルが提案されているが、一般的には多言語であり、イタリア語に特化していない。 イタリア語の利用可能なオープンリソースを民主化するために,本稿では,ユーザのイタリア語でのプロンプトに従うように特別に調整された言語モデルであるCamoscioを紹介する。 具体的には,ChatGPTを介してイタリア語に翻訳された命令プロンプトのコーパスにLoRAを用いたLLaMA (7b) の最小変種を微調整した。 その結果、イタリアの様々な下流タスクにおけるモデルのゼロショット性能は、これらのタスク用に微調整された既存のモデルと有利に競合することが示された。 すべてのアーティファクト(コード、データセット、モデル)は以下のurlでコミュニティにリリースされている。

関連論文リスト

• Advanced Natural-based interaction for the ITAlian language: LLaMAntino-3-ANITA [3.195234044113248]
  本稿では,新しいメタLLaMA-3モデル,LLaMAntino-3-ANITA-8B-Inst-DPO-ITAに基づくLarge Language Model(LLM)を紹介する。 英語とイタリア語のデータセットにスーパーバイザード・ファイン・チューニング(SFT)技術を用いて,元の8Bパラメータのチューニングモデルを微調整した。 動的選好最適化(DPO)プロセスは、選好の調整、危険で不適切な回答の回避、バイアスと偏見の制限に使用されている。
  論文  参考訳（メタデータ） (2024-05-11T22:02:55Z)
• LLaMAntino: LLaMA 2 Models for Effective Text Generation in Italian Language [7.214355350362308]
  LLaMA(Large Language Model Meta AI)ファミリーは、自然言語処理の分野での新しい進歩を表現している。 本研究は, イタリア語LLMの新しいLLaMAファミリーを導入することで, イタリア語の言語適応戦略に寄与する。
  論文  参考訳（メタデータ） (2023-12-15T18:06:22Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)
• ITALIC: An Italian Intent Classification Dataset [16.970030804283745]
  ITALICはイタリア語で意図分類用に設計された最初の大規模音声データセットである。 このデータセットは、イタリア各地の70人の話者が記録した16,521人のクラウドソースオーディオサンプルで構成されている。 意図分類の結果から,大規模化や言語適応の促進により,より優れた音声モデルが得られることが示唆された。
  論文  参考訳（メタデータ） (2023-06-14T13:36:24Z)
• BLOOM+1: Adding Language Support to BLOOM for Zero-Shot Prompting [50.24676567971536]
  BLOOMモデルは広く公開されている多言語言語モデルであるが、事前訓練は46言語に限られていた。 既存の言語適応戦略をBLOOMに適用し、8つの新しい言語の性能向上を促すゼロショットをベンチマークする。 データ言語を十分に訓練すれば、多様な言語に適応できると結論付けている。
  論文  参考訳（メタデータ） (2022-12-19T15:24:45Z)
• BLOOM: A 176B-Parameter Open-Access Multilingual Language Model [264.96498474333697]
  大規模言語モデル(LLM)は、いくつかのデモや自然言語命令に基づいて新しいタスクを実行できることが示されている。 BLOOMは、176Bパラメータのオープンアクセス言語モデルであり、数百人の研究者の協力により設計・構築されている。 BLOOMは、RATSコーパスでトレーニングされたデコーダのみのトランスフォーマー言語モデルである。
  論文  参考訳（メタデータ） (2022-11-09T18:48:09Z)
• Crosslingual Generalization through Multitask Finetuning [80.8822603322471]
  マルチタスク誘導ファインタニング(MTF)は、大きな言語モデルがゼロショット設定で新しいタスクに一般化するのに役立つことが示されている。 MTFを事前訓練された多言語BLOOMおよびmT5モデルファミリーに適用し、BLOOMZおよびmT0と呼ばれる微調整された変種を生成する。 英語のプロンプトを用いた英語タスクにおける多言語多言語モデルの微調整により、非英語言語へのタスク一般化が可能となる。
  論文  参考訳（メタデータ） (2022-11-03T13:19:32Z)
• xGQA: Cross-Lingual Visual Question Answering [100.35229218735938]
  xGQAは視覚的質問応答タスクのための新しい多言語評価ベンチマークである。 確立された英語GQAデータセットを7言語に拡張する。 本稿では,マルチモーダルトランスフォーマーモデルに適応するアダプタベースの新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:58:21Z)
• Are Multilingual Models the Best Choice for Moderately Under-resourced Languages? A Comprehensive Assessment for Catalan [0.05277024349608833]
  この研究はカタルーニャ語に焦点を当て、中規模のモノリンガル言語モデルが最先端の大規模多言語モデルとどの程度競合するかを探求することを目的としている。 クリーンで高品質なカタルーニャ語コーパス(CaText)を構築し、カタルーニャ語(BERTa)のためのトランスフォーマーベースの言語モデルを訓練し、様々な設定で徹底的に評価する。 その結果,カタルーニャ語理解ベンチマーク(CLUB, Catalan Language Understanding Benchmark)が,オープンリソースとして公開された。
  論文  参考訳（メタデータ） (2021-07-16T13:52:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。