論文の概要: KIT-19: A Comprehensive Korean Instruction Toolkit on 19 Tasks for Fine-Tuning Korean Large Language Models

• arxiv url: http://arxiv.org/abs/2403.16444v1
• Date: Mon, 25 Mar 2024 06:15:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 15:47:46.371096
• Title: KIT-19: A Comprehensive Korean Instruction Toolkit on 19 Tasks for Fine-Tuning Korean Large Language Models
• Title（参考訳）: KIT-19:大韓民国語モデル作成のための総合的韓国語指導ツールキット
• Authors: Dongjun Jang, Sungjoo Byun, Hyemi Jo, Hyopil Shin,
• Abstract要約: textitKIT-19は、韓国のNLPタスクのための19の既存のオープンソースデータセットからなる、命令フォーマットで作成されたデータセットである。 実験の結果,textitKIT-19で訓練したモデルは,既存の韓国のLLMよりも有意に優れていた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Instruction Tuning on Large Language Models is an essential process for model to function well and achieve high performance in specific tasks. Accordingly, in mainstream languages such as English, instruction-based datasets are being constructed and made publicly available. In the case of Korean, publicly available models and datasets all rely on using the output of ChatGPT or translating datasets built in English. In this paper, We introduce \textit{KIT-19} as an instruction dataset for the development of LLM in Korean. \textit{KIT-19} is a dataset created in an instruction format, comprising 19 existing open-source datasets for Korean NLP tasks. In this paper, we train a Korean Pretrained LLM using \textit{KIT-19} to demonstrate its effectiveness. The experimental results show that the model trained on \textit{KIT-19} significantly outperforms existing Korean LLMs. Based on the its quality and empirical results, this paper proposes that \textit{KIT-19} has the potential to make a substantial contribution to the future improvement of Korean LLMs' performance.
• Abstract（参考訳）: 大規模言語モデルのインストラクションチューニングは、モデルが正常に機能し、特定のタスクで高いパフォーマンスを達成するための重要なプロセスである。 そのため、英語などの主流言語では、命令ベースのデータセットが構築され、公開されている。 韓国の場合、一般に利用可能なモデルとデータセットはすべて、ChatGPTの出力または英語で構築されたデータセットの翻訳に頼っている。 本稿では,韓国における LLM 開発のための指導データセットとして \textit{KIT-19} を紹介する。 \textit{KIT-19}は、韓国のNLPタスクのための19の既存のオープンソースデータセットからなる、命令形式で作成されたデータセットである。 本稿では,韓国の事前学習型LLMをtextit{KIT-19} を用いて訓練し,その効果を実証する。 実験の結果, <textit{KIT-19} で訓練したモデルは, 既存の韓国の LLM よりも有意に優れていた。 本稿では,その品質と実証結果に基づいて,韓国のLLMの性能向上に大きく貢献する可能性を示唆する。

関連論文リスト

• Enhancing Natural Language Inference Performance with Knowledge Graph for COVID-19 Automated Fact-Checking in Indonesian Language [2.0653921521788883]
  本研究は,インドネシア語の自動ファクトチェックにおいて,知識グラフ(KG)を外部知識として活用し,NLIのパフォーマンスを向上させる。 本研究は,KGsを組み込むことで,NLI性能が有意に向上し,0,8616の精度が達成できることを示す。
  論文  参考訳（メタデータ） (2024-08-22T14:27:47Z)
• Does Incomplete Syntax Influence Korean Language Model? Focusing on Word Order and Case Markers [7.275938266030414]
  語順やケースマーカーなどの構文要素は自然言語処理において基本的なものである。 本研究は,韓国語モデルがこの柔軟性を正確に捉えることができるかどうかを考察する。
  論文  参考訳（メタデータ） (2024-07-12T11:33:41Z)
• StructLM: Towards Building Generalist Models for Structured Knowledge Grounding [49.10029030628653]
  大規模言語モデル(LLM)では、最先端(SoTA)モデルの背後にある構造化データラグを平均35%処理できる。 私たちは、MistralとCodeLlamaモデルファミリに基づいたStructLMと呼ばれる一連のモデルをトレーニングします。 我々のStructLMシリーズは、評価された18のデータセットのうち16のタスク固有モデルを超え、8つのSKGタスクに新しいSoTAパフォーマンスを確立する。
  論文  参考訳（メタデータ） (2024-02-26T15:47:01Z)
• Efficient and Effective Vocabulary Expansion Towards Multilingual Large Language Models [9.359647125218359]
  本報告では,韓国語による大規模言語モデルの適応である texttEEVE-Korean-v1.0 を紹介する。 我々の手法は、わずか20億のトークンで非英語の習熟度を大幅に向上させることができる。
  論文  参考訳（メタデータ） (2024-02-22T17:12:39Z)
• Speech Translation with Large Language Models: An Industrial Practice [64.5419534101104]
  LLM-STは,事前学習型大言語モデル(LLM)に基づいて構築された,新規で効果的な音声翻訳モデルである。 大規模言語モデル(LLM)を音声エンコーダと統合し、マルチタスクの命令チューニングを利用することで、LLM-STは正確なタイムスタンプと翻訳を生成することができる。 英語と中国語のデータセットの厳密な実験を通じて,LLM-STの異常な性能を示す。
  論文  参考訳（メタデータ） (2023-12-21T05:32:49Z)
• CoAnnotating: Uncertainty-Guided Work Allocation between Human and Large Language Models for Data Annotation [94.59630161324013]
  本稿では,非構造化テキストの大規模共同アノテーションのための新しいパラダイムであるCoAnnotatingを提案する。 我々の実証研究は、CoAnnotatingが、異なるデータセット上の結果から作業を割り当てる効果的な手段であることを示し、ランダムベースラインよりも最大21%のパフォーマンス改善を実現している。
  論文  参考訳（メタデータ） (2023-10-24T08:56:49Z)
• Struc-Bench: Are Large Language Models Really Good at Generating Complex Structured Data? [49.688233418425995]
  Struc-Benchは、大きな言語モデル(LLM)を特徴とする包括的なベンチマークである。 Pスコア(Prompting Score)とHスコア(Heuristical Score)の2つの革新的な指標を提案する。 実験の結果,LLaMA-7Bに構造認識の微調整を適用すると,性能が大幅に向上することがわかった。
  論文  参考訳（メタデータ） (2023-09-16T11:31:58Z)
• From Base to Conversational: Japanese Instruction Dataset and Tuning Large Language Models [6.520584613661788]
  既存のデータセットを拡張・フィルタリングすることで,日本語の命令データセットを構築する。 日本語と英語の両方の既存モデルでローランド適応(LoRA)チューニングを行う。
  論文  参考訳（メタデータ） (2023-09-07T00:14:37Z)
• TIM: Teaching Large Language Models to Translate with Comparison [78.66926087162672]
  本稿では,LLMに翻訳学習を教えるために,サンプルを用いた新しいフレームワークを提案する。 我々のアプローチは、正しい翻訳例と間違った翻訳例をモデルに提示し、好みの損失を使ってモデルの学習をガイドすることである。 本研究は,翻訳タスクのための微調整LDMの新しい視点を提供し,高品質な翻訳を実現するための有望なソリューションを提供する。
  論文  参考訳（メタデータ） (2023-07-10T08:15:40Z)
• Tencent AI Lab - Shanghai Jiao Tong University Low-Resource Translation System for the WMT22 Translation Task [49.916963624249355]
  本稿では, Tencent AI Lab - Shanghai Jiao Tong University (TAL-SJTU) Low-Resource Translation system for the WMT22 shared taskについて述べる。 我々は、英語$Leftrightarrow$Livonianの一般的な翻訳作業に参加する。 本システムは,M2M100を対象言語に適応させる新しい手法を用いて構築した。
  論文  参考訳（メタデータ） (2022-10-17T04:34:09Z)
• KorNLI and KorSTS: New Benchmark Datasets for Korean Natural Language Understanding [4.576330530169462]
  自然言語推論(NLI)と意味テキスト類似性(STS)は、自然言語理解(NLU)における重要なタスクである。 韓国語ではNLIやSTSのデータセットは公開されていない。 我々はそれぞれKorNLIとKorSTSと呼ばれる韓国のNLIとSTSのための新しいデータセットを構築し、リリースする。
  論文  参考訳（メタデータ） (2020-04-07T11:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。