論文の概要: Leveraging Open-Source Large Language Models for Native Language Identification

• arxiv url: http://arxiv.org/abs/2409.09659v2
• Date: Sun, 19 Jan 2025 16:50:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:17:05.079445
• Title: Leveraging Open-Source Large Language Models for Native Language Identification
• Title（参考訳）: ネイティブ言語識別のためのオープンソースの大規模言語モデルの活用
• Authors: Yee Man Ng, Ilia Markov,
• Abstract要約: ネイティブ言語識別(NLI)は、法医学、マーケティング、第二言語習得に応用されている。 本研究では,オープンソース生成型大規模言語モデル(LLM)をNLIに適用する可能性について検討する。
• 参考スコア（独自算出の注目度）: 1.6267479602370543
• License:
• Abstract: Native Language Identification (NLI) - the task of identifying the native language (L1) of a person based on their writing in the second language (L2) - has applications in forensics, marketing, and second language acquisition. Historically, conventional machine learning approaches that heavily rely on extensive feature engineering have outperformed transformer-based language models on this task. Recently, closed-source generative large language models (LLMs), e.g., GPT-4, have demonstrated remarkable performance on NLI in a zero-shot setting, including promising results in open-set classification. However, closed-source LLMs have many disadvantages, such as high costs and undisclosed nature of training data. This study explores the potential of using open-source LLMs for NLI. Our results indicate that open-source LLMs do not reach the accuracy levels of closed-source LLMs when used out-of-the-box. However, when fine-tuned on labeled training data, open-source LLMs can achieve performance comparable to that of commercial LLMs.
• Abstract（参考訳）: ネイティブ言語識別(NLI) - 第二言語(L2)で記述した人物のネイティブ言語(L1)を識別するタスク。 歴史的に、機能工学に大きく依存する従来の機械学習アプローチは、このタスクにおいてトランスフォーマーベースの言語モデルよりも優れています。 近年,オープンソース生成型大規模言語モデル(LLMs, GPT-4)は,オープンセット分類における有望な結果を含むゼロショット設定において,NLIに対して顕著な性能を示した。 しかし、クローズドソース LLM には、高コストや訓練データの非開示性など、多くの欠点がある。 本研究では,NLI にオープンソース LLM を適用する可能性について検討する。 この結果から,オープンソース LLM は,アウト・オブ・ザ・ボックスで使用する場合,クローズドソース LLM の精度レベルに達しないことが示唆された。 しかし、ラベル付きトレーニングデータに微調整を施すと、オープンソースのLLMは商用のLLMに匹敵する性能を達成できる。

関連論文リスト

• Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
  CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。 現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。 近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
  論文  参考訳（メタデータ） (2024-10-26T00:39:44Z)
• Open Llama2 Model for the Lithuanian Language [0.0]
  リトアニア語に対する最初のオープンなLlama2大言語モデル(LLM)を提案し,記述する。 本稿では,オープン地域LSMの簡単なレビューと,提案するLSMとそのトレーニングプロセスの詳細情報について述べる。
  論文  参考訳（メタデータ） (2024-08-23T10:18:39Z)
• Learning-From-Mistakes Prompting for Indigenous Language Translation [3.7790255156708397]
  本稿では,低リソースの母国語翻訳を改善する手法を提案する。 我々のアプローチは、限られた数の並列翻訳例からなるデータストアの使用に基礎を置いています。 我々は、LLMをユニバーサルトランスレータとして使用するような設定において、LLMと文脈内学習技術のポテンシャルを利用する。
  論文  参考訳（メタデータ） (2024-07-18T09:41:20Z)
• MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series [86.31735321970481]
  私たちはMAP-Neoをオープンソースにしました。これは、4.5Tの高品質トークン上で、スクラッチからトレーニングされた7Bパラメータを持つバイリンガル言語モデルです。 MAP-Neo は,既存の最先端 LLM と比較して性能が劣る初の完全オープンソースバイリンガル LLM である。
  論文  参考訳（メタデータ） (2024-05-29T17:57:16Z)
• MindMerger: Efficient Boosting LLM Reasoning in non-English Languages [26.334092384176518]
  推論能力は大規模言語モデル(LLM)にとって不可欠である 我々は,多言語モデルからLLMと外部言語理解機能を融合したMindMergerを提案する。 MindMergerは、特に低リソース言語において、すべてのベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2024-05-27T17:41:54Z)
• Enhancing Multilingual Capabilities of Large Language Models through Self-Distillation from Resource-Rich Languages [60.162717568496355]
  大規模言語モデル(LLM)は多言語コーパスで事前訓練されている。 彼らのパフォーマンスは、いくつかのリソース豊富な言語と比較して、ほとんどの言語でまだ遅れています。
  論文  参考訳（メタデータ） (2024-02-19T15:07:32Z)
• UltraLink: An Open-Source Knowledge-Enhanced Multilingual Supervised Fine-tuning Dataset [69.33424532827608]
  オープンソースの大規模言語モデル(LLM)は、様々な分野において大きな強みを持っている。 本研究では,オープンソースの多言語教師付き微調整データセットを構築する。 結果として得られたUltraLinkデータセットは、5つの言語にわたる約100万のサンプルで構成されている。
  論文  参考訳（メタデータ） (2024-02-07T05:05:53Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Democratizing LLMs for Low-Resource Languages by Leveraging their English Dominant Abilities with Linguistically-Diverse Prompts [75.33019401706188]
  大規模言語モデル(LLM)は、少数の例を単純に観察することで、効果的にタスクを実行することが知られている。 我々は,LLMが任意の言語から英語に翻訳するよう促すために,多種多様な高ソース言語から合成例を組み立てることを提案する。 我々の教師なしプロンプト法は、英語と13のIndic言語と21のアフリカ低リソース言語間の翻訳において、異なる大きさのLLMにおける教師付き少ショット学習と同等に機能する。
  論文  参考訳（メタデータ） (2023-06-20T08:27:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。