論文の概要: Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored Arabic LLM

• arxiv url: http://arxiv.org/abs/2312.09366v1
• Date: Thu, 14 Dec 2023 22:04:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-18 17:48:04.035231
• Title: Arabic Mini-ClimateGPT : A Climate Change and Sustainability Tailored Arabic LLM
• Title（参考訳）: アラビア語のミニ気候gpt : 気候変動と持続可能性
• Authors: Sahal Shaji Mullappilly, Abdelrahman Shaker, Omkar Thawakar, Hisham Cholakkal, Rao Muhammad Anwer, Salman Khan, Fahad Shahbaz Khan
• Abstract要約: ChatGPTやBardのような大規模言語モデル(LLM)は、優れた会話能力を示し、幅広いNLPタスクに優れています。 我々は,オープンソースのLLM上に構築され,アラビア語データセットClima500-Instructの対話型命令チューニングに特化して微調整された軽量のアラビア語ミニクリメートGPTを提案する。 本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。
• 参考スコア（独自算出の注目度）: 77.17254959695218
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Climate change is one of the most significant challenges we face together as a society. Creating awareness and educating policy makers the wide-ranging impact of climate change is an essential step towards a sustainable future. Recently, Large Language Models (LLMs) like ChatGPT and Bard have shown impressive conversational abilities and excel in a wide variety of NLP tasks. While these models are close-source, recently alternative open-source LLMs such as Stanford Alpaca and Vicuna have shown promising results. However, these open-source models are not specifically tailored for climate related domain specific information and also struggle to generate meaningful responses in other languages such as, Arabic. To this end, we propose a light-weight Arabic Mini-ClimateGPT that is built on an open-source LLM and is specifically fine-tuned on a conversational-style instruction tuning curated Arabic dataset Clima500-Instruct with over 500k instructions about climate change and sustainability. Further, our model also utilizes a vector embedding based retrieval mechanism during inference. We validate our proposed model through quantitative and qualitative evaluations on climate-related queries. Our model surpasses the baseline LLM in 88.3% of cases during ChatGPT-based evaluation. Furthermore, our human expert evaluation reveals an 81.6% preference for our model's responses over multiple popular open-source models. Our open-source demos, code-base and models are available here https://github.com/mbzuai-oryx/ClimateGPT.
• Abstract（参考訳）: 気候変動は、私たちが社会として直面する最も重要な課題の1つです。 気候変動の広範な影響を意識し、政策立案者を教育することは、持続可能な未来に向けた重要なステップである。 最近、ChatGPTやBardのようなLarge Language Models (LLMs)は、様々なNLPタスクにおいて優れた会話能力を示し、優れています。 これらのモデルはオープンソースだが、Stanford Alpaca や Vicuna といった最近の代替のオープンソース LLM は有望な結果を示している。 しかし、これらのオープンソースモデルは、気候関連のドメイン固有情報に特化してはおらず、アラビア語など他の言語で意味のある応答を生成するのに苦労している。 この目的のために,オープンソースのLCM上に構築された軽量のアラビアミニクリメートGPTを提案し,気候変動と持続可能性に関する500k以上の指示をアラビアデータセットClima500-Instructで学習した。 さらに,本モデルでは,推論中にベクトル埋め込みに基づく検索機構を利用する。 気候関連クエリの定量的および質的評価により,提案モデルの有効性を検証した。 本モデルは,ChatGPTによる評価において,88.3%の症例において,ベースラインLLMを上回った。 さらに、人間の専門家による評価では、複数の人気のあるオープンソースモデルよりも81.6%の反応が好まれている。 当社のオープンソースデモ、コードベース、モデルは、https://github.com/mbzuai-oryx/climategpt.comから入手できます。

関連論文リスト

• GemmAr: Enhancing LLMs Through Arabic Instruction-Tuning [0.0]
  InstAr-500kは、コンテンツの生成と収集によって生成された新しいアラビア文字の命令データセットである。 我々は,オープンソースのGemma-7Bモデルを下流タスクで微調整し,その機能を改善することにより,このデータセットを評価する。 複数の評価結果に基づき, アラビアNLPベンチマークにおいて, 微調整モデルにより優れた性能が得られた。
  論文  参考訳（メタデータ） (2024-07-02T10:43:49Z)
• ArabicMMLU: Assessing Massive Multitask Language Understanding in Arabic [53.1913348687902]
  アラビア語に対する最初のマルチタスク言語理解ベンチマークであるアラビアMMLUを提示する。 我々のデータは、現代標準アラビア語(MSA)における40のタスクと14,575の多重選択質問からなる。 35モデルについて評価した結果,特にオープンソースモデルにおいて,改善の余地がかなり高いことが判明した。
  論文  参考訳（メタデータ） (2024-02-20T09:07:41Z)
• ClimateGPT: Towards AI Synthesizing Interdisciplinary Research on Climate Change [21.827936253363603]
  本稿では,気候変動に関する学際的な研究を合成するドメイン固有大規模言語モデルのモデルファミリーであるClimateGPTを紹介する。 科学指向の300Bトークンデータセットを用いて,スクラッチから2つの7Bモデルをトレーニングした。 気候GPT-7B、13B、70Bは、Llama2から4.2Bトークンのドメイン固有のデータセットで継続的に事前訓練される。
  論文  参考訳（メタデータ） (2024-01-17T23:29:46Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• ClimateSet: A Large-Scale Climate Model Dataset for Machine Learning [26.151056828513962]
  気候モデルは、気候変動の影響を評価し、将来の気候シナリオをシミュレートするための鍵となっている。 機械学習(ML)コミュニティは、気候モデルエミュレーション、ダウンスケーリング、予測タスクといった様々なタスクにおける気候科学者の取り組みを支援することへの関心が高まっている。 ここでは、入力4MIPとCMIP6アーカイブから36の気候モデルの入力と出力を含むデータセットであるClimateSetを紹介する。
  論文  参考訳（メタデータ） (2023-11-07T04:55:36Z)
• AceGPT, Localizing Large Language Models in Arabic [73.39989503874634]
  本稿では,アラビア語のテキストによる事前学習,ネイティブなアラビア語命令を利用したSFT(Supervised Fine-Tuning),アラビア語のGPT-4応答を含む総合的なソリューションを提案する。 目標は、文化的に認知され、価値に整合したアラビア語のLLMを、多様で応用特有のアラビア語コミュニティのニーズに適応させることである。
  論文  参考訳（メタデータ） (2023-09-21T13:20:13Z)
• PolyLM: An Open Source Polyglot Large Language Model [57.64420154135178]
  我々は6400億(B)トークンでトレーニングされた多言語大言語モデル(LLM)であるPolyLMについて述べる。 その多言語的能力を高めるために,1) バイリンガルデータをトレーニングデータに統合し,2) 事前学習中に英語以外のデータの比率を30%から60%に引き上げるカリキュラム学習戦略を採用する。 さらに,モデル微調整のために,132.7Kの多言語命令を自動的に生成する多言語自己指示手法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T09:00:37Z)
• Enhancing Large Language Models with Climate Resources [5.2677629053588895]
  大規模言語モデル(LLM)は、人間のようなテキストを生成する能力を示すことによって、人工知能のランドスケープを変革した。 しかし、彼らはしばしば不正確な言語を使うが、それは気候変動など、正確性が重要である領域では有害である。 本研究では,複数のソースにアクセスするエージェントとしてLLMの可能性を活かすために,近年のアイデアを活用している。 本研究では,ClimateWatchから放射データを取得するプロトタイプエージェントを用いて,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-03-31T20:24:14Z)
• ClimateBert: A Pretrained Language Model for Climate-Related Text [6.9637233646722985]
  大規模事前学習型言語モデル(LM)は自然言語処理(NLP)の分野に革命をもたらした。 我々は、気候関連テキストの160万節以上でさらに事前訓練されたトランスフォーマーベースの言語モデルであるClimateBertを提案する。 気候ベルトルアドは、マスク付き言語モデルの目標に対して46%の改善を達成し、様々な気候関連下流タスクにおいて、エラー率を3.57%から35.71%に下げる結果となった。
  論文  参考訳（メタデータ） (2021-10-22T18:47:34Z)
• Analyzing Sustainability Reports Using Natural Language Processing [68.8204255655161]
  近年、企業は環境への影響を緩和し、気候変動の状況に適応することを目指している。 これは、環境・社会・ガバナンス(ESG)の傘下にある様々な種類の気候リスクと暴露を網羅する、ますます徹底した報告を通じて報告されている。 本稿では,本稿で開発したツールと方法論について紹介する。
  論文  参考訳（メタデータ） (2020-11-03T21:22:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。