論文の概要: ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools

• arxiv url: http://arxiv.org/abs/2406.12793v1
• Date: Tue, 18 Jun 2024 16:58:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 17:59:05.004687
• Title: ChatGLM: A Family of Large Language Models from GLM-130B to GLM-4 All Tools
• Title（参考訳）: ChatGLM: GLM-130B から GLM-4 に至るまでの大規模言語モデルのファミリー
• Authors: Team GLM, :, Aohan Zeng, Bin Xu, Bowen Wang, Chenhui Zhang, Da Yin, Diego Rojas, Guanyu Feng, Hanlin Zhao, Hanyu Lai, Hao Yu, Hongning Wang, Jiadai Sun, Jiajie Zhang, Jiale Cheng, Jiayi Gui, Jie Tang, Jing Zhang, Juanzi Li, Lei Zhao, Lindong Wu, Lucen Zhong, Mingdao Liu, Minlie Huang, Peng Zhang, Qinkai Zheng, Rui Lu, Shuaiqi Duan, Shudan Zhang, Shulin Cao, Shuxun Yang, Weng Lam Tam, Wenyi Zhao, Xiao Liu, Xiao Xia, Xiaohan Zhang, Xiaotao Gu, Xin Lv, Xinghan Liu, Xinyi Liu, Xinyue Yang, Xixuan Song, Xunkai Zhang, Yifan An, Yifan Xu, Yilin Niu, Yuantao Yang, Yueyan Li, Yushi Bai, Yuxiao Dong, Zehan Qi, Zhaoyu Wang, Zhen Yang, Zhengxiao Du, Zhenyu Hou, Zihan Wang,
• Abstract要約: 本報告は, GLM-4, GLM-4-Air, GLM-4-9B を含む GLM-4 言語シリーズに主眼を置いている。 GLM-4モデルは、主に中国語と英語で10兆のトークンと、24言語からの小さなコーパスで事前訓練されている。 高品質なアライメントは、教師付き微調整と人間のフィードバックからの学習を含む、多段階のポストトレーニングプロセスを通じて達成される。
• 参考スコア（独自算出の注目度）: 119.30176301978462
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce ChatGLM, an evolving family of large language models that we have been developing over time. This report primarily focuses on the GLM-4 language series, which includes GLM-4, GLM-4-Air, and GLM-4-9B. They represent our most capable models that are trained with all the insights and lessons gained from the preceding three generations of ChatGLM. To date, the GLM-4 models are pre-trained on ten trillions of tokens mostly in Chinese and English, along with a small set of corpus from 24 languages, and aligned primarily for Chinese and English usage. The high-quality alignment is achieved via a multi-stage post-training process, which involves supervised fine-tuning and learning from human feedback. Evaluations show that GLM-4 1) closely rivals or outperforms GPT-4 in terms of general metrics such as MMLU, GSM8K, MATH, BBH, GPQA, and HumanEval, 2) gets close to GPT-4-Turbo in instruction following as measured by IFEval, 3) matches GPT-4 Turbo (128K) and Claude 3 for long context tasks, and 4) outperforms GPT-4 in Chinese alignments as measured by AlignBench. The GLM-4 All Tools model is further aligned to understand user intent and autonomously decide when and which tool(s) touse -- including web browser, Python interpreter, text-to-image model, and user-defined functions -- to effectively complete complex tasks. In practical applications, it matches and even surpasses GPT-4 All Tools in tasks like accessing online information via web browsing and solving math problems using Python interpreter. Over the course, we have open-sourced a series of models, including ChatGLM-6B (three generations), GLM-4-9B (128K, 1M), GLM-4V-9B, WebGLM, and CodeGeeX, attracting over 10 million downloads on Hugging face in the year 2023 alone. The open models can be accessed through https://github.com/THUDM and https://huggingface.co/THUDM.
• Abstract（参考訳）: 私たちはChatGLMを紹介します。ChatGLMは、私たちが時間をかけて開発してきた大規模言語モデルの進化したファミリーです。 本報告は, GLM-4, GLM-4-Air, GLM-4-9B を含む GLM-4 言語シリーズに主眼を置いている。 それらは、前世代のChatGLMから得られたすべての洞察と教訓で訓練された、最も有能なモデルを表しています。 現在、GLM-4モデルは、主に中国語と英語で10兆のトークンで事前訓練されており、24言語からの小さなコーパスも用意されており、主に中国語と英語で使用されている。 高品質なアライメントは、教師付き微調整と人間のフィードバックからの学習を含む、多段階のポストトレーニングプロセスを通じて達成される。 GLM-4の評価結果 1)MMLU,GSM8K,MATH,BBH,GPQA,HumanEvalなどの一般的な指標では,GPT-4と密接に競合するか,あるいは優れる。 2) IFEvalで測定された指示に従ってGPT-4-Turboに近づく。 3) GPT-4 Turbo (128K) と Claude 3 にマッチする。 4)AlignBenchによる中国のアライメントではGPT-4よりも優れていた。 GLM-4 All Toolsモデルはさらに、ユーザの意図を理解し、Webブラウザ、Pythonインタプリタ、テキスト・ツー・イメージモデル、ユーザ定義関数など、どのツールがいつ、いつ、どのツールが、複雑なタスクを効果的に完了するかを自律的に決定するように調整されている。 実際のアプリケーションでは、Webブラウジングを通じてオンライン情報にアクセスしたり、Pythonインタプリタを使って数学の問題を解決するといったタスクにおいて、GPT-4 All Toolsと一致し、さらに上回っている。 ChatGLM-6B (3世代), GLM-4-9B (128K, 1M), GLM-4V-9B, WebGLM, CodeGeeXなど,一連のモデルをオープンソースとして公開しています。 オープンモデルはhttps://github.com/THUDMとhttps://huggingface.co/THUDMを通じてアクセスすることができる。

関連論文リスト

• Hire a Linguist!: Learning Endangered Languages with In-Context Linguistic Descriptions [49.97641297850361]
  lingOLLMは、LLMが事前トレーニングでほとんど起こらない未知の言語を処理できるようにする、トレーニング不要のアプローチである。 GPT-4とMixtralの2つのモデル上にlingOLLMを実装し,その性能評価を行った。 GPT-4 の 0 から 10.5 BLEU への翻訳能力が 10 言語方向に向上することを示す。
  論文  参考訳（メタデータ） (2024-02-28T03:44:01Z)
• TAT-LLM: A Specialized Language Model for Discrete Reasoning over Tabular and Textual Data [73.29220562541204]
  我々は,言語モデル(LLM)の驚くべきパワーを活用して課題を解決することを検討する。 LLaMA2を微調整し,既存のエキスパートアノテートデータセットから自動生成したトレーニングデータを用いてTAT-LLM言語モデルを開発する。
  論文  参考訳（メタデータ） (2024-01-24T04:28:50Z)
• A Survey of GPT-3 Family Large Language Models Including ChatGPT and GPT-4 [4.206175795966694]
  LLM(Large Language Model)は、モデルのサイズを拡大し、コーパスを事前訓練し、計算することで得られる訓練済み言語モデルの特殊なクラスである。 我々は GPT-3 とその後継 OpenAI モデルである ChatGPT と GPT4 を GPT-3 ファミリー大言語モデル (GLLM) と呼ぶ。
  論文  参考訳（メタデータ） (2023-10-04T16:37:05Z)
• Benchmarking the Abilities of Large Language Models for RDF Knowledge Graph Creation and Comprehension: How Well Do LLMs Speak Turtle? [0.0]
  大きな言語モデル(LLM)は、自然言語処理とコーディングタスクにおいて大幅に改善され、急速に進歩している。 様々なLSMの習熟度を評価するために,Turtle構文でシリアライズされた知識グラフを解析,理解,分析,作成する5つのタスクのセットを作成した。 GPT-3.5、GPT-4、Claude 1.3、Claude 2.0の4つの商用LLMと、GPT4All VicunaとGPT4All Falcon 13Bの2つのオフラインモデルが含まれていた。
  論文  参考訳（メタデータ） (2023-09-29T10:36:04Z)
• Efficient Finetuning Large Language Models For Vietnamese Chatbot [1.2075778142867704]
  大規模言語モデル(LLM)は、様々な自然言語タスクにおいて顕著な性能を発揮することが示されている。 Alpaca、GPT4All、Chat-Doctorなど、オープンソースの大規模インストラクションフォローデータセットを活用しています。 我々は,低ランク適応(LoRA)によるパラメータ効率チューニングを2つのオープンLLM上で行い,その結果,Bloomz-Chat,Bloomz-Doctor,GPTJ-Chat,GPTJ-Doctorの4つのモデルを得た。
  論文  参考訳（メタデータ） (2023-09-09T00:11:53Z)
• Chameleon: Plug-and-Play Compositional Reasoning with Large Language Models [187.58051653991686]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクの解決において顕著な進歩を遂げている。 しかし、最新の情報にアクセスできないため、固有の制限がある。 本稿では,LLMを合成推論のためのプラグアンドプレイモジュールで拡張するAIシステムChameleonを紹介する。
  論文  参考訳（メタデータ） (2023-04-19T17:47:47Z)
• Visual Instruction Tuning [79.70923292053097]
  本稿では,言語のみの GPT-4 を用いてマルチモーダルな言語イメージ命令追跡データを生成する試みについて紹介する。 このようなデータに対して,LLaVA: Large Language and Vision Assistantを導入する。 科学QAを微調整すると、LLaVAとGPT-4の相乗効果は92.53%の新しい最先端精度を達成する。
  論文  参考訳（メタデータ） (2023-04-17T17:59:25Z)
• Massively Multilingual Shallow Fusion with Large Language Models [62.76735265311028]
  複数の言語で浅い融合のための単一多言語言語モデル(LM)を訓練する。 GLaMは、推論中に同様の計算を行う密度の高いLMと比較して、イングランドのロングテールテストのWERを4.4%削減する。 多言語浅層融合タスクでは、GLaMは50言語中41言語を改善し、平均相対的なWERの3.85%、最大10%の削減を実現している。
  論文  参考訳（メタデータ） (2023-02-17T14:46:38Z)
• mGPT: Few-Shot Learners Go Multilingual [1.4354798873010843]
  本稿では,60言語で訓練された13億のパラメータと13億のパラメータを持つ2つの自己回帰型GPT様モデルを提案する。 我々はGPT-2ソースとスパースアテンション機構を用いてGPT-3アーキテクチャを再現する。 その結果得られたモデルは、Facebookが最近リリースしたXGLMモデルと同等のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2022-04-15T13:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。