論文の概要: H2O Open Ecosystem for State-of-the-art Large Language Models

• arxiv url: http://arxiv.org/abs/2310.13012v2
• Date: Mon, 23 Oct 2023 10:24:55 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 05:46:51.728171
• Title: H2O Open Ecosystem for State-of-the-art Large Language Models
• Title（参考訳）: 最先端大規模言語モデルのためのH2Oオープンエコシステム
• Authors: Arno Candel, Jon McKinney, Philipp Singer, Pascal Pfeiffer, Maximilian Jeblick, Chun Ming Lee, Marcos V. Conde
• Abstract要約: 大規模言語モデル(LLM)はAIの革命を表している。 また、バイアスのある、プライベートな、著作権のある、有害なテキストの存在など、多くの重大なリスクも生じている。 LLMの開発とテストのための完全なオープンソースエコシステムを導入します。
• 参考スコア（独自算出の注目度）: 10.04351591653126
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large Language Models (LLMs) represent a revolution in AI. However, they also pose many significant risks, such as the presence of biased, private, copyrighted or harmful text. For this reason we need open, transparent and safe solutions. We introduce a complete open-source ecosystem for developing and testing LLMs. The goal of this project is to boost open alternatives to closed-source approaches. We release h2oGPT, a family of fine-tuned LLMs of diverse sizes. We also introduce H2O LLM Studio, a framework and no-code GUI designed for efficient fine-tuning, evaluation, and deployment of LLMs using the most recent state-of-the-art techniques. Our code and models are fully open-source. We believe this work helps to boost AI development and make it more accessible, efficient and trustworthy. The demo is available at: https://gpt.h2o.ai/
• Abstract（参考訳）: 大規模言語モデル(LLM)はAIの革命を表している。 しかしそれらはまた、偏りのある、プライベートな、著作権のある、有害なテキストの存在など、多くの重大なリスクをもたらす。 そのため、オープンで透明で安全なソリューションが必要です。 LLMの開発とテストのための完全なオープンソースエコシステムを導入します。 このプロジェクトの目的は、クローズドソースアプローチに対するオープンな代替手段を強化することだ。 h2oGPTは様々なサイズの微調整LDMのファミリーである。 H2O LLM Studioは、最新の最先端技術を用いて、LLMの効率的な微調整、評価、デプロイのために設計されたフレームワークであり、ノーコードGUIである。 私たちのコードとモデルは、完全にオープンソースです。 この取り組みはAI開発を促進し、よりアクセスしやすく、効率的で、信頼できるものにするのに役立つと信じています。 デモは以下の通り。

関連論文リスト

• MAP-Neo: Highly Capable and Transparent Bilingual Large Language Model Series [86.31735321970481]
  私たちはMAP-Neoをオープンソースにしました。これは、4.5Tの高品質トークン上で、スクラッチからトレーニングされた7Bパラメータを持つバイリンガル言語モデルです。 MAP-Neo は,既存の最先端 LLM と比較して性能が劣る初の完全オープンソースバイリンガル LLM である。
  論文  参考訳（メタデータ） (2024-05-29T17:57:16Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• TigerBot: An Open Multilingual Multitask LLM [7.413477227090228]
  大型言語モデル(LLM)のTigerBotファミリをリリースし紹介する。 Llama-2とBLOOMをベースとしたモデルを開発し、データ、トレーニングアルゴリズム、インフラストラクチャ、アプリケーションツールの境界をさらに進める。 TigerBotモデルファミリは、主要な学術的、産業的なベンチマークやリーダーボードでも主要なパフォーマンスを達成している。
  論文  参考訳（メタデータ） (2023-12-14T07:05:42Z)
• LLM360: Towards Fully Transparent Open-Source LLMs [89.05970416013403]
  LLM360の目標は、すべての人がエンドツーエンドのトレーニングプロセスを透過的かつ再現可能にすることで、オープンで協力的なAI研究を支援することである。 LLM360の最初のステップとして、スクラッチから事前トレーニングされた2つの7BパラメータLSM、AmberとCrystalCoder、トレーニングコード、データ、中間チェックポイント、分析をリリースする。
  論文  参考訳（メタデータ） (2023-12-11T17:39:00Z)
• A Wolf in Sheep's Clothing: Generalized Nested Jailbreak Prompts can Fool Large Language Models Easily [51.63085197162279]
  大きな言語モデル(LLM)は有用で安全な応答を提供するように設計されている。 ジェイルブレイク」と呼ばれる 敵のプロンプトは 保護を回避できる 有効なジェイルブレイクプロンプトを生成するためにLLM自体を活用する自動フレームワークであるReNeLLMを提案する。
  論文  参考訳（メタデータ） (2023-11-14T16:02:16Z)
• On the Safety of Open-Sourced Large Language Models: Does Alignment Really Prevent Them From Being Misused? [49.99955642001019]
  オープンソースでアライメントされた大きな言語モデルは、望ましくないコンテンツを生成するために簡単に誤解される可能性があることを示す。 我々のキーとなる考え方は、オープンソースLLMの生成プロセスを直接操作して、望ましくないコンテンツを生成するのを誤解することです。
  論文  参考訳（メタデータ） (2023-10-02T19:22:01Z)
• h2oGPT: Democratizing Large Language Models [1.8043055303852882]
  我々は、大規模言語モデルの作成と使用のためのオープンソースのコードリポジトリであるh2oGPTを紹介します。 このプロジェクトの目的は、クローズドソースアプローチに対して、世界で最高のオープンソース代替品を作ることです。
  論文  参考訳（メタデータ） (2023-06-13T22:19:53Z)
• A Systematic Evaluation of Large Language Models of Code [88.34057460577957]
  コードの大規模な言語モデル(LM)は、最近、コードを完成させ、自然言語記述からコードを合成する大きな可能性を示しています。 現在の最先端のコードLMは公開されておらず、モデルやデータ設計の決定について多くの疑問が残されている。 Codexはオープンソースではありませんが、既存のオープンソースモデルはいくつかのプログラミング言語でクローズな結果が得られることが分かりました。 GPT-2アーキテクチャに基づいた2.7Bパラメータを持つ新しいモデルPolyCoderをリリースし、12のプログラミング言語を1台のマシンで249GBのコードでトレーニングした。
  論文  参考訳（メタデータ） (2022-02-26T15:53:55Z)
• Can OpenAI Codex and Other Large Language Models Help Us Fix Security Bugs? [8.285068188878578]
  コード修復における大規模言語モデル (LLM) の利用について検討する。 安全でないコードの修正版を生成するためにLLMをコークスするプロンプトを設計する際の課題について検討する。 実験の結果、LLMは人工的に生成されたシナリオと手作りのシナリオの100%をまとめて修復できることがわかった。
  論文  参考訳（メタデータ） (2021-12-03T19:15:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。