論文の概要: LMSYS-Chat-1M: A Large-Scale Real-World LLM Conversation Dataset

• arxiv url: http://arxiv.org/abs/2309.11998v4
• Date: Sun, 10 Mar 2024 19:34:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-13 16:19:05.116479
• Title: LMSYS-Chat-1M: A Large-Scale Real-World LLM Conversation Dataset
• Title（参考訳）: LMSYS-Chat-1M:大規模実世界のLLM会話データセット
• Authors: Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Tianle Li, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zhuohan Li, Zi Lin, Eric P. Xing, Joseph E. Gonzalez, Ion Stoica, Hao Zhang
• Abstract要約: LMSYS-Chat-1M(LMSYS-Chat-1M)について紹介する。 このデータセットは、VicunaのデモとArenaのWebサイトで、210KのIPアドレスから収集されています。 GPT-4と同様の動作を行うコンテンツモデレーションモデルの開発、安全性ベンチマークの構築、Vicunaと同様の動作を行う命令追従モデルのトレーニング、挑戦的なベンチマーク問題の作成、という4つのユースケースを通じて、その汎用性を実証する。
• 参考スコア（独自算出の注目度）: 75.9621305227523
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Studying how people interact with large language models (LLMs) in real-world scenarios is increasingly important due to their widespread use in various applications. In this paper, we introduce LMSYS-Chat-1M, a large-scale dataset containing one million real-world conversations with 25 state-of-the-art LLMs. This dataset is collected from 210K unique IP addresses in the wild on our Vicuna demo and Chatbot Arena website. We offer an overview of the dataset's content, including its curation process, basic statistics, and topic distribution, highlighting its diversity, originality, and scale. We demonstrate its versatility through four use cases: developing content moderation models that perform similarly to GPT-4, building a safety benchmark, training instruction-following models that perform similarly to Vicuna, and creating challenging benchmark questions. We believe that this dataset will serve as a valuable resource for understanding and advancing LLM capabilities. The dataset is publicly available at https://huggingface.co/datasets/lmsys/lmsys-chat-1m.
• Abstract（参考訳）: 大規模言語モデル(LLM)を現実のシナリオでどのように扱うかを研究することは、様々なアプリケーションで広く使われているため、ますます重要になっている。 本稿では,25の最先端llmと100万の会話を含む大規模データセットlmsys-chat-1mを紹介する。 このデータセットは、VicunaのデモとChatbot ArenaのWebサイトで、210KのユニークなIPアドレスから収集されています。 我々は、そのキュレーションプロセス、基礎統計、トピックの分布など、データセットの内容の概要を提供し、その多様性、独創性、スケールを強調します。 GPT-4と同様の動作を行うコンテンツモデレーションモデルの開発、安全性ベンチマークの構築、Vicunaと同様の動作を行う命令追従モデルのトレーニング、挑戦的なベンチマーク問題の作成である。 私たちは、このデータセットがLLMの機能を理解し、前進するための貴重なリソースになると信じています。 データセットはhttps://huggingface.co/datasets/lmsys/lmsys-chat-1mで公開されている。

関連論文リスト

• InfiMM-WebMath-40B: Advancing Multimodal Pre-Training for Enhanced Mathematical Reasoning [58.7966588457529]
  InfiMM-WebMath-40Bは、インターリーブされた画像テキスト文書の高品質なデータセットである。 ウェブページは2400万、画像URLは8500万、テキストトークンは400億だ。 テキストのみのベンチマークでは,400億トークンしか利用していないにもかかわらず,データセットは1.3Bモデルの性能を大幅に向上させることが示された。 私たちのモデルは、MathVerseやWe-Mathといったマルチモーダルな数学ベンチマーク上で、オープンソースモデルの中で新しい最先端のモデルを設定しました。
  論文  参考訳（メタデータ） (2024-09-19T08:41:21Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• Elephants Never Forget: Memorization and Learning of Tabular Data in Large Language Models [21.10890310571397]
  大規模言語モデル (LLM) は様々なタスクに適用できるが、データ汚染と記憶の重大な問題はしばしば誇張される。 この研究は、トレーニング中に言語モデルがデータセットを見たかどうかを評価するためのさまざまなテクニックを導入している。 次に、トレーニング中に見られたデータセット上でのLLMの数発の学習性能と、トレーニング後にリリースされたデータセットのパフォーマンスを比較した。
  論文  参考訳（メタデータ） (2024-04-09T10:58:21Z)
• Are We on the Right Way for Evaluating Large Vision-Language Models? [92.5761176224556]
  大規模視覚言語モデル(LVLM)は、最近急速に進歩し、そのマルチモーダル能力を評価するために多くの研究を巻き起こした。 視覚コンテンツは多くのサンプルに対して不要であり、意図的なデータ漏洩が存在する。 本稿では,人間によって精巧に選択された1500個のサンプルからなる,高度に視覚に欠かせないマルチモーダルベンチマークMMStarを提案する。
  論文  参考訳（メタデータ） (2024-03-29T17:59:34Z)
• Amharic LLaMA and LLaVA: Multimodal LLMs for Low Resource Languages [0.0]
  大規模言語モデル(LLM)は、自然言語処理タスクにおいて驚くほどの習熟度を示している。 LLMは、トレーニングデータが少ないため、低リソースの言語でよく機能するのに苦労することが多い。 本研究では,世界5000万人以上の人々が話す言語であるAmharicを話すためのLLaMA-2の訓練について検討する。
  論文  参考訳（メタデータ） (2024-03-11T01:04:36Z)
• Datasets for Large Language Models: A Comprehensive Survey [37.153302283062004]
  この調査は、LLMデータセットの基本的側面を5つの観点から統合し、分類する。 この調査は、一般的な課題を浮き彫りにし、今後の調査への道のりを指摘している。 調査対象のデータサイズは、事前トレーニングのコーパスが774.5TB、他のデータセットが700万インスタンスを超えている。
  論文  参考訳（メタデータ） (2024-02-28T04:35:51Z)
• Delving Deeper into Data Scaling in Masked Image Modeling [145.36501330782357]
  視覚認識のためのマスク付き画像モデリング(MIM)手法のスケーリング能力に関する実証的研究を行った。 具体的には、Webで収集したCoyo-700Mデータセットを利用する。 我々のゴールは、データとモデルのサイズの異なるスケールでダウンストリームタスクのパフォーマンスがどのように変化するかを調べることです。
  論文  参考訳（メタデータ） (2023-05-24T15:33:46Z)
• Benchmarking Multimodal AutoML for Tabular Data with Text Fields [83.43249184357053]
  テキストフィールドを含む18個のマルチモーダルデータテーブルを組み立てる。 このベンチマークにより、研究者は、数値的、分類的、テキスト的特徴を用いて教師あり学習を行うための独自の方法を評価することができる。
  論文  参考訳（メタデータ） (2021-11-04T09:29:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。