論文の概要: Open Artificial Knowledge

• arxiv url: http://arxiv.org/abs/2407.14371v1
• Date: Fri, 19 Jul 2024 15:01:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-22 17:15:09.192269
• Title: Open Artificial Knowledge
• Title（参考訳）: オープン人工知識
• Authors: Vadim Borisov, Richard H. Schreiber,
• Abstract要約: 我々は5億以上のトークンからなる大規模リソースであるOpen Artificial Knowledge (OAK)データセットを紹介した。 OAKデータセットは、より有能で整合した言語モデルの開発を促進することを目的としている。
• 参考スコア（独自算出の注目度）: 3.187724439601991
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The tremendous success of chat-based AI systems like ChatGPT, Claude, and Gemini stems from Large Language Models (LLMs) trained on vast amount of datasets. However, acquiring high-quality, diverse, and ethically sourced training data remains a significant challenge. We introduce the Open Artificial Knowledge (OAK) dataset, a large-scale resource of over 500 million tokens (at the moment of writing) designed to address this issue. OAK leverages an ensemble of state-of-the-art LLMs, including GPT4o, LLaMa3-70B, LLaMa3-8B, Mixtral-8x7B, Gemma-7B, and Gemma-2-9B , to generate high-quality text across diverse domains, guided by Wikipedia's main categories. Our methodology ensures broad knowledge coverage while maintaining coherence and factual accuracy. The OAK dataset aims to foster the development of more capable and aligned language models while addressing critical issues of data scarcity and privacy in LLM training, and it is freely available on www.oakdataset.org.
• Abstract（参考訳）: ChatGPT、Claude、GeminiといったチャットベースのAIシステムの大きな成功は、膨大なデータセットでトレーニングされたLarge Language Models(LLMs)に由来する。 しかし、高品質で多様で倫理的なトレーニングデータを取得することは、依然として大きな課題である。 Open Artificial Knowledge (OAK)データセットは、この問題に対処するために設計された5億以上のトークン(この記事執筆時点で)からなる大規模なリソースです。 OAK は GPT4o, LLaMa3-70B, LLaMa3-8B, Mixtral-8x7B, Gemma-7B, Gemma-2-9B などの最先端の LLM のアンサンブルを活用し、ウィキペディアの主要なカテゴリに導かれる様々な分野にわたる高品質なテキストを生成する。 本手法は,コヒーレンスと事実の正確性を維持しつつ,幅広い知識のカバレッジを確保する。 OAKデータセットは、LLMトレーニングにおけるデータ不足とプライバシの重大な問題に対処しながら、より有能で整列した言語モデルの開発を促進することを目的としており、www.oakdataset.orgで無料で利用できる。

関連論文リスト

• Cross-Data Knowledge Graph Construction for LLM-enabled Educational Question-Answering System: A~Case~Study~at~HCMUT [2.8000537365271367]
  大規模言語モデル(LLM)は活発な研究トピックとして現れている。 LLMはイベントの記憶、新しい情報の導入、ドメイン固有の問題や幻覚への対処において課題に直面している。 本稿では,複数のデータソースから知識グラフを自動的に構築する手法を提案する。
  論文  参考訳（メタデータ） (2024-04-14T16:34:31Z)
• COIG-CQIA: Quality is All You Need for Chinese Instruction Fine-tuning [57.600941792026006]
  高品質な中国語命令チューニングデータセットであるCOIG-CQIAを紹介する。 我々の目標は、モデル行動と人間の相互作用をよりよく整合させる、多種多様な命令チューニングデータセットを構築することである。 我々はCQIAの様々なサブセットで様々なスケールのモデルを訓練し、詳細な評価と分析を行った。
  論文  参考訳（メタデータ） (2024-03-26T19:24:18Z)
• Second-Order Information Matters: Revisiting Machine Unlearning for Large Language Models [1.443696537295348]
  プライバシーの漏洩と著作権侵害はまだ未発見だ。 我々の未学習のアルゴリズムは、データに依存しない/モデルに依存しないだけでなく、ユーティリティの保存やプライバシー保証の観点からも堅牢であることが証明されている。
  論文  参考訳（メタデータ） (2024-03-13T18:57:30Z)
• IndicLLMSuite: A Blueprint for Creating Pre-training and Fine-Tuning Datasets for Indian Languages [37.79850860981589]
  本研究は、Indic LLMの開発に特化して設計された、拡張性のあるリソーススイートを紹介する。 このアプローチでは、高度にキュレートされた手作業による検証データ、検証されていないが価値のあるデータ、合成データを組み合わせています。 命令ファインチューニングでは、既存のIndicデータセットをアマルガメートし、英語データセットをインド語に翻訳・翻訳し、LLaMa2とMixtralモデルを利用する。
  論文  参考訳（メタデータ） (2024-03-11T00:46:56Z)
• Query of CC: Unearthing Large Scale Domain-Specific Knowledge from Public Corpora [104.16648246740543]
  大規模言語モデルに基づく効率的なデータ収集手法を提案する。 この方法は、大きな言語モデルを通してシード情報をブートストラップし、公開コーパスから関連データを検索する。 特定のドメインに関する知識関連のデータを収集するだけでなく、潜在的な推論手順でデータを抽出する。
  論文  参考訳（メタデータ） (2024-01-26T03:38:23Z)
• A Self-enhancement Approach for Domain-specific Chatbot Training via Knowledge Mining and Digest [62.63606958140248]
  大規模言語モデル(LLM)は、特定のドメインで複雑な知識要求クエリを扱う際に、しばしば困難に直面する。 本稿では、ドメイン固有のテキストソースから関連知識を効果的に抽出し、LLMを強化する新しいアプローチを提案する。 我々は知識マイナー、すなわちLLMinerを訓練し、関連する文書から質問応答対を自律的に抽出する。
  論文  参考訳（メタデータ） (2023-11-17T16:09:10Z)
• LMSYS-Chat-1M: A Large-Scale Real-World LLM Conversation Dataset [75.9621305227523]
  LMSYS-Chat-1M(LMSYS-Chat-1M)について紹介する。 このデータセットは、VicunaのデモとArenaのWebサイトで、210KのIPアドレスから収集されています。 GPT-4と同様の動作を行うコンテンツモデレーションモデルの開発、安全性ベンチマークの構築、Vicunaと同様の動作を行う命令追従モデルのトレーニング、挑戦的なベンチマーク問題の作成、という4つのユースケースを通じて、その汎用性を実証する。
  論文  参考訳（メタデータ） (2023-09-21T12:13:55Z)
• CulturaX: A Cleaned, Enormous, and Multilingual Dataset for Large Language Models in 167 Languages [86.90220551111096]
  大規模言語モデル(LLM)のトレーニングデータセットは、完全には公開されないことが多い。 我々は167言語で6.3兆のトークンを持つ相当な多言語データセットであるCulturaXを紹介する。
  論文  参考訳（メタデータ） (2023-09-17T23:49:10Z)
• Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
  大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。 それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。 本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T15:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。