Fugu-MT 論文翻訳(概要): Single and Multi-Hop Question-Answering Datasets for Reticular Chemistry with GPT-4-Turbo

論文の概要: Single and Multi-Hop Question-Answering Datasets for Reticular Chemistry with GPT-4-Turbo

arxiv url: http://arxiv.org/abs/2405.02128v1
Date: Fri, 3 May 2024 14:29:54 GMT
ステータス: 処理完了
システム内更新日: 2024-05-06 12:36:11.055607
Title: Single and Multi-Hop Question-Answering Datasets for Reticular Chemistry with GPT-4-Turbo
Title（参考訳）: GPT-4-Turboを用いたレチキュラー化学のための単一・複数ホップ質問応答データセット
Authors: Nakul Rampal, Kaiyu Wang, Matthew Burigana, Lingxiang Hou, Juri Al-Johani, Anna Sackmann, Hanan S. Murayshid, Walaa Abdullah Al-Sumari, Arwa M. Al-Abdulkarim, Nahla Eid Al-Hazmi, Majed O. Al-Awad, Christian Borgs, Jennifer T. Chayes, Omar M. Yaghi,
Abstract要約: RetChemQA"は、レチキュラー化学領域における機械学習モデルの能力を評価するために設計されたベンチマークデータセットである。このデータセットには、シングルホップとマルチホップの問合せペアの両方が含まれており、各タイプのQ&Aは約45,000である。質問は、NAS、ACS、RCC、Elsevier、Nature Publishing Groupなどの出版社から約2,530の学術論文を含む広範な文献コーパスから抽出された。
参考スコア（独自算出の注目度）: 0.5110571587151475
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The rapid advancement in artificial intelligence and natural language processing has led to the development of large-scale datasets aimed at benchmarking the performance of machine learning models. Herein, we introduce 'RetChemQA,' a comprehensive benchmark dataset designed to evaluate the capabilities of such models in the domain of reticular chemistry. This dataset includes both single-hop and multi-hop question-answer pairs, encompassing approximately 45,000 Q&As for each type. The questions have been extracted from an extensive corpus of literature containing about 2,530 research papers from publishers including NAS, ACS, RSC, Elsevier, and Nature Publishing Group, among others. The dataset has been generated using OpenAI's GPT-4 Turbo, a cutting-edge model known for its exceptional language understanding and generation capabilities. In addition to the Q&A dataset, we also release a dataset of synthesis conditions extracted from the corpus of literature used in this study. The aim of RetChemQA is to provide a robust platform for the development and evaluation of advanced machine learning algorithms, particularly for the reticular chemistry community. The dataset is structured to reflect the complexities and nuances of real-world scientific discourse, thereby enabling nuanced performance assessments across a variety of tasks. The dataset is available at the following link: https://github.com/nakulrampal/RetChemQA
Abstract（参考訳）: 人工知能と自然言語処理の急速な進歩は、機械学習モデルのパフォーマンスのベンチマークを目的とした大規模データセットの開発につながった。本稿では,レチキュラー化学領域におけるそのようなモデルの有効性を評価するために設計された総合ベンチマークデータセットである'RetChemQA'を紹介する。このデータセットには、シングルホップとマルチホップの問合せペアの両方が含まれており、各タイプのQ&Aは約45,000である。質問は、NAS、ACS、RCC、Elsevier、Nature Publishing Groupなど、約2,530の学術論文を含む広範な文献コーパスから抽出された。データセットはOpenAIのGPT-4 Turboを使って生成されている。また、本研究では、Q&Aデータセットに加えて、文献のコーパスから抽出した合成条件のデータセットも公開する。 RetChemQAの目的は、高度な機械学習アルゴリズムの開発と評価のための堅牢なプラットフォームを提供することである。このデータセットは、現実世界の科学談話の複雑さとニュアンスを反映して構成されており、様々なタスクにわたるニュアンスなパフォーマンスアセスメントを可能にする。データセットは以下のリンクで利用できる。 https://github.com/nakulrampal/RetChemQA

関連論文リスト

Aggregated Knowledge Model: Enhancing Domain-Specific QA with Fine-Tuned and Retrieval-Augmented Generation Models [0.0]
本稿では,クローズドドメイン質問応答システム(QA)の新たなアプローチを提案する。ローレンス・バークレー国立研究所(LBL)科学情報技術(ScienceIT)ドメインの特定のニーズに焦点を当てている。
論文参考訳（メタデータ） (2024-10-24T00:49:46Z)
CRAFT Your Dataset: Task-Specific Synthetic Dataset Generation Through Corpus Retrieval and Augmentation [51.2289822267563]
合成データセットを生成するCRAFT(Corpus Retrieval and Augmentation for Fine-Tuning)を提案する。我々は、大規模な公開ウェブクローラコーパスと類似性に基づく文書検索を用いて、他の関連する人文文書を検索する。我々は,CRAFTが4つのタスクに対して,大規模タスク固有のトレーニングデータセットを効率的に生成できることを実証した。
論文参考訳（メタデータ） (2024-09-03T17:54:40Z)
What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
論文参考訳（メタデータ） (2024-09-03T13:30:00Z)
ScholarChemQA: Unveiling the Power of Language Models in Chemical Research Question Answering [54.80411755871931]
質問回答(QA)は、言語モデルの推論と知識の深さを効果的に評価する。化学QAは、複雑な化学情報を理解しやすい形式に効果的に翻訳することで、教育と研究の両方において重要な役割を担っている。このデータセットは、不均衡なデータ分散や、潜在的に有用である可能性のあるかなりの量の未ラベルデータを含む、典型的な現実世界の課題を反映している。収集したデータを完全に活用して,化学的な問題に効果的に答えるQAMatchモデルを提案する。
論文参考訳（メタデータ） (2024-07-24T01:46:55Z)
MMSci: A Dataset for Graduate-Level Multi-Discipline Multimodal Scientific Understanding [59.41495657570397]
このデータセットには、スキーマ図、シミュレーション画像、マクロ/顕微鏡写真、実験的可視化などの図が含まれている。我々は,6つのプロプライエタリモデルと10以上のオープンソースモデルを評価し,科学的フィギュアキャプションと複数選択質問のベンチマークを開発した。データセットとベンチマークは、さらなる研究をサポートするためにリリースされる予定だ。
論文参考訳（メタデータ） (2024-07-06T00:40:53Z)
DataAgent: Evaluating Large Language Models' Ability to Answer Zero-Shot, Natural Language Queries [0.0]
OpenAIのGPT-3.5をLanguage Data Scientist(LDS)として評価するこのモデルは、さまざまなベンチマークデータセットでテストされ、そのパフォーマンスを複数の標準で評価した。
論文参考訳（メタデータ） (2024-03-29T22:59:34Z)
An Autonomous Large Language Model Agent for Chemical Literature Data Mining [60.85177362167166]
本稿では,幅広い化学文献から高忠実度抽出が可能なエンドツーエンドAIエージェントフレームワークを提案する。本フレームワークの有効性は,反応条件データの精度,リコール,F1スコアを用いて評価する。
論文参考訳（メタデータ） (2024-02-20T13:21:46Z)
Image and Data Mining in Reticular Chemistry Using GPT-4V [5.440238820637818]
GPT-4Vは、ChatGPTまたはAPIを通じてアクセス可能な、拡張された視覚機能を備えた大きな言語モデルである。本研究は,GPT-4Vが金属-有機化合物の複雑なデータをナビゲートし,得ることができることを示す。
論文参考訳（メタデータ） (2023-12-09T05:05:25Z)
Exploring the Potential of AI-Generated Synthetic Datasets: A Case Study on Telematics Data with ChatGPT [0.0]
この研究は、OpenAIの強力な言語モデルであるChatGPTを活用して、特にテレマティクス分野における合成データセットの構築と利用に力を入れている。このデータ作成プロセスを説明するために、合成テレマティクスデータセットの生成に焦点を当てたハンズオンケーススタディが実施されている。
論文参考訳（メタデータ） (2023-06-23T15:15:13Z)
TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文参考訳（メタデータ） (2022-08-16T20:46:08Z)
QDataset: Quantum Datasets for Machine Learning [1.160208922584163]
QDataSetは、QMLアルゴリズムのトレーニングと開発を容易にするために設計された量子データセットである。データセットは、機械学習の実践者がQDataSetを使用して、応用量子計算の問題を解決するために、豊富な情報を提供するように構成されている。関連するGitHubリポジトリのデータセットは、さまざまな最適化コンテキストにおけるQDataSetの使用を実証するセットである。
論文参考訳（メタデータ） (2021-08-15T05:30:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。