論文の概要: ChemTEB: Chemical Text Embedding Benchmark, an Overview of Embedding Models Performance & Efficiency on a Specific Domain

• arxiv url: http://arxiv.org/abs/2412.00532v1
• Date: Sat, 30 Nov 2024 16:45:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:47:07.723592
• Title: ChemTEB: Chemical Text Embedding Benchmark, an Overview of Embedding Models Performance & Efficiency on a Specific Domain
• Title（参考訳）: ChemTEB: ベンチマークを組み込んだケミカルテキスト
• Authors: Ali Shiraee Kasmaee, Mohammad Khodadad, Mohammad Arshi Saloot, Nick Sherck, Stephen Dokas, Hamidreza Mahyar, Soheila Samiee,
• Abstract要約: 本稿では,ケミカルテキスト埋め込みベンチマーク(ChemTEB)という新しいベンチマークを紹介する。 ChemTEBは、化学文献とデータのユニークな言語的・意味的な複雑さに対処する。 化学情報の処理と理解における現在の方法論の長所と短所を照らす。
• 参考スコア（独自算出の注目度）: 0.8974531206817746
• License:
• Abstract: Recent advancements in language models have started a new era of superior information retrieval and content generation, with embedding models playing an important role in optimizing data representation efficiency and performance. While benchmarks like the Massive Text Embedding Benchmark (MTEB) have standardized the evaluation of general domain embedding models, a gap remains in specialized fields such as chemistry, which require tailored approaches due to domain-specific challenges. This paper introduces a novel benchmark, the Chemical Text Embedding Benchmark (ChemTEB), designed specifically for the chemical sciences. ChemTEB addresses the unique linguistic and semantic complexities of chemical literature and data, offering a comprehensive suite of tasks on chemical domain data. Through the evaluation of 34 open-source and proprietary models using this benchmark, we illuminate the strengths and weaknesses of current methodologies in processing and understanding chemical information. Our work aims to equip the research community with a standardized, domain-specific evaluation framework, promoting the development of more precise and efficient NLP models for chemistry-related applications. Furthermore, it provides insights into the performance of generic models in a domain-specific context. ChemTEB comes with open-source code and data, contributing further to its accessibility and utility.
• Abstract（参考訳）: 近年の言語モデルの進歩は,データ表現効率と性能の最適化において,埋め込みモデルが重要な役割を担っている,優れた情報検索とコンテンツ生成の新たな時代が始まっている。 MTEB(Massive Text Embedding Benchmark)のようなベンチマークでは、一般的なドメイン埋め込みモデルの評価が標準化されているが、化学のような特殊な分野では、ドメイン固有の課題のために調整されたアプローチを必要とするギャップが残っている。 本稿では,ケミカル・テキスト・エンベディングベンチマーク (ChemTEB) について紹介する。 ChemTEBは、化学文献とデータのユニークな言語的・意味的な複雑さに対処し、化学ドメインデータに関する包括的なタスクスイートを提供する。 このベンチマークを用いて34のオープンソースおよびプロプライエタリなモデルの評価を行い、化学情報の処理と理解における現在の方法論の強みと弱点を解明する。 本研究は,化学関連アプリケーションのためのより正確で効率的なNLPモデルの開発を促進するため,標準化されたドメイン固有評価フレームワークを研究コミュニティに提供することを目的としている。 さらに、ドメイン固有のコンテキストにおけるジェネリックモデルのパフォーマンスに関する洞察を提供する。 ChemTEBには、オープンソースのコードとデータがあり、アクセシビリティとユーティリティにさらに貢献する。

関連論文リスト

• MolParser: End-to-end Visual Recognition of Molecule Structures in the Wild [23.78185449646608]
  両端から端までの新しい化学構造認識法であるモールについて述べる。 SMILES符号化法を用いて,最大のアノテート分子画像データセットである Mol-7M をアノテートする。 我々は、カリキュラム学習アプローチを用いて、エンドツーエンドの分子画像キャプションモデル、Molを訓練した。
  論文  参考訳（メタデータ） (2024-11-17T15:00:09Z)
• Prompting Encoder Models for Zero-Shot Classification: A Cross-Domain Study in Italian [75.94354349994576]
  本稿では,より小型のドメイン固有エンコーダ LM と,特殊なコンテキストにおける性能向上手法の併用の可能性について検討する。 本研究は, イタリアの官僚的・法的言語に焦点をあて, 汎用モデルと事前学習型エンコーダのみのモデルの両方を実験する。 その結果, 事前学習したモデルでは, 一般知識の頑健性が低下する可能性があるが, ドメイン固有のタスクに対して, ゼロショット設定においても, より優れた適応性を示すことがわかった。
  論文  参考訳（メタデータ） (2024-07-30T08:50:16Z)
• ScholarChemQA: Unveiling the Power of Language Models in Chemical Research Question Answering [54.80411755871931]
  質問回答(QA)は、言語モデルの推論と知識の深さを効果的に評価する。 化学QAは、複雑な化学情報を理解しやすい形式に効果的に翻訳することで、教育と研究の両方において重要な役割を担っている。 このデータセットは、不均衡なデータ分散や、潜在的に有用である可能性のあるかなりの量の未ラベルデータを含む、典型的な現実世界の課題を反映している。 収集したデータを完全に活用して,化学的な問題に効果的に答えるQAMatchモデルを提案する。
  論文  参考訳（メタデータ） (2024-07-24T01:46:55Z)
• An Autonomous Large Language Model Agent for Chemical Literature Data Mining [60.85177362167166]
  本稿では,幅広い化学文献から高忠実度抽出が可能なエンドツーエンドAIエージェントフレームワークを提案する。 本フレームワークの有効性は,反応条件データの精度,リコール,F1スコアを用いて評価する。
  論文  参考訳（メタデータ） (2024-02-20T13:21:46Z)
• Mining experimental data from Materials Science literature with Large Language Models: an evaluation study [1.9849264945671101]
  本研究は,大規模言語モデル (LLM) の教材科学における科学的資料から構造化情報を抽出する能力を評価することを目的としている。 我々は,情報抽出における2つの重要な課題に焦点をあてる: (i) 研究材料と物性の名前を付けたエンティティ認識(NER) と, (ii) それらのエンティティ間の関係抽出(RE) である。 これらのタスクの実行におけるLCMの性能は、BERTアーキテクチャとルールベースのアプローチ(ベースライン)に基づいて従来のモデルと比較される。
  論文  参考訳（メタデータ） (2024-01-19T23:00:31Z)
• Chemist-X: Large Language Model-empowered Agent for Reaction Condition Recommendation in Chemical Synthesis [57.70772230913099]
  Chemist-Xは、検索増強生成(RAG)技術を用いた化学合成において、反応条件レコメンデーション(RCR)タスクを自動化する。 Chemist-Xはオンラインの分子データベースを尋問し、最新の文献データベースから重要なデータを蒸留する。 Chemist-Xは化学者の作業量を大幅に減らし、より根本的で創造的な問題に集中できるようにする。
  論文  参考訳（メタデータ） (2023-11-16T01:21:33Z)
• EditEval: An Instruction-Based Benchmark for Text Improvements [73.5918084416016]
  編集機能の自動評価のためのインストラクションベース、ベンチマーク、評価スイートであるEditEvalを提示する。 InstructGPTとPEERが最良であることを示す事前学習モデルをいくつか評価するが,ほとんどのベースラインは教師付きSOTA以下である。 我々の分析は、タスクの編集によく使われるメトリクスが必ずしも相関しているとは限らないことを示し、最高の性能を持つプロンプトに対する最適化は、必ずしも異なるモデルに対して強い堅牢性を持つとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2022-09-27T12:26:05Z)
• Improving Molecular Representation Learning with Metric Learning-enhanced Optimal Transport [49.237577649802034]
  分子レグレッション問題に対する一般化能力を高めるために,MROTと呼ばれる新しい最適輸送ベースアルゴリズムを開発した。 MROTは最先端のモデルよりも優れており、新しい物質の発見を加速する有望な可能性を示している。
  論文  参考訳（メタデータ） (2022-02-13T04:56:18Z)
• The SOFC-Exp Corpus and Neural Approaches to Information Extraction in the Materials Science Domain [11.085048329202335]
  我々は, 固体酸化物燃料電池に関する実験に関する情報を, 科学的出版物にマーキングするためのアノテーション・スキームを開発した。 コーパスとアノテーション間の合意研究は、提案されたエンティティ認識の複雑さを実証する。 我々は、新しいデータセットに基づいて対処できる様々なタスクに対して、強力なニューラルネットワークベースのモデルを提示します。
  論文  参考訳（メタデータ） (2020-06-04T17:49:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。