論文の概要: Frontier LLM-based agents can overcome the ontology curation bottleneck for natural phenotypes

• arxiv url: http://arxiv.org/abs/2605.28965v1
• Date: Wed, 27 May 2026 18:08:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.142845
• Title: Frontier LLM-based agents can overcome the ontology curation bottleneck for natural phenotypes
• Title（参考訳）: フロンティアLSMをベースとした薬剤は、自然表現型に対するオントロジー・キュレーション・ボトルネックを克服できる
• Authors: James P. Balhoff, Hilmar Lapp,
• Abstract要約: 本研究では,セマンティックChara NLPとマシン・ヒューマン・一貫性のベンチマーク評価を再検討する。 エージェントはセマンティック・チャラを4つの指標で大きく上回った。 エージェントは、元の研究で訓練された3人のヒトバイオキュレーターの、キュレーター間変異の範囲内に入った。
• 参考スコア（独自算出の注目度）: 1.9383511030168783
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Linking free-text phenotype descriptions to ontology terms, typically referred to as phenotype annotation, is essential for the cross-study integration of comparative morphological data. This labor intensive process has heavily relied on highly trained human experts, which makes it challenging to scale and thus a key bottleneck. Dahdul et al. (2018) established a Gold Standard (GS) of Entity-Quality (EQ) annotations across seven phylogenetic studies and used it to evaluate three human curators and the Semantic CharaParser NLP tool with ontology-based semantic similarity metrics; they reported that machine-human consistency was significantly lower than inter-curator (human-human) consistency. Here we revisit that benchmark with five frontier hosted LLMs from Anthropic and OpenAI, each operating as an "agentic curator" within a self-contained workspace that supplies the source publication PDF, the same annotation guide used by the original human curators, the four project ontologies (UBERON, PATO, BSPO, GO), and a validation script. Evaluated against the same Gold Standard, every agent fell within the range of inter-curator variability of the three trained human biocurators of the original study; the best performing agents approached but did not reach the best performing human curator. Agents substantially outperformed Semantic CharaParser on all four metrics.
• Abstract（参考訳）: フリーテキスト表現型記述をオントロジー用語にリンクすることは、一般的に表現型アノテーションと呼ばれ、比較形態学データのクロススタディ統合に不可欠である。 この労働集約的なプロセスは、高度に訓練された人間の専門家に大きく依存しているため、スケールが難しく、主要なボトルネックとなっている。 Dahdul et al (2018)は、7つの系統学研究でEntity-Quality(EQ)アノテーションのゴールドスタンダード(GS)を確立し、3つのキュレーターとセマンティックCharaParser NLPツールをオントロジーに基づく意味的類似度メトリクスで評価した。 ここでは,Anthropic と OpenAI の 5 つのフロンティアがホストする LLM のベンチマークを再検討する。それぞれが,ソースパブリッシュ PDF を提供する自己完結型ワークスペース内の "エージェントキュレータ" として動作し,オリジナルの人間キュレーターが使用するアノテーションガイド,4 つのプロジェクトオントロジー (UBERON,PATO,BSPO,GO) と検証スクリプトを提供する。 同じゴールドスタンダードに対して評価され、全てのエージェントは、元の研究で訓練された3人のヒトバイオキュレーターの、キュレーター間変動の範囲内に落ちました。 エージェントは4つのメトリクスすべてでSemantic CharaParserを大きく上回った。

関連論文リスト

• Human-MME: A Holistic Evaluation Benchmark for Human-Centric Multimodal Large Language Models [118.44328586173556]
  MLLM(Multimodal Large Language Models)は視覚的理解タスクにおいて大きな進歩を見せている。 Human-MMEは、人間中心のシーン理解におけるMLLMのより総合的な評価を提供するために設計された、キュレートされたベンチマークである。 我々のベンチマークは、単一対象の理解を多対多の相互理解に拡張する。
  論文  参考訳（メタデータ） (2025-09-30T12:20:57Z)
• Evaluating Large Language Models as Expert Annotators [17.06186816803593]
  本稿では,トップパフォーマンス言語モデルが,人間の専門家アノテータの直接的な代替として機能するかどうかを考察する。 我々は、金融、バイオメディシン、法という3つの専門分野にまたがる個別のLCMとマルチエージェントのアプローチを評価した。 実験結果から,推定時間的手法を具備した個々のLSMは,限界あるいは負の利得しか示さないことが明らかとなった。
  論文  参考訳（メタデータ） (2025-08-11T10:19:10Z)
• Applying Psychometrics to Large Language Model Simulated Populations: Recreating the HEXACO Personality Inventory Experiment with Generative Agents [0.0]
  生成エージェントは、洗練された自然言語の相互作用を通して人間のような特性を示す。 事前に定義された人物の伝記に基づいて役割や個性を仮定する能力は、社会科学研究の参加者にとってコスト効率のよい代用品として位置づけられている。 本稿では,このようなペルソナをベースとしたエージェントがヒトの集団を表わすための有効性について検討する。
  論文  参考訳（メタデータ） (2025-08-01T16:16:16Z)
• Designing AI-Agents with Personalities: A Psychometric Approach [2.854338743097065]
  本稿では,定量的かつ心理学的に検証された個人性をAIエージェントに割り当てる手法を提案する。 3つの研究で実現可能性と限界を評価した。
  論文  参考訳（メタデータ） (2024-10-25T01:05:04Z)
• Exploring the Potential of the Large Language Models (LLMs) in Identifying Misleading News Headlines [2.0330684186105805]
  本研究では、誤解を招くニュースの見出しと誤解を招くニュースの見出しを識別する上で、LLM(Large Language Models)の有効性について検討する。 解析の結果,ChatGPT-4の精度は良好であった。
  論文  参考訳（メタデータ） (2024-05-06T04:06:45Z)
• INSTRUCTSCORE: Explainable Text Generation Evaluation with Finegrained Feedback [80.57617091714448]
  テキスト生成のための説明可能な評価指標であるInstructScoreを提案する。 LLaMAに基づいてテキスト評価基準を微調整し、生成されたテキストのスコアと人間の可読性診断レポートを生成する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:22Z)
• THUNDR: Transformer-based 3D HUmaN Reconstruction with Markers [67.8628917474705]
  THUNDRは、人の3Dポーズと形状を再構築するトランスフォーマーベースのディープニューラルネットワーク手法である。 完全教師付きモデルと自己教師型モデルの両方に対して,Human3.6Mと3DPWの最先端結果を示す。 野生で収集された難易度の高い人間のポーズに対して, 非常に堅固な3次元再構成性能を観察した。
  論文  参考訳（メタデータ） (2021-06-17T09:09:24Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。