論文の概要: Final Report on MITRE Evaluations for the DARPA Big Mechanism Program
- arxiv url: http://arxiv.org/abs/2211.03943v1
- Date: Tue, 8 Nov 2022 01:37:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-09 16:19:45.406420
- Title: Final Report on MITRE Evaluations for the DARPA Big Mechanism Program
- Title（参考訳）: darpa big mechanismプログラムにおけるmitre評価に関する最終報告
- Authors: Matthew Peterson, Tonia Korves, Christopher Garay, Robyn Kozierok and
Lynette Hirschman
- Abstract要約: 本報告ではDARPAのBig Mechanismプログラムで開発された評価手法について述べる。
Big Mechanismプログラムは、研究論文を読み、その情報をがんのメカニズムのコンピュータモデルに統合し、新しい仮説をフレーム化するコンピュータシステムを開発することを目的としている。
本報告では,機械的発見を抽出する際のシステムの精度を評価するための基準セット(各論文の主要な発見に限定したキュレートされたデータセット)などのイノベーションを含む,我々のアプローチについて述べる。
- 参考スコア（独自算出の注目度）: 0.5499796332553706
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This report presents the evaluation approach developed for the DARPA Big
Mechanism program, which aimed at developing computer systems that will read
research papers, integrate the information into a computer model of cancer
mechanisms, and frame new hypotheses. We employed an iterative, incremental
approach to the evaluation of the three phases of the program. In Phase I, we
evaluated the ability of system and human teams ability to read-with-a-model to
capture mechanistic information from the biomedical literature, integrated with
information from expert curated biological databases. In Phase II we evaluated
the ability of systems to assemble fragments of information into a mechanistic
model. The Phase III evaluation focused on the ability of systems to provide
explanations of experimental observations based on models assembled (largely
automatically) by the Big Mechanism process. The evaluation for each phase
built on earlier evaluations and guided developers towards creating
capabilities for the new phase. The report describes our approach, including
innovations such as a reference set (a curated data set limited to major
findings of each paper) to assess the accuracy of systems in extracting
mechanistic findings in the absence of a gold standard, and a method to
evaluate model-based explanations of experimental data. Results of the
evaluation and supporting materials are included in the appendices.
- Abstract（参考訳）: 本報告では,研究論文を読み,その情報をがん機構のコンピュータモデルに統合し,新たな仮説を立案するコンピュータシステムの開発を目的としたDARPA Big Mechanismプログラムのための評価手法を提案する。
プログラムの3段階の評価には反復的かつ漸進的なアプローチを採用しました。
第1フェーズでは,システムと人間チームが生体医学文献から機械的情報を収集し,専門家が収集した生体データベースの情報と統合する能力を評価した。
第2相では,情報の断片を機械モデルに組み立てるシステムの能力を評価した。
第III相評価は、ビッグ・メカニズム・プロセスによって組み立てられたモデル(大まかに自動)に基づく実験観測の解説を提供するシステムの能力に焦点を当てた。
以前の評価に基づいて構築された各フェーズの評価は、新しいフェーズの機能を開発するための開発者を導いた。
本報告では,ゴールド標準の欠如による機械的発見を抽出する際のシステムの精度を評価するための基準セット(各論文の主要な発見に限定したキュレートされたデータセット)などの革新や,実験データのモデルに基づく説明を評価する手法について述べる。
評価及び支持材料の結果は虫垂に含まれる。
関連論文リスト
- Machine Learning Innovations in CPR: A Comprehensive Survey on Enhanced Resuscitation Techniques [52.71395121577439]
心肺蘇生(CPR)における機械学習(ML)と人工知能(AI)の変革的役割について検討する。
再現結果を改善する上で、予測モデリング、AI強化デバイス、リアルタイムデータ分析の影響を強調している。
本稿は、この新興分野における現在の応用、課題、今後の方向性に関する包括的概要、分類、および批判的分析を提供する。
論文 参考訳（メタデータ） (2024-11-03T18:01:50Z) - Methodological Explainability Evaluation of an Interpretable Deep Learning Model for Post-Hepatectomy Liver Failure Prediction Incorporating Counterfactual Explanations and Layerwise Relevance Propagation: A Prospective In Silico Trial [13.171582596404313]
術前PHLF予測のための可変オートエンコーダ-多層パーセプトロン (VAE-MLP) モデルを開発した。
このモデルは、その意思決定メカニズムに関する洞察を提供するために、カウンターファクトアルとレイヤワイズ関連伝播(LRP)を統合した。
サイリコ臨床試験の3トラックの結果、AIの説明が提供されると、臨床医の予測精度と信頼性が向上した。
論文 参考訳（メタデータ） (2024-08-07T13:47:32Z) - Understanding Feedback Mechanisms in Machine Learning Jupyter Notebooks [25.13528943267972]
297.8万のJupyterノートをマイニングし、230万のコードセルを分析します。
我々は、アサーション、プリントステートメント、最後のセルステートメントという3つの重要なフィードバックメカニズムを特定します。
論文 参考訳（メタデータ） (2024-07-31T20:31:13Z) - A Survey of Models for Cognitive Diagnosis: New Developments and Future Directions [66.40362209055023]
本研究の目的は,認知診断の現在のモデルについて,機械学習を用いた新たな展開に注目した調査を行うことである。
モデル構造,パラメータ推定アルゴリズム,モデル評価方法,適用例を比較して,認知診断モデルの最近の傾向を概観する。
論文 参考訳（メタデータ） (2024-07-07T18:02:00Z) - Development and Evaluation of a Retrieval-Augmented Generation Tool for Creating SAPPhIRE Models of Artificial Systems [0.0]
本研究では,Large Language Models (LLM) をシステム構造記述に活用する方法を検討する。
本稿では,人工システムのSAPPhIRE構造に関連する情報を生成するための新しい検索拡張生成(RAG)ツールを提案する。
論文 参考訳（メタデータ） (2024-06-27T19:20:09Z) - GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。
GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。
本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
論文 参考訳（メタデータ） (2024-06-01T08:01:05Z) - Automated Radiology Report Generation: A Review of Recent Advances [5.965255286239531]
人工知能の最近の技術進歩は、自動放射線学レポート生成に大きな可能性を示している。
人工知能の最近の進歩は、自動放射線診断レポート生成に大きな可能性を示している。
論文 参考訳（メタデータ） (2024-05-17T15:06:08Z) - Towards Biologically Plausible and Private Gene Expression Data
Generation [47.72947816788821]
差分プライバシー(DP)で訓練された生成モデルは、下流アプリケーションのための合成データの作成において、ますます顕著になりつつある。
しかし、既存の文献は主に基本的なベンチマークデータセットに焦点を当てており、基本的なメトリクスと比較的単純なデータ分布にのみ有望な結果を報告する傾向にある。
本研究では,DP生成モデルが自然応用シナリオにおいてどのように機能するかを系統的に分析し,実世界の遺伝子発現データに焦点をあてる。
論文 参考訳（メタデータ） (2024-02-07T14:39:11Z) - Lessons Learned from EXMOS User Studies: A Technical Report Summarizing
Key Takeaways from User Studies Conducted to Evaluate The EXMOS Platform [5.132827811038276]
信頼,理解可能性,モデル改善の3つの重要な側面に異なる説明型の影響を明らかにすることを目的とした2つのユーザスタディ。
その結果,データ構成の複雑なプロセスにおいて,ユーザを効果的に導くには,グローバルなモデル中心の説明だけでは不十分であることが示唆された。
本稿では、説明によって駆動される対話型機械学習システムの開発に不可欠な意味について述べる。
論文 参考訳（メタデータ） (2023-10-03T14:04:45Z) - Information Fusion for Assistance Systems in Production Assessment [49.40442046458756]
証拠理論を用いたn個の情報ソースの融合のための枠組みを提供する。
本稿では,機械データに基づくアンサンブル分類器とエキスパート中心モデルという,2つの主要な情報源の情報融合手法を提案する。
本稿では,エビデンス理論を用いたモデル更新手法を提案することにより,データドリフトの問題に対処する。
論文 参考訳（メタデータ） (2023-08-31T22:08:01Z) - Investigating Fairness Disparities in Peer Review: A Language Model
Enhanced Approach [77.61131357420201]
我々は、大規模言語モデル(LM)の助けを借りて、ピアレビューにおける公平性格差の徹底した厳密な研究を行う。
我々は、2017年から現在までのICLR(International Conference on Learning Representations)カンファレンスで、包括的なリレーショナルデータベースを収集、組み立て、維持しています。
我々は、著作者性別、地理、著作者、機関的名声など、興味のある複数の保護属性に対する公平性の違いを仮定し、研究する。
論文 参考訳（メタデータ） (2022-11-07T16:19:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。