論文の概要: Challenging the Machinery of Generative AI with Fact-Checking:
Ontology-Driven Biological Graphs for Verifying Human Disease-Gene Links
- arxiv url: http://arxiv.org/abs/2308.03929v2
- Date: Sun, 10 Sep 2023 10:06:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-12 19:09:21.145027
- Title: Challenging the Machinery of Generative AI with Fact-Checking:
Ontology-Driven Biological Graphs for Verifying Human Disease-Gene Links
- Title（参考訳）: Fact-Checkingによる生成AIの機械化 - オントロジー駆動型生物グラフによるヒト疾患と遺伝子リンクの検証
- Authors: Ahmed Abdeen Hamed and Byung Suk Lee and Alessandro Crimi and
Magdalena M. Misiak
- Abstract要約: 本稿では,ChatGPTの関連エンティティの系統的尋問を可能にする生物学的ネットワークアプローチを提案する。
記事1000のChatGPTデータセットからランダムに選択された250のレコードの10サンプルにおいて、ファクトチェックリンクの精度は70%から86%であった。
- 参考スコア（独自算出の注目度）: 48.979436202526585
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Methods: we adopted a biological networks approach that enables the
systematic interrogation of ChatGPT's linked entities. In particular, we
designed an ontology-driven fact-checking algorithm that compares biological
graphs constructed from approximately 200,000 PubMed abstracts with
counterparts constructed from a dataset generated using the ChatGPT-3.5 Turbo
model. The nodes refer to biological entities (genes and diseases) that occur
in the text. The edges represent the co-occurrence relationships of two
entities mentioned in the same document, weighted by the proximity distance
between these two entities. This research assumes a ``closed-world
assumption'', meaning that fact-checking is performed only using the literature
dataset as our ground truth. Results: in ten samples of 250 randomly selected
records from the ChatGPT dataset of 1000 ``simulated'' articles , the
fact-checking link accuracy ranged from 70% to 86%, while the remainder of the
links remained unverified. Given the closed world assumption, the fact-checking
precision is significant. When measuring and comparing the proximity distances
of the edges of literature graphs against ChatGPT graphs we found that the
ChatGPT distances were significantly shorter (ranging from 90 to 153) character
distance. In contrast, the proximity distance of biological entities identified
in the literature ranged from 236 to 765 character distance. This pattern held
true for all the relationships among biological entities in the ten samples.
Conclusion: this study demonstrated a reasonably high percentage accuracy of
aggregate fact-checking of disease-gene relationships found in
ChatGPT-generated texts. The strikingly consistent pattern of short proximity
distances across all samples offers an illuminating feedback to the biological
knowledge we possess in the literature today.
- Abstract（参考訳）: 方法:我々はChatGPTの関連エンティティの系統的尋問を可能にする生物学的ネットワークアプローチを採用した。
特に,約20万のPubMed抽象グラフから構築した生物グラフとChatGPT-3.5ターボモデルを用いて生成したデータセットから構築した生物グラフを比較する,オントロジー駆動の事実チェックアルゴリズムを設計した。
ノードは、テキスト中に発生する生物学的実体(遺伝子と疾患)を指す。
エッジは、同じ文書で言及されている2つのエンティティの共起関係を表し、これら2つのエンティティ間の近接距離によって重み付けられる。
本研究は,「クローズドワールド仮定」を前提として,文献データセットのみを用いて事実確認を行う。
結果:1000 `simulated' 記事のChatGPTデータセットからランダムに選択された250レコードの10サンプルにおいて,ファクトチェックリンク精度は70%から86%であったが,残りのリンクは未検証のままであった。
クローズドワールドの仮定を考えると、事実チェックの精度は重要である。
文献グラフのエッジとChatGPTグラフとの近接距離を測定・比較したところ,ChatGPT距離は90～153文字距離よりも有意に短かった。
対照的に、文献で同定された生体の近接距離は、236から765文字の距離であった。
このパターンは10サンプルの生物学的実体間のすべての関係に当てはまる。
結論: 本研究は, ChatGPT 生成テキストに見られる疾患遺伝子関係の集合的事実検査において, 合理的に高い精度を示した。
すべてのサンプルの短い近接距離の驚くほど一貫したパターンは、今日の文献で私たちが持つ生物学的知識に光り輝くフィードバックを与えてくれる。
関連論文リスト
- DEMASQ: Unmasking the ChatGPT Wordsmith [63.8746084667206]
そこで本研究では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。
提案手法は, 人為的, 機械的, 人為的, 人為的, 機械的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人
論文 参考訳（メタデータ） (2023-11-08T21:13:05Z) - Assessing the Promise and Pitfalls of ChatGPT for Automated Code
Generation [2.0400340435492272]
本稿では,著名な大規模言語モデルであるChatGPTのコード生成能力を総合的に評価する。
5つのカテゴリにまたがる131のコード生成プロンプトのデータセットをキュレートして、堅牢な分析を可能にした。
コードソリューションはChatGPTと人間によってすべてのプロンプトで生成され、262のコードサンプルが得られた。
論文 参考訳（メタデータ） (2023-11-05T12:56:40Z) - Applying BioBERT to Extract Germline Gene-Disease Associations for Building a Knowledge Graph from the Biomedical Literature [0.0]
本稿では,ジェムリン遺伝子と疾患を結合する知識グラフ構築手法SimpleGermKGを提案する。
遺伝子および疾患の抽出には、バイオメディカルコーパス上でトレーニング済みのBERTモデルであるBioBERTを用いる。
記事,遺伝子,疾患間の意味的関連性について,部分的関係性アプローチを実装した。
知識グラフには297の遺伝子、130の疾患、46,747のトリプルが含まれている。
論文 参考訳（メタデータ） (2023-09-11T18:05:12Z) - PathLDM: Text conditioned Latent Diffusion Model for Histopathology [62.970593674481414]
そこで我々は,高品質な病理像を生成するためのテキスト条件付き遅延拡散モデルPathLDMを紹介した。
提案手法は画像とテキストデータを融合して生成プロセスを強化する。
我々は,TCGA-BRCAデータセット上でのテキスト・ツー・イメージ生成において,SoTA FIDスコア7.64を達成し,FID30.1と最も近いテキスト・コンディショナブル・コンペティタを著しく上回った。
論文 参考訳（メタデータ） (2023-09-01T22:08:32Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Does Synthetic Data Generation of LLMs Help Clinical Text Mining? [51.205078179427645]
臨床テキストマイニングにおけるOpenAIのChatGPTの可能性を検討する。
本稿では,高品質な合成データを大量に生成する新たな学習パラダイムを提案する。
提案手法により,下流タスクの性能が大幅に向上した。
論文 参考訳（メタデータ） (2023-03-08T03:56:31Z) - The Digitalization of Bioassays in the Open Research Knowledge Graph [6.508148285794385]
ORKG-assaysはPythonで書かれたAIマイクロサービスである。
AIベースのクラスタリングアルゴリズムを使用しており、900以上のバイオアッセイと5,514のユニークなプロパティ値ペアを103の述語で比較すると、競合的なパフォーマンスを示している。
論文 参考訳（メタデータ） (2022-03-28T08:35:01Z) - A deep learning classifier for local ancestry inference [63.8376359764052]
局所祖先推論は、個人のゲノムの各セグメントの祖先を特定する。
我々は,エンコーダ・デコーダアーキテクチャを備えた深層畳み込みニューラルネットワークを用いた新しいLAIツールを開発した。
我々は,既存のゴールド標準ツール RFMix とほぼ同等の精度で,ゼロショットタスクとしてアドミキシングを学習できることを実証した。
論文 参考訳（メタデータ） (2020-11-04T00:42:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。