論文の概要: Quantifying Similarity: Text-Mining Approaches to Evaluate ChatGPT and
Google Bard Content in Relation to BioMedical Literature
- arxiv url: http://arxiv.org/abs/2402.05116v2
- Date: Sun, 11 Feb 2024 22:50:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-13 20:07:09.134314
- Title: Quantifying Similarity: Text-Mining Approaches to Evaluate ChatGPT and
Google Bard Content in Relation to BioMedical Literature
- Title（参考訳）: 類似性の定量化: 生物医学文学におけるChatGPTとGoogle Bardコンテンツの評価のためのテキストマイニング手法
- Authors: Jakub Klimczak and Ahmed Abdeen Hamed
- Abstract要約: 研究者が生み出した実際の文献に対して,迅速なエンジニアリングによって生成された内容の類似性と近接性を評価する。
我々のアプローチは、テキストマイニングのアプローチを使って文書と関連するBigramを比較することである。
また,ChatGPTは文献に関連付けられた用語とリンクしていることも確認した。
- 参考スコア（独自算出の注目度）: 0.9065034043031668
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Background: The emergence of generative AI tools, empowered by Large Language
Models (LLMs), has shown powerful capabilities in generating content. To date,
the assessment of the usefulness of such content, generated by what is known as
prompt engineering, has become an interesting research question. Objectives
Using the mean of prompt engineering, we assess the similarity and closeness of
such contents to real literature produced by scientists. Methods In this
exploratory analysis, (1) we prompt-engineer ChatGPT and Google Bard to
generate clinical content to be compared with literature counterparts, (2) we
assess the similarities of the contents generated by comparing them with
counterparts from biomedical literature. Our approach is to use text-mining
approaches to compare documents and associated bigrams and to use network
analysis to assess the terms' centrality. Results The experiments demonstrated
that ChatGPT outperformed Google Bard in cosine document similarity (38% to
34%), Jaccard document similarity (23% to 19%), TF-IDF bigram similarity (47%
to 41%), and term network centrality (degree and closeness). We also found new
links that emerged in ChatGPT bigram networks that did not exist in literature
bigram networks. Conclusions: The obtained similarity results show that ChatGPT
outperformed Google Bard in document similarity, bigrams, and degree and
closeness centrality. We also observed that ChatGPT offers linkage to terms
that are connected in the literature. Such connections could inspire asking
interesting questions and generate new hypotheses.
- Abstract（参考訳）: 背景: 大規模言語モデル(LLM)によって強化された生成AIツールの出現は、コンテンツを生成する強力な能力を示している。
現在では,プロンプトエンジニアリングとして知られる,このようなコンテンツの有用性の評価が興味深い研究課題となっている。
目的: 素早い工学的手法を用いて, 科学者が生み出した実際の文献との類似性と近接性を評価する。
方法】本調査では,(1) 臨床コンテンツを文献と比較するために, 技術者のChatGPT と Google Bard を推し進め, (2) バイオメディカル文献と比較した内容の類似性を評価する。
提案手法は,テキストマイニング手法を用いて文書と関連ビッグデータを比較し,ネットワーク分析を用いて単語の集中度を評価する。
実験の結果、ChatGPTはGoogle Bardのコサインドキュメント類似度(38%から34%)、Jaccardドキュメント類似度(23%から19%)、TF-IDFBigram類似度(47%から41%)、ネットワーク中心度(度と近さ)で優れていた。
また,文献上存在しなかったchatgpt bigramネットワークに新たに出現したリンクも見いだした。
結論: 得られた類似性の結果は、ChatGPTがドキュメントの類似性、ビッグラム、度合いと近接度の中心性においてGoogle Bardを上回ったことを示している。
また,ChatGPTは文献に関連付けられた用語とリンクしていることも確認した。
このようなつながりは興味深い質問を刺激し、新しい仮説を生み出す可能性がある。
関連論文リスト
- Crafting Knowledge: Exploring the Creative Mechanisms of Chat-Based
Search Engines [3.5845457075304368]
本研究の目的は,LLMを利用した検索エンジン,特にBing Chatが応答情報ソースを選択するメカニズムを解明することである。
Bing Chatは読みやすく、形式的に構造化されたコンテンツを好むだけでなく、より低いパープレキシティレベルを示す。
本調査では,RAG技術が引用するWebサイトと従来の検索エンジンの上位のWebサイトとの類似性を比較検討した。
論文 参考訳（メタデータ） (2024-02-29T18:20:37Z) - DEMASQ: Unmasking the ChatGPT Wordsmith [63.8746084667206]
そこで本研究では,ChatGPT生成内容を正確に識別する効果的なChatGPT検出器DEMASQを提案する。
提案手法は, 人為的, 機械的, 人為的, 人為的, 機械的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人為的, 人
論文 参考訳（メタデータ） (2023-11-08T21:13:05Z) - TaskDiff: A Similarity Metric for Task-Oriented Conversations [6.136198298002772]
本稿では,対話的類似度尺度であるTaskDiffを紹介する。
異なる対話コンポーネント(発話、意図、スロット)とそれらの分布を使って類似性を計算する。
論文 参考訳（メタデータ） (2023-10-23T19:03:35Z) - To ChatGPT, or not to ChatGPT: That is the question! [78.407861566006]
本研究は,ChatGPT検出における最新の手法を包括的かつ現代的に評価するものである。
我々は、ChatGPTと人間からのプロンプトからなるベンチマークデータセットをキュレートし、医療、オープンQ&A、ファイナンスドメインからの多様な質問を含む。
評価の結果,既存の手法ではChatGPT生成内容を効果的に検出できないことがわかった。
論文 参考訳（メタデータ） (2023-04-04T03:04:28Z) - Comparing Abstractive Summaries Generated by ChatGPT to Real Summaries
Through Blinded Reviewers and Text Classification Algorithms [0.8339831319589133]
OpenAIが開発したChatGPTは、言語モデルのファミリに最近追加されたものだ。
自動メトリクスと視覚障害者による抽象要約におけるChatGPTの性能評価を行った。
論文 参考訳（メタデータ） (2023-03-30T18:28:33Z) - ChatGPT as the Transportation Equity Information Source for Scientific
Writing [0.0]
本研究では,ChatGPTが生成する交通情報の内容と有用性について検討した。
Web of Science(WoS)リポジトリから取得した152の論文を活用している。
その結果,ChatGPTと人文抽象の類似性が弱いことが示唆された。
論文 参考訳（メタデータ） (2023-03-10T16:21:54Z) - Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。
我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。
エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
論文 参考訳（メタデータ） (2022-10-13T15:18:04Z) - An Interpretable Graph-based Mapping of Trustworthy Machine Learning
Research [3.222802562733787]
我々は、7000以上のピアレビューされた最近のML論文からなるウェブスクラッドコーパスを用いて、単語の共起ネットワークを構築した。
コミュニティ検出を使用して、TwMLトピックの相対的な位置を推測できるこのネットワーク内の単語のセマンティッククラスタを取得します。
論文 参考訳（メタデータ） (2021-05-13T23:25:07Z) - Be More with Less: Hypergraph Attention Networks for Inductive Text
Classification [56.98218530073927]
グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。
成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。
本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
論文 参考訳（メタデータ） (2020-11-01T00:21:59Z) - Understanding the Extent to which Summarization Evaluation Metrics
Measure the Information Quality of Summaries [74.28810048824519]
ROUGEとBERTScoreのトークンアライメントを分析し、要約を比較する。
それらのスコアは、情報の重複を測定するものとしては解釈できない、と我々は主張する。
論文 参考訳（メタデータ） (2020-10-23T15:55:15Z) - Robust Conversational AI with Grounded Text Generation [77.56950706340767]
GTGは、大規模なTransformerニューラルネットワークをバックボーンとして使用するハイブリッドモデルである。
タスク完了のための対話的信念状態と実世界の知識に基づく応答を生成する。
論文 参考訳（メタデータ） (2020-09-07T23:49:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。