論文の概要: RoBIn: A Transformer-Based Model For Risk Of Bias Inference With Machine Reading Comprehension

• arxiv url: http://arxiv.org/abs/2410.21495v1
• Date: Mon, 28 Oct 2024 20:03:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-30 13:41:06.756889
• Title: RoBIn: A Transformer-Based Model For Risk Of Bias Inference With Machine Reading Comprehension
• Title（参考訳）: RoBIn:機械読み取りによるバイアス推論のリスクをトランスフォーマーで予測するモデル
• Authors: Abel Corrêa Dias, Viviane Pereira Moreira, João Luiz Dihl Comba,
• Abstract要約: 機械読取理解とRoB評価のための新しいデータセットとRoBIn (Risk of Bias Inference) について紹介する。 このモデルはデュアルタスクのアプローチを採用し、与えられた文脈から証拠を抽出し、収集された証拠に基づいてRoBを評価する。 RoBInはさまざまな設定で評価され、RoB推論の最先端メソッドに対してベンチマークされる。
• 参考スコア（独自算出の注目度）: 1.201626478128059
• License:
• Abstract: Objective: Scientific publications play a crucial role in uncovering insights, testing novel drugs, and shaping healthcare policies. Accessing the quality of publications requires evaluating their Risk of Bias (RoB), a process typically conducted by human reviewers. In this study, we introduce a new dataset for machine reading comprehension and RoB assessment and present RoBIn (Risk of Bias Inference), an innovative model crafted to automate such evaluation. The model employs a dual-task approach, extracting evidence from a given context and assessing the RoB based on the gathered evidence. Methods: We use data from the Cochrane Database of Systematic Reviews (CDSR) as ground truth to label open-access clinical trial publications from PubMed. This process enabled us to develop training and test datasets specifically for machine reading comprehension and RoB inference. Additionally, we created extractive (RoBInExt) and generative (RoBInGen) Transformer-based approaches to extract relevant evidence and classify the RoB effectively. Results: RoBIn is evaluated across various settings and benchmarked against state-of-the-art methods for RoB inference, including large language models in multiple scenarios. In most cases, the best-performing RoBIn variant surpasses traditional machine learning and LLM-based approaches, achieving an ROC AUC of 0.83. Conclusion: Based on the evidence extracted from clinical trial reports, RoBIn performs a binary classification to decide whether the trial is at a low RoB or a high/unclear RoB. We found that both RoBInGen and RoBInExt are robust and have the best results in many settings.
• Abstract（参考訳）: 目的:科学出版物は洞察の解明、新薬の試験、医療政策の策定において重要な役割を担っている。 出版物の品質にアクセスするには、一般的に人間レビュアーが行うプロセスであるリスク・オブ・バイアス(RoB)を評価する必要がある。 本研究では,機械読取理解とRoB評価のための新しいデータセットと,そのような評価を自動化するための革新的なモデルであるRoBIn(Risk of Bias Inference)を紹介する。 このモデルはデュアルタスクのアプローチを採用し、与えられた文脈から証拠を抽出し、収集された証拠に基づいてRoBを評価する。 方法: PubMedのオープンアクセス臨床試験出版物にCDSR(Cochrane Database of Systematic Reviews)のデータを用いた。 このプロセスにより、機械学習の理解とRoB推論に特化して、トレーニングとテストデータセットの開発が可能となった。 さらに, 関連する証拠を抽出し, 効果的にRoBを分類するために, 抽出(RoBInExt) および生成(RoBInGen) トランスフォーマーベースのアプローチを開発した。 結果: RoBInはさまざまな設定で評価され、複数のシナリオにおける大きな言語モデルを含む、RoB推論の最先端メソッドに対してベンチマークされる。 ほとんどの場合、最高のパフォーマンスのRoBInは従来の機械学習やLLMベースのアプローチを超越し、ROC AUCは0.83である。 結論: 臨床試験報告から抽出された証拠に基づいて, RoBInは二項分類を行い, 試験がローローロBかハイアンクラーロBか判定する。 RoBInGenとRoBInExtはどちらも堅牢で、多くの設定で最高の結果が得られることがわかりました。

関連論文リスト

• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Robust Neural Information Retrieval: An Adversarial and Out-of-distribution Perspective [111.58315434849047]
  ニューラルネットワーク検索モデル(IR)モデルの堅牢性は、大きな注目を集めている。 我々は、IRの堅牢性を多面的概念とみなし、敵攻撃、アウト・オブ・ディストリビューション(OOD)シナリオ、パフォーマンスのばらつきに対してその必要性を強調している。 我々は,既存の手法,データセット,評価指標について詳細な議論を行い,大規模言語モデルの時代における課題や今後の方向性に光を当てる。
  論文  参考訳（メタデータ） (2024-07-09T16:07:01Z)
• 4DBInfer: A 4D Benchmarking Toolbox for Graph-Centric Predictive Modeling on Relational DBs [67.47600679176963]
  RDBは、相互接続されたテーブルにまたがる膨大な量のリッチで情報的なデータを格納する。 予測機械学習モデルの進歩は、コンピュータビジョンや自然言語処理といった他の領域の進歩に遅れをとっている。 マルチテーブルデータセットをグラフに変換することを前提としたベースラインモデルのクラスを探索する。 大規模RDBデータセットと (ii) 同時予測タスクの多様なコレクションを組み立てる。
  論文  参考訳（メタデータ） (2024-04-28T15:04:54Z)
• Self-Supervised Contrastive BERT Fine-tuning for Fusion-based Reviewed-Item Retrieval [12.850360384298712]
  我々は、クエリをドキュメントにマッチさせるニューラルネットワーク検索(IR)手法を、項目をレビューするタスクに拡張する。 我々は,クエリとレビューの両方に対して,BERT埋め込みのコントラスト学習に自己教師付き手法を用いる。 レイトフュージョンのシナリオにおける対照的な学習について、同じ項目および/または同じ評価の正のレビューサンプルの使用について検討する。 よりエンドツーエンドのEarly Fusionアプローチでは、レビューを単一項目の埋め込みに融合するために、対照的なアイテム埋め込み学習を導入します。
  論文  参考訳（メタデータ） (2023-08-01T18:01:21Z)
• On Pitfalls of $\textit{RemOve-And-Retrain}$: Data Processing Inequality Perspective [5.8010446129208155]
  本研究では,RemOve-And-Retrain(ROAR)手法の信頼性について検討した。 理論的基礎と実証的研究から得られた知見から、決定関数に関するより少ない情報を含む属性がROARベンチマークにおいて優れた結果をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2023-04-26T21:43:42Z)
• Towards Realistic Low-resource Relation Extraction: A Benchmark with Empirical Baseline Study [51.33182775762785]
  本稿では,低リソース環境下での関係抽出システムを構築するための実証的研究について述べる。 低リソース環境での性能を評価するための3つのスキームについて検討する。 (i) ラベル付きラベル付きデータを用いた異なるタイプのプロンプトベース手法、 (ii) 長期分布問題に対処する多様なバランシング手法、 (iii) ラベル付きインドメインデータを生成するためのデータ拡張技術と自己学習。
  論文  参考訳（メタデータ） (2022-10-19T15:46:37Z)
• DORO: Distributional and Outlier Robust Optimization [98.44757325531631]
  本稿では,分散ロバスト最適化のためのDOROのフレームワークを提案する。 このアプローチのコアとなるのは、DROがオーバーフィットして潜在的な外れ値に収まらないような、洗練されたリスク関数である。 提案手法の有効性を理論的に証明し, DOROがDROの性能と安定性を向上することを示す。
  論文  参考訳（メタデータ） (2021-06-11T02:59:54Z)
• RoBIC: A benchmark suite for assessing classifiers robustness [15.413863648187675]
  本稿では,RoBICを作成したパラメータフリーな新しいベンチマークを提案する。 ネットワークの堅牢性は、その正確性とは無関係に、白と黒のボックス攻撃に対して測定する。 本稿では,RoBICによる最近の16モデルのロバスト性に有意な差が認められた。
  論文  参考訳（メタデータ） (2021-02-10T10:13:39Z)
• Text Mining to Identify and Extract Novel Disease Treatments From Unstructured Datasets [56.38623317907416]
  Google Cloudを使って、NPRラジオ番組のポッドキャストのエピソードを書き起こします。 次に、テキストを体系的に前処理するためのパイプラインを構築します。 我々のモデルは、Omeprazoleが心臓熱傷の治療に役立てることに成功しました。
  論文  参考訳（メタデータ） (2020-10-22T19:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。