論文の概要: Evaluation design conditions the expert-vs-auto MeSH gap: a controlled comparison of bag-of-words and BiomedBERT on the Cohen benchmark
- arxiv url: http://arxiv.org/abs/2607.21685v1
- Date: Thu, 23 Jul 2026 14:37:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 20:58:56.957841
- Title: Evaluation design conditions the expert-vs-auto MeSH gap: a controlled comparison of bag-of-words and BiomedBERT on the Cohen benchmark
- Title（参考訳）: エキスパート-vs自動MeSHギャップの評価設計条件:Cohenベンチマークによるbacker-of-wordsとBiomedBERTの制御比較
- Abstract要約: 我々は3つのトピックについてCohen et al. (2006) の薬物クラスベンチマークを用いて、代替設計の下でスタチンがどのように変化するかを調べる。
トランスフォーマーや10倍の単語バッグを使ったパイプラインのスクリーニングでは、テスト対象のトピックのギャップは約0.02 WSS@95%であり、CIは少なくとも1つのバウンダリでゼロである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A systematic review begins with someone reading thousands of abstracts to identify the few that are relevant, and classifiers are used to prioritise that reading. Their inputs are often augmented with Medical Subject Headings (MeSH), assigned either by expert indexers weeks or months after publication or by automatic tools at once. To our knowledge the two have not been compared directly as classifier features, and no previous work has asked whether that comparison's outcome depends on how the classifier is evaluated. Using the Cohen et al. (2006) drug-class benchmark on three topics, we characterise a bag-of-words logistic regression classifier (seven reruns) and BiomedBERT (five seeds), then examine how the Statins result changes under alternative designs. Under the canonical 5-fold full-corpus design, the bag-of-words expert-vs-auto gap on Statins is +0.096 WSS@95%. Matching the corpus size to the smaller topics (n = 803) reduces it to +0.033 (95% bootstrap CI includes zero), and 10-fold cross-validation at full size to +0.021 (CI narrowly excludes zero). Under canonical evaluation BiomedBERT gives +0.020, within sampling noise of the bag-of-words 10-fold result. A power analysis indicates a Statins-sized effect would not have been detectable at the Opioids or ADHD variance, so those nulls are design-limited rather than informative. A representation asymmetry remains: 15.1% of Statins inputs exceed BiomedBERT's 512-token limit when expert MeSH terms are appended, so truncation may contribute to the smaller transformer gap, although this cannot be separated from training volume here. In screening pipelines using transformers or 10-fold bag-of-words, the gap on the topics tested is about 0.02 WSS@95%, with CIs spanning zero on at least one bound. More broadly, benchmark conclusions about feature sources can change substantially under reasonable changes to the evaluation design.
- Abstract（参考訳）: 体系的なレビューは、関連する部分を特定するために何千もの抽象文を読んでいる人から始まり、その読みを優先するために分類器が使用される。
彼らのインプットは、しばしばMeSH(Messical Subject Headings)で拡張され、出版後数週間または数ヶ月後に専門家インデクサによって割り当てられるか、一度に自動ツールによって割り当てられる。
我々の知る限り、この2つを直接分類器の特徴として比較することはなく、その比較結果が分類器の評価方法に依存しているかどうかを問う以前の研究は行われていない。
The Cohen et al (2006) drug-class benchmark on three topics, we characterizeds a bag-of-words logistic regression classificationifier (7 reruns) and BiomedBERT (5 seed) then the Statins result changes under alternative design。
標準5倍のフルコーパス設計では、Statinsのbacker-of-words Expert-vs-autoギャップは+0.096 WSS@95%である。
コーパスサイズを小さいトピック(n = 803)に合わせると、+0.033(95%のブートストラップCIはゼロ)に減らし、10倍のクロスバリデーションをフルサイズで+0.021(CIは0を狭く除く)にする。
標準評価では、BiomedBERTは、単語の袋の10倍の結果のサンプリングノイズに+0.020を与える。
パワー分析は、スタテンスサイズの効果がオピオイドやADHDの分散で検出されなかったことを示しており、これらのヌルは情報よりも設計に制限されている。
スタンス入力の15.1%は、BiomedBERT の 512-token 限界を超え、専門家の MeSH 項が付加されると、トランケーションはより小さなトランスフォーマーギャップに寄与するが、ここではトレーニングボリュームから分離することはできない。
トランスフォーマーや10倍の単語バッグを使ったパイプラインのスクリーニングでは、テスト対象のトピックのギャップは約0.02 WSS@95%であり、CIは少なくとも1つのバウンダリでゼロである。
より広範に、機能ソースに関するベンチマークの結論は、評価設計の合理的な変更の下で大きく変化する可能性がある。
関連論文リスト
- Beyond Lexical Metrics: Sentence-Embedding Detection of Reviewer Habituation in AI Code Review [2.9152186617858304]
我々は11,429件のレビューと10,104件のAIによる人間によるインラインコメントを比較した。
審査員の早期の承認率は30.5%から後期の36.6%に上昇した。
語彙多様性、シャノンエントロピー、技術的特異性、建設的行動可能性の4つの手作り言語的特徴は、露光の奇形全体で単調な減少を示さない。
論文 参考訳（メタデータ） (2026-09-05T18:15:18Z) - Anchoring Bias in LLM-as-a-Judge Systems: Prior Scores Compromise Evaluation Independence [0.7340017786387767]
先行スコアは,文脈メタデータにのみ含まれていても,判断をアンカーし,評価を評価値に体系的にシフトすることを示す。
人間のラベル付き地上真実によるカテゴリー産業データでは、アンカーされたメタデータは誤り訂正の48%をブロックし、割り当てられた間違ったラベルに対して正しい判断の10.18%をフリップする。
論文 参考訳（メタデータ） (2026-08-26T14:41:24Z) - Mapping CVEs to MITRE ATT&CK Techniques: A Curated Gold-Set Classifier and the Limits of LLM-Assisted Label Expansion [46.262619407930266]
我々は、専門家のMITRE Center for Threat-Informed Defense mappingsから1,207 CVEのキュレートされた金のデータセットにマルチラベル分類器をトレーニングする。
その結果得られたモデルは、ゼロショットの埋め込み類似性のベースラインと比較して、おおよそdoubles recall@5である。
次に,LLMによるラベリングが金のデータセットを拡張できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-07-28T10:59:04Z) - Significance-First Splitting: Aligning Treatment Heterogeneity Detection with Honest Estimation [0.0]
不均一処理効果(CATE)を推定するには、同時に効果の修正を検出し、推定の不確実性を定量化する必要がある。
意味に基づくアプローチは、グループ間の相互作用を直接識別するが、妥当な推論を欠いている。
本稿では,真正なサンプル分割とクロスバリデーションで意味に基づく分割を融合するハイブリッドアルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-07-04T19:50:35Z) - Evaluating Factual Density in Multi-Source RAG: A Study in Medical AI Accuracy [0.0]
本稿では,新しい最適化信号であるFactual Density (FD*)を紹介する。
これは、全トークン数に対する検証済み原子クレームの比率を測定する。
FD*は、トップ5の結果で100%の体系的なレビュー飽和を達成する唯一の条件であった。
論文 参考訳（メタデータ） (2026-05-29T16:25:39Z) - Reliable Extraction of Clinical Follow-Up Instructions: A Hybrid Neural-Symbolic Pipeline [43.0484058393522]
我々は,ニューラルシンボリックなハイブリッドパイプラインを直接生成に対して試験する。
本研究は,2000点の合成外用コーパスについて検討した。
論文 参考訳（メタデータ） (2026-05-26T05:14:33Z) - From Theory to Decision Rule: Calibrating the Noisy-Label Crossover for Vision-Language Model Weak Supervision Across Three Medical-Imaging Benchmarks [41.99844472131922]
基礎モデル弱いラベルに対するベンチマークキャリブレーションを提供する。
理論によって予測される交差は、PCAMではng100、ISICでは20-50、NIH-CXRでは250-500である。
NIH-CXR上の構造付きvs-ランダムノイズ符号フリップは、境界のレートのみの定式化が不完全であることを示す。
論文 参考訳（メタデータ） (2026-05-23T23:15:07Z) - When Does Synthetic Patent Data Help? Volume-Fidelity Trade-offs in Low-Resource Multi-Label Classification [0.0]
BERT-for-PatentsのマイクロF1の改良は,主に体積効果を反映していることが示されている。
生のマイクロF1における分類性能を+0.58まで向上させるコーパスは、ジャカードオーバーラップ検索プロキシに悪影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2026-05-22T23:49:52Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - Representation Before Training: A Fixed-Budget Benchmark for Generative Medical Event Models [0.3250525349446657]
我々は,表現決定が1世紀前の事前学習予算の共有後の下流予測にどのように影響するかを評価する。
我々はMIMIC-IVで28個の整形トランスを訓練し,30個の臨床結果について評価した。
論文 参考訳（メタデータ） (2026-04-18T01:38:47Z) - Identifying Evidence-Based Nudges in Biomedical Literature with Large Language Models [2.2015514798912412]
我々は、非構造化バイオメディカル文献から証拠に基づく行動分類を識別し、抽出するスケーラブルなAI駆動システムを提案する。
栄養は微妙で非強制的な介入であり、選択を制限することなく行動に影響を与える。
論文 参考訳（メタデータ） (2026-02-10T22:36:07Z) - In Search of Lost Online Test-time Adaptation: A Survey [40.68806005826287]
本稿では,オンラインテスト時間適応(OTTA)に関する総合的な調査を紹介する。
我々はOTTAテクニックを3つの主要なカテゴリに分類し、それらをモダンなバックボーンであるビジョントランスフォーマー(ViT)を用いてベンチマークする。
以上の結果から,トランスフォーマーは多彩なドメインシフトに対するレジリエンスを高めていることが明らかとなった。
論文 参考訳（メタデータ） (2023-10-31T05:47:33Z) - Smoothed Contrastive Learning for Unsupervised Sentence Embedding [41.09180639504244]
我々は、Gaussian Smoothing InfoNCE (GS-InfoNCE)と呼ばれるInfoNCE損失関数に基づく平滑化戦略を導入する。
GS-InfoNCEは、BERT-base、BERT-large、RoBERTa-base、RoBERTa-largeのベースで平均1.38%、0.72%、1.17%、0.28%のスピアマン相関によって、最先端のUnsup-SimCSEよりも優れている。
論文 参考訳（メタデータ） (2021-09-09T14:54:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。