論文の概要: Large Language Models for Biomedical Article Classification
- arxiv url: http://arxiv.org/abs/2603.11780v1
- Date: Thu, 12 Mar 2026 10:39:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-13 14:46:26.019233
- Title: Large Language Models for Biomedical Article Classification
- Title（参考訳）: 生物医学的項目分類のための大規模言語モデル
- Authors: Jakub Proboszcz, Paweł Cichosz,
- Abstract要約: この研究は、いくつかの小型および中規模のオープンソースモデルと、選択されたクローズドソースモデルを使用している。
最も成功した構成の性能は、従来の分類アルゴリズムと比較される。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This work presents a systematic and in-depth investigation of the utility of large language models as text classifiers for biomedical article classification. The study uses several small and mid-size open source models, as well as selected closed source ones, and is more comprehensive than most prior work with respect to the scope of evaluated configurations: different types of prompts, output processing methods for generating both class and class probability predictions, as well as few-shot example counts and selection methods. The performance of the most successful configurations is compared to that of conventional classification algorithms. The obtained average PR AUC over 15 challenging datasets above 0.4 for zero-shot prompting and nearly 0.5 for few-shot prompting comes close to that of the naïve Bayes classifier (0.5), the random forest algorithm (0.5 with default settings or 0.55 with hyperparameter tuning) and fine-tuned transformer models (0.5). These results confirm the utility of large language models as text classifiers for non-trivial domains and provide practical recommendations of the most promising setups, including in particular using output token probabilities for class probability prediction.
- Abstract（参考訳）: 本研究は,生物医学的論文分類のためのテキスト分類器として,大規模言語モデルの実用性について,体系的かつ詳細な調査を行う。
この研究は、いくつかの小型および中規模のオープンソースモデルと、選択されたクローズドソースモデルを使用し、評価された設定の範囲に関して、以前のほとんどの作業よりも包括的である:異なるタイプのプロンプト、クラスとクラスの両方の確率予測を生成する出力処理方法、および、少数ショットの例数と選択方法。
最も成功した構成の性能は、従来の分類アルゴリズムと比較される。
得られた平均的PR AUCは0ショットプロンプトで0.4以上、数ショットプロンプトで0.5近い挑戦的データセットを上回り、ナイーブベイズ分類器(0.5)、ランダムフォレストアルゴリズム(0.5はデフォルト設定、0.5はハイパーパラメータチューニング)、微調整されたトランスフォーマーモデル(0.5)に近くなる。
これらの結果は、非自明なドメインに対するテキスト分類器としての大規模言語モデルの有用性を確認し、特にクラス確率予測に出力トークン確率を使用するなど、最も有望な設定の実践的な推奨を提供する。
関連論文リスト
- Adaptive Sampled Softmax with Inverted Multi-Index: Methods, Theory and Applications [79.53938312089308]
MIDX-Samplerは、逆多重インデックスアプローチに基づく新しい適応型サンプリング戦略である。
本手法は, サンプリングバイアス, 勾配バイアス, 収束速度, 一般化誤差境界などの重要な問題に対処するため, 厳密な理論的解析によって裏付けられている。
論文 参考訳（メタデータ） (2025-01-15T04:09:21Z) - Ensembling Finetuned Language Models for Text Classification [55.15643209328513]
ファインタニング(英: Finetuning)は、特定のタスクに事前訓練されたモデルを適用するために、様々なコミュニティで一般的なプラクティスである。
ニューラルネットワークのアンサンブルは、通常、パフォーマンスを高め、信頼性の高い不確実性推定を提供するために使用される。
6つのデータセット上の5つの大きめのモデルから予測されたメタデータセットを提示し、異なるアンサンブル戦略の結果を報告する。
論文 参考訳（メタデータ） (2024-10-25T09:15:54Z) - Generative Multi-modal Models are Good Class-Incremental Learners [51.5648732517187]
クラス増分学習のための新しい生成型マルチモーダルモデル(GMM)フレームワークを提案する。
提案手法は適応生成モデルを用いて画像のラベルを直接生成する。
Few-shot CIL設定では、現在の最先端のすべてのメソッドに対して少なくとも14%精度が向上し、忘れてはならない。
論文 参考訳（メタデータ） (2024-03-27T09:21:07Z) - Calibrated Seq2seq Models for Efficient and Generalizable Ultra-fine
Entity Typing [10.08153231108538]
超微細エンティティタイピング用に設計されたseq2seqモデルであるCASENTを提案する。
我々のモデルは、エンティティを入力として参照し、制約されたビームサーチを用いて複数のタイプを自動回帰的に生成する。
提案手法は,F1スコアとキャリブレーション誤差の点から,50倍以上の推算速度を達成しながら,従来の最先端技術よりも優れていた。
論文 参考訳（メタデータ） (2023-11-01T20:39:12Z) - Mitigating Word Bias in Zero-shot Prompt-based Classifiers [55.60306377044225]
一致したクラス先行は、オラクルの上界性能と強く相関していることを示す。
また,NLPタスクに対するプロンプト設定において,一貫したパフォーマンス向上を示す。
論文 参考訳（メタデータ） (2023-09-10T10:57:41Z) - Characterizing the Optimal 0-1 Loss for Multi-class Classification with
a Test-time Attacker [57.49330031751386]
我々は,任意の離散データセット上の複数クラス分類器に対するテスト時間攻撃の存在下での損失に対する情報理論的下位境界を求める。
本稿では,データと敵対的制約から競合ハイパーグラフを構築する際に発生する最適0-1損失を求めるための一般的なフレームワークを提供する。
論文 参考訳（メタデータ） (2023-02-21T15:17:13Z) - An Upper Bound for the Distribution Overlap Index and Its Applications [22.92968284023414]
本稿では,2つの確率分布間の重なり関数に対する計算容易な上限を提案する。
提案した境界は、一級分類と領域シフト解析においてその値を示す。
私たちの研究は、重複ベースのメトリクスの応用を拡大する大きな可能性を示しています。
論文 参考訳（メタデータ） (2022-12-16T20:02:03Z) - Ensemble pruning via an integer programming approach with diversity
constraints [0.0]
本稿では、二項分類問題を考察し、最適部分集合を選択する整数プログラミング(IP)アプローチを提案する。
アンサンブルにおける最小の多様性レベルを確保するための制約も提案する。
本手法は, 文学において最もよく使われている刈り取り法と比較して, 競争力のある結果をもたらす。
論文 参考訳（メタデータ） (2022-05-02T17:59:11Z) - Scalable Optimal Classifiers for Adversarial Settings under Uncertainty [10.90668635921398]
本稿では,攻撃者に対して目的が不明な攻撃者がクラス-1データを生成する対角的設定において,最適な分類器を見つけることの問題点を考察する。
この低次元キャラクタリゼーションにより,ほぼほぼ最適な分類器をスケーラブルに計算する訓練手法が開発可能であることを示す。
論文 参考訳（メタデータ） (2021-06-28T13:33:53Z) - Comparing hundreds of machine learning classifiers and discrete choice models in predicting travel behavior: an empirical benchmark [6.815730801645785]
多くの研究は、旅行需要予測において機械学習(ML)と離散選択モデル(DCM)を比較してきた。
これらの研究は、文脈変動を考慮せずに決定論的にモデルを比較するため、一般化性に欠けることが多い。
このベンチマークでは、2つの大規模データソースを比較した。
論文 参考訳（メタデータ） (2021-02-01T19:45:47Z) - Parameter Space Factorization for Zero-Shot Learning across Tasks and
Languages [112.65994041398481]
本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。
タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。
我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
論文 参考訳（メタデータ） (2020-01-30T16:58:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。