論文の概要: Efficient Scientific Full Text Classification: The Case of EICAT Impact Assessments

• arxiv url: http://arxiv.org/abs/2502.06551v1
• Date: Mon, 10 Feb 2025 15:19:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:32:44.844195
• Title: Efficient Scientific Full Text Classification: The Case of EICAT Impact Assessments
• Title（参考訳）: 科学的全文分類の効率化:EICATによる影響評価の事例
• Authors: Marc Felix Brinner, Sina Zarrieß,
• Abstract要約: 我々は,入力文のサブセットを選択する手法の開発に注力し,入力サイズを削減する。 我々は、侵略生物学の分野から全文科学論文からなる新しいデータセットをコンパイルする。
• 参考スコア（独自算出の注目度）: 8.883534683127415
• License:
• Abstract: This study explores strategies for efficiently classifying scientific full texts using both small, BERT-based models and local large language models like Llama-3.1 8B. We focus on developing methods for selecting subsets of input sentences to reduce input size while simultaneously enhancing classification performance. To this end, we compile a novel dataset consisting of full-text scientific papers from the field of invasion biology, specifically addressing the impacts of invasive species. These papers are aligned with publicly available impact assessments created by researchers for the International Union for Conservation of Nature (IUCN). Through extensive experimentation, we demonstrate that various sources like human evidence annotations, LLM-generated annotations or explainability scores can be used to train sentence selection models that improve the performance of both encoder- and decoder-based language models while optimizing efficiency through the reduction in input length, leading to improved results even if compared to models like ModernBERT that are able to handle the complete text as input. Additionally, we find that repeated sampling of shorter inputs proves to be a very effective strategy that, at a slightly increased cost, can further improve classification performance.
• Abstract（参考訳）: 本研究では,小さなBERTモデルとLlama-3.1 8Bのような局所的な大規模言語モデルの両方を用いて,科学的全文を効率的に分類するための戦略を検討する。 入力文のサブセットを選択する手法の開発に着目し、同時に分類性能を向上する。 この目的のために、侵略生物学の分野から全文科学論文からなる新しいデータセットをコンパイルし、特に外来種の影響に対処する。 これらの論文は、国際自然保護連合(IUCN)の研究者が作成した、公開されている影響評価と一致している。 人間のエビデンスアノテーションやLLM生成アノテーション,説明可能性スコアなどの様々な情報源を用いて,エンコーダとデコーダをベースとした言語モデルの性能を向上させる文選択モデルを訓練し,入力長の削減による効率の最適化を実現し,完全なテキストを入力として扱えるModernBERTのようなモデルと比較しても結果が向上することを示した。 さらに、短い入力の繰り返しサンプリングは、わずかにコストが上がると分類性能がさらに向上する、非常に効果的な戦略であることが判明した。

関連論文リスト

• Multi-Level Attention and Contrastive Learning for Enhanced Text Classification with an Optimized Transformer [0.0]
  本稿では,テキスト分類タスクにおけるモデルの性能と効率を改善するために,改良されたトランスフォーマーに基づくテキスト分類アルゴリズムについて検討する。 改良されたTransformerモデルは、BiLSTM、CNN、標準Transformer、BERTといった比較モデルよりも、分類精度、F1スコア、リコールレートで優れている。
  論文  参考訳（メタデータ） (2025-01-23T08:32:27Z)
• READ: Reinforcement-based Adversarial Learning for Text Classification with Limited Labeled Data [7.152603583363887]
  BERTのような事前訓練されたトランスフォーマーモデルは、多くのテキスト分類タスクで大幅に向上している。 本稿では,強化学習に基づくテキスト生成と半教師付き対角学習アプローチをカプセル化する手法を提案する。 提案手法であるREADは、ラベルのないデータセットを用いて、強化学習を通じて多様な合成テキストを生成する。
  論文  参考訳（メタデータ） (2025-01-14T11:39:55Z)
• Evaluating LLM Prompts for Data Augmentation in Multi-label Classification of Ecological Texts [1.565361244756411]
  大規模言語モデル(LLM)は自然言語処理(NLP)タスクにおいて重要な役割を果たす。 本研究では,ロシアのソーシャルメディアにおけるグリーンプラクティスの言及を検出するために,プロンプトベースのデータ拡張を適用した。
  論文  参考訳（メタデータ） (2024-11-22T12:37:41Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Improving Sampling Methods for Fine-tuning SentenceBERT in Text Streams [49.3179290313959]
  本研究では,選択的な微調整言語モデルの設計した7つのテキストサンプリング手法の有効性について検討した。 これらの手法がSBERTモデルの微調整に与える影響を, 4つの異なる損失関数を用いて正確に評価する。 その結果,テキストストリームの分類にはソフトマックスの損失とバッチ・オール・トリプレットの損失が特に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-18T23:41:52Z)
• Influence Scores at Scale for Efficient Language Data Sampling [3.072340427031969]
  影響スコア」は、データの重要なサブセットを特定するために使われる。 本稿では,言語分類タスクにおける影響スコアの適用性について検討する。
  論文  参考訳（メタデータ） (2023-11-27T20:19:22Z)
• Active Learning for Abstractive Text Summarization [50.79416783266641]
  本稿では,抽象テキスト要約におけるアクティブラーニングのための最初の効果的なクエリ戦略を提案する。 ALアノテーションにおける私たちの戦略は、ROUGEと一貫性スコアの点からモデル性能を向上させるのに役立ちます。
  論文  参考訳（メタデータ） (2023-01-09T10:33:14Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。