論文の概要: Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions

• arxiv url: http://arxiv.org/abs/2410.02028v2
• Date: Thu, 17 Oct 2024 08:31:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 09:25:11.533276
• Title: Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions
• Title（参考訳）: 大規模言語モデルは優れた分類器か? : 科学的文書改訂における編集インテント分類に関する研究
• Authors: Qian Ruan, Ilia Kuznetsov, Iryna Gurevych,
• Abstract要約: 大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
• 参考スコア（独自算出の注目度）: 62.12545440385489
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Classification is a core NLP task architecture with many potential applications. While large language models (LLMs) have brought substantial advancements in text generation, their potential for enhancing classification tasks remains underexplored. To address this gap, we propose a framework for thoroughly investigating fine-tuning LLMs for classification, including both generation- and encoding-based approaches. We instantiate this framework in edit intent classification (EIC), a challenging and underexplored classification task. Our extensive experiments and systematic comparisons with various training approaches and a representative selection of LLMs yield new insights into their application for EIC. We investigate the generalizability of these findings on five further classification tasks. To demonstrate the proposed methods and address the data shortage for empirical edit analysis, we use our best-performing EIC model to create Re3-Sci2.0, a new large-scale dataset of 1,780 scientific document revisions with over 94k labeled edits. The quality of the dataset is assessed through human evaluation. The new dataset enables an in-depth empirical study of human editing behavior in academic writing. We make our experimental framework, models and data publicly available.
• Abstract（参考訳）: 分類は、多くの潜在的なアプリケーションを持つ中核的なNLPタスクアーキテクチャである。 大規模言語モデル (LLMs) はテキスト生成に大きな進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 このギャップに対処するために、生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に調査するフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。 各種トレーニング手法とLLMの代表的選択による大規模な実験と体系的比較により,EICへの応用に関する新たな知見が得られた。 さらに5つの分類課題において,これらの知見の一般化可能性について検討した。 提案手法を実証し,実験的な編集分析のためのデータ不足に対処するため,94k以上のラベル付き編集を含む1,780の科学文書の大規模なデータセットであるRe3-Sci2.0を作成するために,ベストパフォーマンスのEICモデルを用いた。 データセットの品質は、人間の評価によって評価される。 新しいデータセットは、学術著作における人間の編集行動に関する詳細な実験的な研究を可能にする。 実験的なフレームワーク、モデル、データを公開しています。

関連論文リスト

• Can Models Help Us Create Better Models? Evaluating LLMs as Data Scientists [41.94295877935867]
  データサイエンスにおける最も知識集約的な課題の1つに取り組むために設計された,大規模言語モデルのベンチマークを示す。 提案手法のFeatEngは,LLMの幅広い能力を安価かつ効率的に評価できることを実証する。
  論文  参考訳（メタデータ） (2024-10-30T17:59:01Z)
• Unleashing the Power of Data Tsunami: A Comprehensive Survey on Data Assessment and Selection for Instruction Tuning of Language Models [33.488331159912136]
  インストラクションチューニングは、大きな言語モデル(LLM)と人間の嗜好の整合において重要な役割を果たす。 自然言語処理(NLP)とディープラーニングの分野において,データアセスメントと選択手法が提案されている。 本稿では,データアセスメントと選択に関する既存の文献を総合的にレビューし,特にLLMの命令チューニングについて述べる。
  論文  参考訳（メタデータ） (2024-08-04T16:50:07Z)
• Why do you cite? An investigation on citation intents and decision-making classification processes [1.7812428873698407]
  本研究は,引用意図を信頼して分類することの重要性を強調する。 本稿では,citation Intent Classification (CIC) のための高度なアンサンブル戦略を用いた研究について述べる。 我々のモデルの1つは、SciCiteベンチマークで89.46%のマクロF1スコアを持つ新しい最先端(SOTA)として設定されている。
  論文  参考訳（メタデータ） (2024-07-18T09:29:33Z)
• Enriched BERT Embeddings for Scholarly Publication Classification [0.13654846342364302]
  NSLP 2024 FoRC Task Iは、競争として組織されたこの課題に対処する。 目的は、ある論文に対する研究分野の分類法であるOpen Research Knowledge Graph (ORKG) から、123の事前定義されたクラスのうちの1つを予測することができる分類器を開発することである。
  論文  参考訳（メタデータ） (2024-05-07T09:05:20Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• Understanding Survey Paper Taxonomy about Large Language Models via Graph Representation Learning [2.88268082568407]
  我々は,調査論文を分類学に自動的に割り当てる手法を開発した。 本研究は,共分類グラフ上でのグラフ構造情報の活用が言語モデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-16T02:21:59Z)
• Novel Class Discovery in Semantic Segmentation [104.30729847367104]
  セマンティックにおける新しいクラス発見(NCDSS)について紹介する。 ラベル付き非結合クラスの集合から事前の知識を与えられた新しいクラスを含むラベル付きイメージのセグメンテーションを目的としている。 NCDSSでは、オブジェクトと背景を区別し、画像内の複数のクラスの存在を処理する必要があります。 本稿では,エントロピーに基づく不確実性モデリングと自己学習(EUMS)フレームワークを提案し,ノイズの多い擬似ラベルを克服する。
  論文  参考訳（メタデータ） (2021-12-03T13:31:59Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。