Fugu-MT 論文翻訳(概要): Using General Large Language Models to Classify Mathematical Documents

論文の概要: Using General Large Language Models to Classify Mathematical Documents

arxiv url: http://arxiv.org/abs/2406.10274v1
Date: Tue, 11 Jun 2024 20:15:57 GMT
ステータス: 処理完了
システム内更新日: 2024-06-19 01:21:32.627101
Title: Using General Large Language Models to Classify Mathematical Documents
Title（参考訳）: 一般大言語モデルを用いた数学的文書の分類
Authors: Patrick D. F. Ion, Stephen M. Watt,
Abstract要約: 我々は,MSC 2020に基づき,arXiv.orgの事前印刷項目の分類を評価した。サンプルの約60%において, LLMはarXivで既に報告されている一次分類マッチングを作成した。しかし, これらの症例の詳細な検査では, LLMを推奨する分類は, 提供された分類よりも, 多くの場合において良好であった。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this article we report on an initial exploration to assess the viability of using the general large language models (LLMs), recently made public, to classify mathematical documents. Automated classification would be useful from the applied perspective of improving the navigation of the literature and the more open-ended goal of identifying relations among mathematical results. The Mathematical Subject Classification MSC 2020, from MathSciNet and zbMATH, is widely used and there is a significant corpus of ground truth material in the open literature. We have evaluated the classification of preprint articles from arXiv.org according to MSC 2020. The experiment used only the title and abstract alone -- not the entire paper. Since this was early in the use of chatbots and the development of their APIs, we report here on what was carried out by hand. Of course, the automation of the process will have to follow if it is to be generally useful. We found that in about 60% of our sample the LLM produced a primary classification matching that already reported on arXiv. In about half of those instances, there were additional primary classifications that were not detected. In about 40% of our sample, the LLM suggested a different classification than what was provided. A detailed examination of these cases, however, showed that the LLM-suggested classifications were in most cases better than those provided.
Abstract（参考訳）: 本稿では,最近公開された汎用大言語モデル (LLM) を用いて数学的文書を分類する可能性を評価するための最初の調査について報告する。自動分類は、文学のナビゲーションを改善するための応用的な視点と、数学的結果間の関係を識別するよりオープンな目標から有用である。 MathSciNet と zbMATH の Mathematical Subject Classification MSC 2020 は広く使われており、公開文学において地中真理資料のかなりのコーパスが存在する。我々は,MSC 2020に基づき,arXiv.orgの事前印刷項目の分類を評価した。実験ではタイトルと抽象のみを使用しましたが、紙全体ではありません。これはチャットボットの利用とAPIの開発の初期段階であったため、ここでは手作業による実行について報告する。もちろん、プロセスの自動化は、一般的に有用であるならば、従わなければなりません。サンプルの約60%において, LLMはarXivで既に報告されている一次分類マッチングを作成した。約半数の症例では、検出されなかった追加の一次分類があった。サンプルの約40%において、LLMは提供されたものとは異なる分類を提案した。しかし, これらの症例の詳細な検査では, LLMを推奨する分類は, 提供された分類よりも, 多くの場合において良好であった。

関連論文リスト

Efficient Few-shot Learning for Multi-label Classification of Scientific Documents with Many Classes [44.51779041553597]
FusionSentは、多くのクラスで科学文書を数ショットで分類するための効率的かつ迅速なアプローチである。実験の結果、FusionSentは平均6.0$$F_1$labelポイントで強いベースラインを著しく上回ることがわかった。
論文参考訳（メタデータ） (2024-10-08T07:52:35Z)
Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
論文参考訳（メタデータ） (2024-10-02T20:48:28Z)
Mapping the Increasing Use of LLMs in Scientific Papers [99.67983375899719]
2020年1月から2024年2月にかけて、arXiv、bioRxiv、Natureのポートフォリオジャーナルで950,965の論文をまとめて、体系的で大規模な分析を行った。計算機科学の論文では, LLMの使用が着実に増加し, 最大, 最速の成長が観察された。
論文参考訳（メタデータ） (2024-04-01T17:45:15Z)
ANLS* -- A Universal Document Processing Metric for Generative Large Language Models [40.94659575657584]
本稿ではANLS*と呼ばれる生成モデルを評価するための新しい指標を提案する。 ANLS*メトリックは、既存のANLSメトリクスをドロップ・イン・リプレースとして拡張し、以前報告されたANLSスコアと互換性がある。また、SFTと呼ばれる文書のプロンプトを生成する新しい手法を、LATINなどの他のプロンプト技術に対してベンチマークする。
論文参考訳（メタデータ） (2024-02-06T09:50:08Z)
On Context Utilization in Summarization with Large Language Models [83.84459732796302]
大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
論文参考訳（メタデータ） (2023-10-16T16:45:12Z)
Bias and Fairness in Large Language Models: A Survey [73.87651986156006]
本稿では,大規模言語モデル(LLM)のバイアス評価と緩和手法に関する総合的な調査を行う。まず、自然言語処理における社会的偏見と公平性の概念を統合し、形式化し、拡張する。次に,3つの直感的な2つのバイアス評価法と1つの緩和法を提案し,文献を統一する。
論文参考訳（メタデータ） (2023-09-02T00:32:55Z)
An Upper Bound for the Distribution Overlap Index and Its Applications [22.92968284023414]
本稿では,2つの確率分布間の重なり関数に対する計算容易な上限を提案する。提案した境界は、一級分類と領域シフト解析においてその値を示す。私たちの研究は、重複ベースのメトリクスの応用を拡大する大きな可能性を示しています。
論文参考訳（メタデータ） (2022-12-16T20:02:03Z)
Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
論文参考訳（メタデータ） (2022-11-21T18:47:11Z)
CIM: Class-Irrelevant Mapping for Few-Shot Classification [58.02773394658623]
FSC(Few-shot Classification)は近年のホットな問題の一つである。事前訓練されたFEMを評価する方法は、FSCコミュニティにおいて最も重要な焦点である。 CIM(Class-Irrelevant Mapping)と呼ばれるシンプルなフレキシブルな手法を提案する。
論文参考訳（メタデータ） (2021-09-07T03:26:24Z)
A Survey and Implementation of Performance Metrics for Self-Organized Maps [0.0]
自己組織化マップアルゴリズムは、様々なアプリケーションドメインで40年近く使われてきた。本稿では、使用例とともに、モジュールで利用可能なメトリクスについて紹介する。
論文参考訳（メタデータ） (2020-11-11T15:28:33Z)
Large Scale Subject Category Classification of Scholarly Papers with Deep Attentive Neural Networks [15.241086410108512]
本稿では,学術論文を要約のみを用いて分類するディープ注意ニューラルネットワーク(DANN)を提案する。提案するネットワークは2つの双方向リカレントニューラルネットワークとアテンション層から構成される。最適モデルでは,0.50～0.95の範囲の個々の対象カテゴリーのF1に対して0.76のマイクロF1測定値が得られる。
論文参考訳（メタデータ） (2020-07-27T19:42:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。