論文の概要: Beyond Token Limits: Assessing Language Model Performance on Long Text Classification

• arxiv url: http://arxiv.org/abs/2509.10199v1
• Date: Fri, 12 Sep 2025 12:47:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-15 16:03:08.085309
• Title: Beyond Token Limits: Assessing Language Model Performance on Long Text Classification
• Title（参考訳）: Beyond Token Limits: 長いテキスト分類による言語モデルのパフォーマンス評価
• Authors: Miklós Sebők, Viktor Kovács, Martin Bánóczy, Daniel Møller Eriksen, Nathalie Neptune, Philippe Roussille,
• Abstract要約: 我々は,XLM-RoBERTa,Longformer,GPT-3.5,GPT-4の5言語を対象に,比較Agendasプロジェクトのマルチクラス分類タスクについて実験を行った。 その結果、ロングフォーマーモデルには特に利点がなく、特にロングインプットを扱うために事前訓練されている。 クラスレベルの要因の分析は、長いテキスト入力のパフォーマンスに関して、特定のカテゴリ間のサポートと物質重なりが重要であることを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The most widely used large language models in the social sciences (such as BERT, and its derivatives, e.g. RoBERTa) have a limitation on the input text length that they can process to produce predictions. This is a particularly pressing issue for some classification tasks, where the aim is to handle long input texts. One such area deals with laws and draft laws (bills), which can have a length of multiple hundred pages and, therefore, are not particularly amenable for processing with models that can only handle e.g. 512 tokens. In this paper, we show results from experiments covering 5 languages with XLM-RoBERTa, Longformer, GPT-3.5, GPT-4 models for the multiclass classification task of the Comparative Agendas Project, which has a codebook of 21 policy topic labels from education to health care. Results show no particular advantage for the Longformer model, pre-trained specifically for the purposes of handling long inputs. The comparison between the GPT variants and the best-performing open model yielded an edge for the latter. An analysis of class-level factors points to the importance of support and substance overlaps between specific categories when it comes to performance on long text inputs.
• Abstract（参考訳）: 社会科学において最も広く使われている大きな言語モデル(BERTやその派生品、例えばRoBERTa)は、入力テキストの長さに制限があり、予測を生成することができる。 これは、長い入力テキストを扱うことを目的としている、いくつかの分類タスクにとって特に厳しい問題である。 そのような領域の1つは法と起草法(ビル)を扱い、数百ページの長さを持つため、eg 512トークンしか扱えないモデルを扱うには特に適していない。 本稿では,XLM-RoBERTa,Longformer,GPT-3.5,GPT-4の5言語を対象とした比較アジェンダス計画の多クラス分類課題に関する実験結果を紹介する。 その結果、ロングフォーマーモデルには特に利点がなく、特にロングインプットを扱うために事前訓練されている。 GPT変種と最高性能のオープンモデルの比較により、後者のエッジが得られた。 クラスレベルの要因の分析は、長いテキスト入力のパフォーマンスに関して、特定のカテゴリ間のサポートと物質重なりが重要であることを示唆している。

関連論文リスト

• What is Wrong with Perplexity for Long-context Language Modeling? [71.34933096461124]
  長いコンテキスト入力は、会話の拡張、文書の要約、多数のショットインコンテキスト学習といったタスクにおいて、大きな言語モデル(LLM)にとって不可欠である。 パープレキシティ(PPL)は、長期コンテキスト能力の評価には信頼性が低いことが証明されている。 長短コンテキストコントラスト法を用いて鍵トークンを識別する手法であるbfLongPPLを提案する。
  論文  参考訳（メタデータ） (2024-10-31T09:39:28Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• L-Eval: Instituting Standardized Evaluation for Long Context Language Models [91.05820785008527]
  長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。 20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。 その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-07-20T17:59:41Z)
• Text Classification via Large Language Models [63.1874290788797]
  テキスト分類に関わる複雑な言語現象に対処するために、Clue And Reasoning Prompting (CARP)を導入する。 注目すべきは、CARPが5つの広く使用されているテキスト分類ベンチマークのうち4つで新しいSOTAパフォーマンスを得ることだ。 さらに重要なのは、CARPが低リソースとドメイン適応のセットアップで素晴らしい能力を提供します。
  論文  参考訳（メタデータ） (2023-05-15T06:24:45Z)
• Multidimensional Perceptron for Efficient and Explainable Long Text Classification [31.31206469613901]
  本稿では,フレームワーク内の注目/RNNを置き換えるために,単純だが効果的なSegment-aWare多次元PErceptron(SWIPE)を提案する。 SWIPEは、テキスト全体のラベルを教師付きトレーニングで効果的に学習し、セグメントのラベルを認識し、長文ラベリングへの貢献を見積もる。
  論文  参考訳（メタデータ） (2023-04-04T08:49:39Z)
• Augmenting Interpretable Models with LLMs during Training [73.40079895413861]
  本稿では,効率よく解釈可能なモデルを構築するための拡張解釈モデル (Aug-imodels) を提案する。 Aug-imodel は、フィッティング時に LLM を使用するが、推論中に使用せず、完全な透明性を実現する。 自然言語処理におけるAug-imodelのインスタンス化について検討する: (i) Aug-GAM, (ii) Aug-Tree, (ii) LLM機能拡張による決定木の拡大。
  論文  参考訳（メタデータ） (2022-09-23T18:36:01Z)
• Do Long-Range Language Models Actually Use Long-Range Context? [27.084888397778823]
  言語モデルは一般的に、短絡した入力シーケンスに基づいて訓練される。 近年の自己注意の効率向上に向けた取り組みは、長距離トランスフォーマー言語モデルの普及につながっている。
  論文  参考訳（メタデータ） (2021-09-19T12:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。