論文の概要: Combining Autoregressive and Autoencoder Language Models for Text Classification

• arxiv url: http://arxiv.org/abs/2411.13282v1
• Date: Wed, 20 Nov 2024 12:49:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-21 16:12:36.574936
• Title: Combining Autoregressive and Autoencoder Language Models for Text Classification
• Title（参考訳）: テキスト分類のための自己回帰言語モデルと自己エンコーダ言語モデルの組み合わせ
• Authors: João Gonçalves,
• Abstract要約: CAALM-TCは、自動回帰言語モデルと自動エンコーダ言語モデルを統合することで、テキスト分類を強化する新しい手法である。 4つのベンチマークデータセットの実験結果は、CAALMが既存の手法より一貫して優れていることを示している。
• 参考スコア（独自算出の注目度）: 1.0878040851638
• License:
• Abstract: This paper presents CAALM-TC (Combining Autoregressive and Autoencoder Language Models for Text Classification), a novel method that enhances text classification by integrating autoregressive and autoencoder language models. Autoregressive large language models such as Open AI's GPT, Meta's Llama or Microsoft's Phi offer promising prospects for content analysis practitioners, but they generally underperform supervised BERT based models for text classification. CAALM leverages autoregressive models to generate contextual information based on input texts, which is then combined with the original text and fed into an autoencoder model for classification. This hybrid approach capitalizes on the extensive contextual knowledge of autoregressive models and the efficient classification capabilities of autoencoders. Experimental results on four benchmark datasets demonstrate that CAALM consistently outperforms existing methods, particularly in tasks with smaller datasets and more abstract classification objectives. The findings indicate that CAALM offers a scalable and effective solution for automated content analysis in social science research that minimizes sample size requirements.
• Abstract（参考訳）: 本稿では,CAALM-TC (Combining Autoregressive and Autoencoder Language Models for Text Classification)を提案する。 Open AIのGPT、MetaのLlama、MicrosoftのPhiといった自動回帰型大規模言語モデルは、コンテンツ分析の実践者に対して有望な見通しを提供するが、一般的にはテキスト分類のための教師付きBERTベースのモデルよりも優れている。 CAALMは自己回帰モデルを利用して入力テキストに基づいて文脈情報を生成し、元のテキストと組み合わせてオートエンコーダモデルに入力して分類する。 このハイブリッドアプローチは、自己回帰モデルに関する広範な文脈知識と、自己エンコーダの効率的な分類能力を活用している。 4つのベンチマークデータセットの実験結果から、CAALMは既存のメソッド、特により小さなデータセットとより抽象的な分類目標を持つタスクにおいて、一貫してパフォーマンスを向上することが示された。 その結果,CAALMは,サンプルサイズ要件の最小化を図った社会科学研究において,自動コンテンツ分析のためのスケーラブルで効果的なソリューションを提供することがわかった。

関連論文リスト

• Matchmaker: Self-Improving Large Language Model Programs for Schema Matching [60.23571456538149]
  本稿では,スキーママッチングのための合成言語モデルプログラムを提案する。 Matchmakerは、ラベル付きデモを必要とせずに、ゼロショットで自己改善する。 実証的に、Matchmakerが以前のMLベースのアプローチより優れている実世界の医療スキーママッチングベンチマークを実証する。
  論文  参考訳（メタデータ） (2024-10-31T16:34:03Z)
• Assessment of Transformer-Based Encoder-Decoder Model for Human-Like Summarization [0.05852077003870416]
  この研究は、トランスフォーマーベースのBARTモデルを利用して人間のような要約を行う。 エンコーダ・デコーダモデルの訓練および微調整において,多種多様なサンプル記事を用いて検証を行った。 微調整モデルの性能をベースライン事前訓練モデルと比較する。 BBC Newsの記事に載った実証的な結果は、人間によって書かれた金の標準要約の方が17%も現実的に一貫性があることを示している。
  論文  参考訳（メタデータ） (2024-10-22T09:25:04Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Diffusion Guided Language Modeling [28.819061884362792]
  多くのアプリケーションでは、感情など、生成された言語の属性を制御することが望ましい。 自動回帰言語モデルでは、既存のガイダンス手法は、生成時にカスケードしたエラーをデコードし、性能を低下させる。 本稿では,自己回帰型言語モデルを用いて所望の特性を持つテキストを生成するための遅延提案を誘導拡散モデルを用いて生成する。
  論文  参考訳（メタデータ） (2024-08-08T05:06:22Z)
• Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
  大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
  論文  参考訳（メタデータ） (2024-05-31T20:15:10Z)
• Empowering Interdisciplinary Research with BERT-Based Models: An Approach Through SciBERT-CNN with Topic Modeling [0.0]
  本稿では,SciBERTモデルとCNNを用いて,学術論文を体系的に分類する手法を提案する。 CNNは、畳み込みとプーリングを使用して特徴抽出を強化し、次元を減少させる。
  論文  参考訳（メタデータ） (2024-04-16T05:21:47Z)
• HiGen: Hierarchy-Aware Sequence Generation for Hierarchical Text Classification [19.12354692458442]
  階層的テキスト分類 (HTC) は、マルチラベルテキスト分類における複雑なサブタスクである。 動的テキスト表現を符号化する言語モデルを利用したテキスト生成フレームワークHiGenを提案する。
  論文  参考訳（メタデータ） (2024-01-24T04:44:42Z)
• FLIP: Fine-grained Alignment between ID-based Models and Pretrained Language Models for CTR Prediction [49.510163437116645]
  クリックスルーレート(CTR)予測は、パーソナライズされたオンラインサービスにおいてコア機能モジュールとして機能する。 CTR予測のための従来のIDベースのモデルは、表形式の1ホットエンコードされたID特徴を入力として取る。 事前訓練された言語モデル(PLM)は、テキストのモダリティの文を入力として取る別のパラダイムを生み出した。 本稿では,CTR予測のためのIDベースモデルと事前学習言語モデル(FLIP)間の細粒度特徴レベルのアライメントを提案する。
  論文  参考訳（メタデータ） (2023-10-30T11:25:03Z)
• The Devil is in the Errors: Leveraging Large Language Models for Fine-grained Machine Translation Evaluation [93.01964988474755]
  AutoMQMは,大規模な言語モデルに対して,翻訳におけるエラーの識別と分類を求めるプロンプト技術である。 テキスト内学習と微調整によるラベル付きデータの影響について検討する。 次に, PaLM-2モデルを用いてAutoMQMを評価し, スコアのプロンプトよりも性能が向上することがわかった。
  論文  参考訳（メタデータ） (2023-08-14T17:17:21Z)
• Zero-Shot Text Classification via Self-Supervised Tuning [46.9902502503747]
  ゼロショットテキスト分類タスクを解決するための自己教師付き学習に基づく新しいパラダイムを提案する。 自己教師付きチューニングという,ラベルのないデータで言語モデルをチューニングする。 我々のモデルは10タスク中7タスクで最先端のベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-19T05:47:33Z)
• Non-Autoregressive Translation by Learning Target Categorical Codes [59.840510037250944]
  本論文では,非回帰型復号法に潜在変数として暗黙的に分類符号を学習するCNATを提案する。 実験の結果,本モデルは機械翻訳タスクにおいて同等あるいは優れた性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-03-21T14:12:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。