論文の概要: Generative or Discriminative? Revisiting Text Classification in the Era of Transformers

• arxiv url: http://arxiv.org/abs/2506.12181v1
• Date: Fri, 13 Jun 2025 19:03:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:45.383731
• Title: Generative or Discriminative? Revisiting Text Classification in the Era of Transformers
• Title（参考訳）: 生成的・識別的?トランスフォーマー時代のテキスト分類の再検討
• Authors: Siva Rajesh Kasa, Karan Gupta, Sumegh Roychowdhury, Ashutosh Kumar, Yaswanth Biruduraju, Santhosh Kumar Kasa, Nikhil Priyatam Pattisapu, Arindam Bhattacharya, Shailendra Agarwal, Vijay huddar,
• Abstract要約: 本稿では,近代的な生成的・差別的アーキテクチャの包括的評価について紹介する。 様々なシナリオにおいて,サンプル効率,校正,騒音の頑健性,規則性を解析した。
• 参考スコア（独自算出の注目度）: 4.514343936329608
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The comparison between discriminative and generative classifiers has intrigued researchers since Efron's seminal analysis of logistic regression versus discriminant analysis. While early theoretical work established that generative classifiers exhibit lower sample complexity but higher asymptotic error in simple linear settings, these trade-offs remain unexplored in the transformer era. We present the first comprehensive evaluation of modern generative and discriminative architectures - Auto-regressive modeling, Masked Language Modeling, Discrete Diffusion, and Encoders for text classification. Our study reveals that the classical 'two regimes' phenomenon manifests distinctly across different architectures and training paradigms. Beyond accuracy, we analyze sample efficiency, calibration, noise robustness, and ordinality across diverse scenarios. Our findings offer practical guidance for selecting the most suitable modeling approach based on real-world constraints such as latency and data limitations.
• Abstract（参考訳）: 識別的分類器と生成的分類器の比較は、エフロンがロジスティック回帰(英語版)と差別的分析(英語版)をセミナルに分析して以来、研究者の興味を引いている。 初期の理論的な研究により、生成型分類器は単純な線形設定ではより低いサンプル複雑性を示すが、漸近誤差は高いことが証明されたが、これらのトレードオフは変圧器時代には未解明のままである。 本稿では, 自動回帰モデリング, Masked Language Modeling, Discrete Diffusion, Encoders によるテキスト分類の総合的評価を行う。 本研究は,古典的な「2つの体制」現象が,異なるアーキテクチャや訓練パラダイムで明確に現れることを明らかにした。 精度を超えて、様々なシナリオでサンプル効率、キャリブレーション、ノイズロバスト性、および順序性を分析する。 本研究は,遅延やデータ制限といった実世界の制約に基づいて,最も適切なモデリング手法を選択するための実用的なガイダンスを提供する。

関連論文リスト

• Consistency-based Abductive Reasoning over Perceptual Errors of Multiple Pre-trained Models in Novel Environments [5.5855749614100825]
  本稿では,複数の事前学習モデルを活用することで,このリコール低減を緩和できるという仮説を述べる。 我々は,一貫性に基づく推論問題として,様々なモデルからの矛盾する予測を特定し,管理することの課題を定式化する。 本研究は,難解なシナリオにおいて,複数の不完全な推論者からの知識を堅牢に統合するための効果的なメカニズムとして,一貫性に基づく推論が有効であることを示す。
  論文  参考訳（メタデータ） (2025-05-25T23:17:47Z)
• A self-regulated convolutional neural network for classifying variable stars [1.0485739694839669]
  機械学習モデルは可変星の分類に有効であることが証明されている。 それぞれの星型をよく一般化するためには、高品質で代表的なデータと多数のラベル付きサンプルが必要である。 この課題は、トレーニングデータに固有のバイアスを学習し、強化するモデルにつながることが多い。 本稿では,自己規制学習プロセスを導入することで,変光星分類における分類器の信頼性を向上させる新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-05-20T20:09:24Z)
• Boosting of Classification Models with Human-in-the-Loop Computational Visual Knowledge Discovery [2.9465623430708905]
  本稿では, クラス重複領域のすべてのケースに対して, 誤分類事例のみに焦点をあてることから, クラス重複領域への移動促進手法を提案する。 分割と分類のプロセスは、ケースを単純で複雑なものに分割し、計算分析とデータの視覚化を通じて個別に分類する。 純粋なクラス領域と重複クラス領域を見つけた後、純粋な領域における単純なケースを分類し、命題論理や一階論理などの決定規則のような解釈可能なサブモデルを生成する。
  論文  参考訳（メタデータ） (2025-02-10T21:09:19Z)
• Cross-Entropy Is All You Need To Invert the Data Generating Process [29.94396019742267]
  経験的現象は、教師付きモデルが線形な方法で変化の解釈可能な要因を学習できることを示唆している。 近年の自己教師型学習の進歩により,データ生成過程を反転させることで潜在構造を復元できることが示されている。 標準分類タスクにおいても,モデルが線形変換までの変動の基底構造因子の表現を学習することが証明された。
  論文  参考訳（メタデータ） (2024-10-29T09:03:57Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Variational Classification [51.2541371924591]
  我々は,変分オートエンコーダの訓練に用いるエビデンスローバウンド(ELBO)に類似した,モデルの訓練を目的とした変分目的を導出する。 軟質マックス層への入力を潜伏変数のサンプルとして扱うことで, 抽象化された視点から, 潜在的な矛盾が明らかとなった。 我々は、標準ソフトマックス層に見られる暗黙の仮定の代わりに、選択された潜在分布を誘導する。
  論文  参考訳（メタデータ） (2023-05-17T17:47:19Z)
• A comprehensive comparative evaluation and analysis of Distributional Semantic Models [61.41800660636555]
  我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。 その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。 我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
  論文  参考訳（メタデータ） (2021-05-20T15:18:06Z)
• Theoretical Insights Into Multiclass Classification: A High-dimensional Asymptotic View [82.80085730891126]
  線形多クラス分類の最初の現代的精度解析を行う。 分析の結果,分類精度は分布に依存していることがわかった。 得られた洞察は、他の分類アルゴリズムの正確な理解の道を開くかもしれない。
  論文  参考訳（メタデータ） (2020-11-16T05:17:29Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。