論文の概要: Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification

• arxiv url: http://arxiv.org/abs/2511.22977v1
• Date: Fri, 28 Nov 2025 08:32:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-01 19:47:55.822942
• Title: Pooling Attention: Evaluating Pretrained Transformer Embeddings for Deception Classification
• Title（参考訳）: 偽装注意: 偽装分類のための事前学習型トランスフォーマー埋め込みの評価
• Authors: Sumit Mamtani, Abhijeet Bhure,
• Abstract要約: BERT埋め込みとロジスティック回帰は、LIARデータセット分割のニューラルネットワークよりも優れている。 この研究は、注意に基づくトークンエンコーダを、正確性タスクのための堅牢でアーキテクチャ中心の基盤として位置付けている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper investigates fake news detection as a downstream evaluation of Transformer representations, benchmarking encoder-only and decoder-only pre-trained models (BERT, GPT-2, Transformer-XL) as frozen embedders paired with lightweight classifiers. Through controlled preprocessing comparing pooling versus padding and neural versus linear heads, results demonstrate that contextual self-attention encodings consistently transfer effectively. BERT embeddings combined with logistic regression outperform neural baselines on LIAR dataset splits, while analyses of sequence length and aggregation reveal robustness to truncation and advantages from simple max or average pooling. This work positions attention-based token encoders as robust, architecture-centric foundations for veracity tasks, isolating Transformer contributions from classifier complexity.
• Abstract（参考訳）: 本稿では,トランスフォーマー表現の下流評価,エンコーダのみとデコーダのみの事前学習モデル (BERT, GPT-2, Transformer-XL) を,軽量な分類器と組み合わせた冷凍組込み機として検討する。 プーリングとパディングとニューラルヘッドとリニアヘッドを比較した制御前処理により、文脈的自己意図エンコーディングが一貫して効果的に転送されることを示す。 BERT埋め込みは、LIARデータセット上でのロジスティック回帰よりも優れたニューラルベースラインと組み合わせられ、シーケンス長とアグリゲーションの分析により、トラルニケーションに対する堅牢性と、単純な最大値や平均プールによる利点が明らかになる。 この研究は、注意に基づくトークンエンコーダを、信頼性タスクのための堅牢でアーキテクチャ中心の基盤として位置づけ、Transformerのコントリビューションを分類器の複雑さから分離する。

関連論文リスト

• A Transformer Inspired AI-based MIMO receiver [0.5039813366558306]
  AttDetの設計は、モデルベースの解釈可能性とデータ駆動の柔軟性を組み合わせる。 5Gチャネルモデルと高次混合QAM変調および符号化方式のリンクレベルシミュレーションによる実演を行う。 AttDetは予測可能で現実的な複雑さを維持しながら、ほぼ最適のBER/BLERパフォーマンスにアプローチすることができる。
  論文  参考訳（メタデータ） (2025-10-23T09:05:10Z)
• Knowledge-Informed Neural Network for Complex-Valued SAR Image Recognition [51.03674130115878]
  本稿では,新しい「圧縮集約圧縮」アーキテクチャ上に構築された軽量なフレームワークであるKnowledge-Informed Neural Network(KINN)を紹介する。 KINNはパラメータ効率の認識における最先端を確立し、データスカースとアウト・オブ・ディストリビューションのシナリオにおいて例外的な一般化を提供する。
  論文  参考訳（メタデータ） (2025-10-23T07:12:26Z)
• Influence-Guided Concolic Testing of Transformer Robustness [2.78712872004245]
  ディープニューラルネットワークの競合テストは、具体的な実行と制約解決を交互に行い、決定を反転させるインプットを検索する。 本稿では,トランスフォーマー分類器に対するインフルエンス誘導型衝突試験器を提案する。
  論文  参考訳（メタデータ） (2025-09-28T11:09:15Z)
• Robust Noise Attenuation via Adaptive Pooling of Transformer Outputs [0.0]
  この研究は、入力ベクトルのサブセットが下流のタスク(信号)に必要な情報を含んでおり、残りはイントラクタ(ノイズ)である問題を考える。 AvgPool, MaxPool, ClsTokenといった変圧器出力を集約する標準的な手法は、入力の信号-雑音比(SNR)が変動するにつれて、性能の低下に弱い。 注意に基づく適応プーリング手法は、任意のSNRに対して導出誤差境界内で信号-最適ベクトル量子化器を近似することができることを示す。
  論文  参考訳（メタデータ） (2025-06-10T20:18:32Z)
• TPN: Transferable Proto-Learning Network towards Few-shot Document-Level Relation Extraction [9.4094500796859]
  文書レベルの関係抽出はNOTA関係表現のクロスドメイン転送性により性能が低下する。 本稿では,この課題に対処するため,Transferable Proto-Learning Network (TPN)を導入する。 TPNは3つのコアコンポーネントから構成される: ハイブリッド階層は、入力テキストのセマンティックコンテンツをアテンション情報と組み合わせてエンコードし、関係表現を強化する。
  論文  参考訳（メタデータ） (2024-10-01T05:37:31Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• RAT: Retrieval-Augmented Transformer for Click-Through Rate Prediction [68.34355552090103]
  本稿では, 試料内および試料間における微細な特徴相互作用の獲得を目的とした検索-拡張変換器(RAT)を開発した。 次に、トランスフォーマー層をカスケードされた注意で構築し、イントラサンプルとクロスサンプルの両方の機能インタラクションをキャプチャします。 実世界のデータセットの実験は、RATの有効性を裏付け、ロングテールシナリオにおいてその利点を示唆している。
  論文  参考訳（メタデータ） (2024-04-02T19:14:23Z)
• SRFormer: Text Detection Transformer with Incorporated Segmentation and Regression [6.74412860849373]
  本稿では,アマルガメーションと回帰を併用した統合DTRモデルSRFormerを提案する。 実験分析により,初期デコーダ層で良好なセグメンテーション予測が得られることが示された。 提案手法の強靭性,優れたトレーニングとデータ効率,および最先端の性能について検討した。
  論文  参考訳（メタデータ） (2023-08-21T07:34:31Z)
• Remote Sensing Change Detection With Transformers Trained from Scratch [62.96911491252686]
  トランスフォーマーベースの変更検出(CD)アプローチでは、大規模なイメージ分類でトレーニングされた事前トレーニングモデルを使用するか、別のCDデータセットで最初の事前トレーニングを頼りにしてから、ターゲットのベンチマークを微調整する。 我々は、4つの公開ベンチマークにおいて、スクラッチからトレーニングされながら最先端のパフォーマンスを実現するトランスフォーマーを用いたエンドツーエンドCDアプローチを開発した。
  論文  参考訳（メタデータ） (2023-04-13T17:57:54Z)
• Integral Migrating Pre-trained Transformer Encoder-decoders for Visual Object Detection [78.2325219839805]
  imTEDは、数発のオブジェクト検出の最先端を最大7.6%改善する。 MS COCOデータセットの実験は、imTEDが一貫してそのデータセットを2.8%上回っていることを示している。
  論文  参考訳（メタデータ） (2022-05-19T15:11:20Z)
• Autoencoding Variational Autoencoder [56.05008520271406]
  我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。 自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
  論文  参考訳（メタデータ） (2020-12-07T14:16:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。