論文の概要: Pool Me Wisely: On the Effect of Pooling in Transformer-Based Models

• arxiv url: http://arxiv.org/abs/2510.03339v1
• Date: Thu, 02 Oct 2025 11:17:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:58.845069
• Title: Pool Me Wisely: On the Effect of Pooling in Transformer-Based Models
• Title（参考訳）: Pool Me Wisely: 変圧器モデルにおけるPoolingの効果について
• Authors: Sofiane Ennadir, Levente Zólyomi, Oleg Smirnov, Tianze Wang, John Pertoft, Filip Cornell, Lele Cao,
• Abstract要約: 本稿では,広く利用されているプール方式を備えたトランスフォーマーベースモデルの表現性を特徴付ける理論的枠組みを提案する。 グローバルな文脈理解とローカルな文脈理解の両方を必要とするタスクにまたがるプール戦略を実証的に評価する。 本研究は理論的・実証的な視点を統一し,特定のタスクに適したプール機構の選択や設計のための実践的なガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 7.244206185339429
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer models have become the dominant backbone for sequence modeling, leveraging self-attention to produce contextualized token representations. These are typically aggregated into fixed-size vectors via pooling operations for downstream tasks. While much of the literature has focused on attention mechanisms, the role of pooling remains underexplored despite its critical impact on model behavior. In this paper, we introduce a theoretical framework that rigorously characterizes the expressivity of Transformer-based models equipped with widely used pooling methods by deriving closed-form bounds on their representational capacity and the ability to distinguish similar inputs. Our analysis extends to different variations of attention formulations, demonstrating that these bounds hold across diverse architectural variants. We empirically evaluate pooling strategies across tasks requiring both global and local contextual understanding, spanning three major modalities: computer vision, natural language processing, and time-series analysis. Results reveal consistent trends in how pooling choices affect accuracy, sensitivity, and optimization behavior. Our findings unify theoretical and empirical perspectives, providing practical guidance for selecting or designing pooling mechanisms suited to specific tasks. This work positions pooling as a key architectural component in Transformer models and lays the foundation for more principled model design beyond attention alone.
• Abstract（参考訳）: トランスフォーマーモデルは、自己アテンションを利用して文脈化されたトークン表現を生成する、シーケンスモデリングの主流のバックボーンとなっている。 これらは通常、下流タスクのプーリング操作を通じて固定サイズのベクトルに集約される。 文献の多くは注意機構に焦点を当てているが、モデル行動に重大な影響を与えているにもかかわらず、プールの役割は未解明のままである。 本稿では,その表現能力と類似した入力を識別する能力に閉形式境界を導出することにより,広く使われているプーリング方式を備えたトランスフォーマーベースモデルの表現性を厳格に特徴付ける理論的枠組みを提案する。 我々の分析は、注意の定式化の異なるバリエーションにまで拡張し、これらの境界が様々なアーキテクチャのバリエーションにまたがっていることを示す。 我々は、コンピュータビジョン、自然言語処理、時系列分析の3つの主要なモードにまたがる、グローバルとローカルの両方のコンテキスト理解を必要とするタスクにまたがるプール戦略を実証的に評価した。 その結果、プール選択が精度、感度、最適化行動にどのように影響するかという一貫した傾向が明らかになった。 本研究は理論的・実証的な視点を統一し,特定のタスクに適したプール機構の選択や設計のための実践的なガイダンスを提供する。 この作業は、Transformerモデルにおける重要なアーキテクチャコンポーネントとしてプールを位置づけ、注目するだけでなく、より原則化されたモデル設計の基礎を築き上げている。

関連論文リスト

• Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [55.914891182214475]
  モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
  論文  参考訳（メタデータ） (2025-06-05T05:42:27Z)
• Comparative Analysis of Pooling Mechanisms in LLMs: A Sentiment Analysis Perspective [0.0]
  BERTやGPTのようなトランスフォーマーベースのモデルは、トークンレベルの埋め込みを文レベルの表現に集約するためにプール層に依存している。 Mean、Max、Weighted Sumといった一般的なプール機構は、この集約プロセスにおいて重要な役割を果たす。 本稿では,これらのプール機構が文レベル感情分析の文脈における2つの著名なLCMファミリー(BERTとGPT)に与える影響について検討する。
  論文  参考訳（メタデータ） (2024-11-22T00:59:25Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。 本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• Investigating the Role of Instruction Variety and Task Difficulty in Robotic Manipulation Tasks [50.75902473813379]
  本研究は、そのようなモデルの一般化能力における命令と入力の役割を体系的に検証する包括的評価フレームワークを導入する。 提案フレームワークは,極度の命令摂動に対するマルチモーダルモデルのレジリエンスと,観測的変化に対する脆弱性を明らかにする。
  論文  参考訳（メタデータ） (2024-07-04T14:36:49Z)
• Fine-Tuning Enhances Existing Mechanisms: A Case Study on Entity Tracking [53.66999416757543]
  本研究では,微調整が言語モデルに実装された内部メカニズムに与える影響について検討する。 微調整はモデルの機械的操作を変えるのではなく、強化する。
  論文  参考訳（メタデータ） (2024-02-22T18:59:24Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。