論文の概要: Inceptive Transformers: Enhancing Contextual Representations through Multi-Scale Feature Learning Across Domains and Languages

• arxiv url: http://arxiv.org/abs/2505.20496v1
• Date: Mon, 26 May 2025 19:59:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.275274
• Title: Inceptive Transformers: Enhancing Contextual Representations through Multi-Scale Feature Learning Across Domains and Languages
• Title（参考訳）: インセプティブトランスフォーマー:ドメインと言語間のマルチスケール特徴学習による文脈表現の強化
• Authors: Asif Shahriar, Rifat Shahriyar, M Saifur Rahman,
• Abstract要約: textitInceptive Transformerは、トランスフォーマーベースのトークン表現を充実させるモジュール式で軽量なアーキテクチャである。 本モデルは,局所的およびグローバルな依存関係のバランスを,特定のタスクに対する関連性に基づいてトークンを動的に重み付けすることによって設計する。
• 参考スコア（独自算出の注目度）: 2.98683507969764
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Conventional transformer models typically compress the information from all tokens in a sequence into a single \texttt{[CLS]} token to represent global context-- an approach that can lead to information loss in tasks requiring localized or hierarchical cues. In this work, we introduce \textit{Inceptive Transformer}, a modular and lightweight architecture that enriches transformer-based token representations by integrating a multi-scale feature extraction module inspired by inception networks. Our model is designed to balance local and global dependencies by dynamically weighting tokens based on their relevance to a particular task. Evaluation across a diverse range of tasks including emotion recognition (both English and Bangla), irony detection, disease identification, and anti-COVID vaccine tweets classification shows that our models consistently outperform the baselines by 1\% to 14\% while maintaining efficiency. These findings highlight the versatility and cross-lingual applicability of our method for enriching transformer-based representations across diverse domains.
• Abstract（参考訳）: 従来のトランスフォーマーモデルは、通常、シーケンス内の全てのトークンから1つの \texttt{[CLS]} トークンに情報を圧縮して、グローバルなコンテキストを表現する。 本稿では,インセプションネットワークにインスパイアされたマルチスケール機能抽出モジュールを統合することで,トランスフォーマーベースのトークン表現を充実させるモジュール型軽量アーキテクチャである,‘textit{Inceptive Transformer} を紹介する。 本モデルは,局所的およびグローバルな依存関係のバランスを,特定のタスクに対する関連性に基づいてトークンを動的に重み付けすることによって設計する。 感情認識(英語とバングラ語の両方)、皮肉検出、病気の特定、および対ウイルスワクチンのツイート分類など、さまざまなタスクに対する評価は、我々のモデルは、効率を維持しながらベースラインを一貫して1倍から14倍に上回っていることを示している。 これらの知見は,トランスフォーマーに基づく表現を多種多様な領域に拡張する手法の汎用性と言語間適用性を強調した。

関連論文リスト

• Unified Local and Global Attention Interaction Modeling for Vision Transformers [1.9571946424055506]
  本稿では,視覚変換器(ViT)の自己認識機構を拡張し,多様なデータセット間でより正確な物体検出を行う手法を提案する。 ViTは、オブジェクト検出、セグメンテーション、分類などの画像理解タスクに強力な能力を示す。 従来の自己意識フレームワークには,局所的特徴混合のための新たなアグレッシブ・コンボリューション・プール戦略と,新たな概念的アテンション・トランスフォーメーションという,2つの改良が加えられている。
  論文  参考訳（メタデータ） (2024-12-25T04:53:19Z)
• One-for-All: Towards Universal Domain Translation with a Single StyleGAN [86.33216867136639]
  視覚的に異なる領域間の表現を変換するための新しい翻訳モデルUniTranslatorを提案する。 提案したUniTranslatorは汎用的で、スタイルミキシング、スタイリゼーション、翻訳など様々なタスクを実行できる。 UniTranslatorは、既存の汎用モデルの性能を超越し、代表タスクの特殊モデルに対してよく機能する。
  論文  参考訳（メタデータ） (2023-10-22T08:02:55Z)
• Framework-agnostic Semantically-aware Global Reasoning for Segmentation [29.69187816377079]
  本稿では,画像特徴を潜在表現に投影し,それら間の関係を推論するコンポーネントを提案する。 我々の設計では、活性化領域が空間的に不整合であることを保証することにより、潜在領域が意味概念を表現することを奨励している。 潜在トークンはセマンティックに解釈可能で多様性があり、下流タスクに転送可能な豊富な機能セットを提供します。
  論文  参考訳（メタデータ） (2022-12-06T21:42:05Z)
• Compositional Generalization in Grounded Language Learning via Induced Model Sparsity [81.38804205212425]
  グリッド環境における単純な言語条件のナビゲーション問題について考察する。 本研究では,オブジェクトの指示文と属性のスパース相関を助長するエージェントを設計し,それらを組み合わせて目的を導出する。 我々のエージェントは、少数のデモンストレーションから学習した場合でも、新しいプロパティの組み合わせを含む目標に対して高いレベルのパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2022-07-06T08:46:27Z)
• Multi-class Token Transformer for Weakly Supervised Semantic Segmentation [94.78965643354285]
  弱教師付きセマンティックセグメンテーション(WSSS)のための擬似ラベルとしてクラス固有のオブジェクトローカライゼーションマップを学習するトランスフォーマーベースのフレームワークを提案する。 標準視覚変換器の1クラストークンの付随領域を利用してクラス非依存のローカライゼーションマップを作成できることに着想を得て、トランスフォーマーモデルがより識別的なオブジェクトローカライゼーションのためにクラス固有の注意を効果的に捉えることができるかどうかを検討する。 提案手法は, PASCAL VOCおよびMS COCOデータセットにおいて, クラス活性化マッピング(CAM)法を完全に補完するものである。
  論文  参考訳（メタデータ） (2022-03-06T07:18:23Z)
• X2Parser: Cross-Lingual and Cross-Domain Framework for Task-Oriented Compositional Semantic Parsing [51.81533991497547]
  タスク指向コンポジションセマンティックパーシング(TCSP)は複雑なネストされたユーザクエリを処理する。 本報告では,TCSPの変換可能なクロスランガルとクロスドメインを比較した。 本稿では,フラット化意図とスロット表現を別々に予測し,両方の予測タスクをシーケンスラベリング問題にキャストすることを提案する。
  論文  参考訳（メタデータ） (2021-06-07T16:40:05Z)
• Rethinking Global Context in Crowd Counting [70.54184500538338]
  純粋な変換器は、重なり合う画像パッチからグローバル情報で特徴を抽出するために用いられる。 分類によってインスピレーションを得て、入力シーケンスにコンテキストトークンを追加し、画像パッチに対応するトークンと情報交換を容易にする。
  論文  参考訳（メタデータ） (2021-05-23T12:44:27Z)
• Point Cloud Learning with Transformer [2.3204178451683264]
  我々は,マルチレベルマルチスケールポイントトランスフォーマ(mlmspt)と呼ばれる新しいフレームワークを提案する。 具体的には、点ピラミッド変換器を用いて、多様な分解能やスケールを持つ特徴をモデル化する。 マルチレベルトランスモジュールは、各スケールの異なるレベルからコンテキスト情報を集約し、それらの相互作用を強化するように設計されている。
  論文  参考訳（メタデータ） (2021-04-28T08:39:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。