論文の概要: Modeling Selective Feature Attention for Representation-based Siamese Text Matching

• arxiv url: http://arxiv.org/abs/2404.16776v1
• Date: Thu, 25 Apr 2024 17:26:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-26 13:01:06.704979
• Title: Modeling Selective Feature Attention for Representation-based Siamese Text Matching
• Title（参考訳）: 表現に基づくシームズテキストマッチングのための選択的特徴注意のモデル化
• Authors: Jianxiang Zang, Hui Liu,
• Abstract要約: 本稿では,埋め込み機能間の依存関係のモデリングを強化するために,新しいブロックを提案する。 本稿では,積み重ねたBiGRUインセプション構造を利用するSelective Feature Attention (SFA)と呼ばれる動的「選択」機構を提案する。 FAブロックとSFAブロックは、様々なSiameseネットワークとのシームレスな統合機能を提供し、プラグ・アンド・プレイの特徴を示している。
• 参考スコア（独自算出の注目度）: 3.5863110323469
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation-based Siamese networks have risen to popularity in lightweight text matching due to their low deployment and inference costs. While word-level attention mechanisms have been implemented within Siamese networks to improve performance, we propose Feature Attention (FA), a novel downstream block designed to enrich the modeling of dependencies among embedding features. Employing "squeeze-and-excitation" techniques, the FA block dynamically adjusts the emphasis on individual features, enabling the network to concentrate more on features that significantly contribute to the final classification. Building upon FA, we introduce a dynamic "selection" mechanism called Selective Feature Attention (SFA), which leverages a stacked BiGRU Inception structure. The SFA block facilitates multi-scale semantic extraction by traversing different stacked BiGRU layers, encouraging the network to selectively concentrate on semantic information and embedding features across varying levels of abstraction. Both the FA and SFA blocks offer a seamless integration capability with various Siamese networks, showcasing a plug-and-play characteristic. Experimental evaluations conducted across diverse text matching baselines and benchmarks underscore the indispensability of modeling feature attention and the superiority of the "selection" mechanism.
• Abstract（参考訳）: 表現ベースのシームズネットワークは、展開コストと推論コストが低いため、軽量テキストマッチングで人気を博している。 単語レベルのアテンション機構をシムズネットワーク内に実装し,性能向上を図る一方で,埋め込み機能間の依存性のモデリングを強化するために設計された,新たな下流ブロックであるFeature Attention (FA)を提案する。 FAブロックは、"squeeze-and-excitation"技術を用いることで、個々の特徴の強調を動的に調整し、最終分類に大きく貢献する特徴にネットワークが集中できるようにする。 FA 上に構築した Selective Feature Attention (SFA) と呼ばれる動的 "選択" 機構は,積み重ねた BiGRU のインセプション構造を利用する。 SFAブロックは、異なる積み重ねたBiGRU層をトラバースすることで、マルチスケールなセマンティック抽出を容易にする。 FAブロックとSFAブロックは、様々なSiameseネットワークとのシームレスな統合機能を提供し、プラグ・アンド・プレイの特徴を示している。 多様なテキストマッチングベースラインとベンチマークで実施した実験的評価は、モデリングの特徴的注意の欠如と「選択」機構の優越性を裏付けるものである。

関連論文リスト

• Beyond Mask: Rethinking Guidance Types in Few-shot Segmentation [67.35274834837064]
  我々は、テキスト、マスク、ボックス、画像からのプロンプトを統合するユニバーサルビジョン言語フレームワーク(UniFSS)を開発した。 UniFSSは最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-07-16T08:41:01Z)
• FANet: Feature Amplification Network for Semantic Segmentation in Cluttered Background [9.970265640589966]
  既存のディープラーニングアプローチでは、複雑なシナリオに存在するセマンティックセグメンテーションにおいて重要なセマンティックな方法が残されている。 マルチステージ機能拡張モジュールを用いて意味情報を組み込んだバックボーンネットワークとして機能増幅ネットワーク(FANet)を提案する。 実験の結果,既存の手法と比較して最先端の性能が示された。
  論文  参考訳（メタデータ） (2024-07-12T15:57:52Z)
• Context-Semantic Quality Awareness Network for Fine-Grained Visual Categorization [30.92656780805478]
  細粒度視覚分類のための弱教師付き文脈意味品質認識ネットワーク(CSQA-Net)を提案する。 リッチな部分記述子とグローバルセマンティクスの空間的関係をモデル化するため,我々は新しい多部・多スケールクロスアテンション(MPMSCA)モジュールを開発した。 また、バックボーンネットワークの異なるレベルからの階層的セマンティクスを段階的に監視し、強化する汎用的マルチレベルセマンティクス評価モジュール(MLSQE)を提案する。
  論文  参考訳（メタデータ） (2024-03-15T13:40:44Z)
• Weakly Supervised Semantic Segmentation by Knowledge Graph Inference [11.056545020611397]
  本稿では、Wakly Supervised Semantic (WSSS)を強化するグラフ推論に基づくアプローチを提案する。 本研究の目的は,マルチラベル分類とセグメンテーションネットワークの段階を同時に拡張することで,WSSSを全体的改善することである。 PASCAL VOC 2012およびMS-COCOデータセット上でWSSSの最先端性能を達成した。
  論文  参考訳（メタデータ） (2023-09-25T11:50:19Z)
• AAFACE: Attribute-aware Attentional Network for Face Recognition [9.766991422985598]
  本稿では,ソフトバイオメトリック(SB)予測を補助モダリティとして同時に実行し,顔認識(FR)を主課題とする新しいマルチブランチニューラルネットワークを提案する。 提案するネットワークAAFaceは、SB属性を利用してFR表現の識別能力を向上する。 提案するAAIモジュールは,コンテキスト認識だけでなく,入力機能間の複雑な関係を学習する能力も備えている。
  論文  参考訳（メタデータ） (2023-08-14T16:24:35Z)
• Unsupervised Domain Adaptation via Style-Aware Self-intermediate Domain [52.783709712318405]
  非教師なしドメイン適応(UDA)は、ラベル豊富なソースドメインから関連するがラベルのないターゲットドメインに知識を伝達する、かなりの注目を集めている。 本研究では,大規模なドメインギャップと伝達知識を橋渡しし,クラス非ネイティブ情報の損失を軽減するために,SAFF(style-aware feature fusion)法を提案する。
  論文  参考訳（メタデータ） (2022-09-05T10:06:03Z)
• Learning Target-aware Representation for Visual Tracking via Informative Interactions [49.552877881662475]
  トラッキングのための特徴表現のターゲット認識能力を改善するために,新しいバックボーンアーキテクチャを提案する。 提案したGIMモジュールとInBN機構は、CNNやTransformerなど、さまざまなバックボーンタイプに適用可能である。
  論文  参考訳（メタデータ） (2022-01-07T16:22:27Z)
• Attention-driven Graph Clustering Network [49.040136530379094]
  我々は、注意駆動グラフクラスタリングネットワーク(AGCN)という新しいディープクラスタリング手法を提案する。 AGCNは、ノード属性特徴とトポロジグラフ特徴を動的に融合するために、不均一な融合モジュールを利用する。 AGCNは、教師なしの方法で特徴学習とクラスタ割り当てを共同で行うことができる。
  論文  参考訳（メタデータ） (2021-08-12T02:30:38Z)
• Perception-and-Regulation Network for Salient Object Detection [8.026227647732792]
  本稿では,特徴間の相互依存性を明示的にモデル化し,特徴融合プロセスを適応的に制御する新しいグローバルアテンションユニットを提案する。 知覚部は、分類網内の完全に接続された層の構造を用いて、物体のサイズと形状を学習する。 さらに、ネットワークのグローバルな認識能力向上のために、模倣眼観察モジュール(IEO)が使用される。
  論文  参考訳（メタデータ） (2021-07-27T02:38:40Z)
• Encoder Fusion Network with Co-Attention Embedding for Referring Image Segmentation [87.01669173673288]
  本稿では,視覚的エンコーダをマルチモーダルな特徴学習ネットワークに変換するエンコーダ融合ネットワーク(EFN)を提案する。 EFNには、マルチモーダル機能の並列更新を実現するコアテンションメカニズムが組み込まれている。 4つのベンチマークデータセットによる実験結果から,提案手法がポストプロセッシングを伴わずに最先端の性能を実現することを示す。
  論文  参考訳（メタデータ） (2021-05-05T02:27:25Z)
• Global Context-Aware Progressive Aggregation Network for Salient Object Detection [117.943116761278]
  我々は,低レベルな外観特徴,高レベルな意味特徴,グローバルな文脈特徴を統合化するための新しいネットワークGCPANetを提案する。 提案手法は, 定量的かつ定性的に, 最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-02T04:26:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。