論文の概要: S2Sent: Nested Selectivity Aware Sentence Representation Learning

• arxiv url: http://arxiv.org/abs/2508.18164v1
• Date: Mon, 25 Aug 2025 16:13:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.85658
• Title: S2Sent: Nested Selectivity Aware Sentence Representation Learning
• Title（参考訳）: S2Sent:Nested Selectivity Aware Sentence Representation Learning
• Authors: Jianxiang Zang, Nijia Mo, Yonda Wei, Meiling Ning, Hui Liu,
• Abstract要約: 文表現選択機構Ssuperscript2Sentを提案する。 セレクタは、モジュールの観点から空間選択(SS)およびネスト周波数選択(FS)を行う。 大規模な実験では、Stextsuperscript2Sentはベースラインメソッドよりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 5.284254208630281
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The combination of Transformer-based encoders with contrastive learning represents the current mainstream paradigm for sentence representation learning. This paradigm is typically based on the hidden states of the last Transformer block of the encoder. However, within Transformer-based encoders, different blocks exhibit varying degrees of semantic perception ability. From the perspective of interpretability, the semantic perception potential of knowledge neurons is modulated by stimuli, thus rational cross-block representation fusion is a direction worth optimizing. To balance the semantic redundancy and loss across block fusion, we propose a sentence representation selection mechanism S\textsuperscript{2}Sent, which integrates a parameterized nested selector downstream of the Transformer-based encoder. This selector performs spatial selection (SS) and nested frequency selection (FS) from a modular perspective. The SS innovatively employs a spatial squeeze based self-gating mechanism to obtain adaptive weights, which not only achieves fusion with low information redundancy but also captures the dependencies between embedding features. The nested FS replaces GAP with different DCT basis functions to achieve spatial squeeze with low semantic loss. Extensive experiments have demonstrated that S\textsuperscript{2}Sent achieves significant improvements over baseline methods with negligible additional parameters and inference latency, while highlighting high integrability and scalability.
• Abstract（参考訳）: コントラスト学習とトランスフォーマーベースのエンコーダの組み合わせは、文表現学習における現在の主流パラダイムである。 このパラダイムは典型的にはエンコーダの最後のTransformerブロックの隠された状態に基づいている。 しかし、Transformerベースのエンコーダでは、異なるブロックは様々な意味認識能力を示す。 解釈可能性の観点からは、知識ニューロンの意味知覚電位は刺激によって変調されるので、合理的なクロスブロック表現融合は最適化に値する方向である。 文表現選択機構S\textsuperscript{2}Sentは,Transformerベースのエンコーダの下流にパラメータ化されたネストセレクタを統合する。 このセレクタは、モジュールの観点から空間選択(SS)およびネスト周波数選択(FS)を行う。 SSは空間的圧縮に基づく自己ゲーティング機構を革新的に採用し,低情報冗長性で融合するだけでなく,埋め込み特徴間の依存性を捉える。 ネストされたFSはGAPを異なるDCT基底関数で置き換え、セマンティックロスを低く抑える。 大規模な実験では、S\textsuperscript{2}Sentは、高い積分性とスケーラビリティを強調しながら、無視できる追加パラメータと推論遅延を持つベースラインメソッドよりも大幅に改善されていることが示されている。

関連論文リスト

• Semi-supervised Semantic Segmentation with Multi-Constraint Consistency Learning [81.02648336552421]
  本稿では,エンコーダとデコーダの段階的拡張を容易にするためのマルチ制約一貫性学習手法を提案する。 自己適応型特徴マスキングとノイズ注入は、デコーダの堅牢な学習のための特徴を摂動させるために、インスタンス固有の方法で設計されている。 Pascal VOC2012およびCityscapesデータセットの実験結果から,提案したMCCLが新たな最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2025-03-23T03:21:33Z)
• SAFR: Neuron Redistribution for Interpretability [7.756342860929851]
  重ね合わせ(英: superposition)とは、単一ニューロン内の複数の特徴の表現を符号化することである。 期待された性能にもかかわらず、モデルの解釈可能性は低下している。 本稿では,特徴重畳を正規化することによってモデル解釈可能性を高める新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-23T06:20:33Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• Isomer: Isomerous Transformer for Zero-shot Video Object Segmentation [59.91357714415056]
  コンテクスト共有変換器(CST)とセマンティックガザリング散乱変換器(SGST)の2つの変種を提案する。 CSTは、軽量な計算により、画像フレーム内のグローバル共有コンテキスト情報を学習し、SGSTは、前景と背景のセマンティック相関を別々にモデル化する。 多段核融合にバニラ変換器を使用するベースラインと比較して,我々は13倍の速度向上を実現し,新しい最先端ZVOS性能を実現する。
  論文  参考訳（メタデータ） (2023-08-13T06:12:00Z)
• Learning Disentangled Semantic Spaces of Explanations via Invertible Neural Networks [10.880057430629126]
  切り離された潜在空間は、通常、より良い意味分離性と幾何学的性質を持ち、より良い解釈可能性とより制御可能なデータ生成をもたらす。 本研究では,より一般的な文意味的特徴の局所的な修正と制御を目的とした,文の絡み合いのより一般的な形態に着目した。 本稿では,トランスフォーマベース言語であるオートエンコーダ(AE)と統合されたフローベース可逆ニューラルネットワーク(INN)機構を導入し,より分離性に優れた潜在空間を実現する。
  論文  参考訳（メタデータ） (2023-05-02T18:27:13Z)
• Multi-scale and Cross-scale Contrastive Learning for Semantic Segmentation [5.281694565226513]
  セグメンテーションネットワークによって抽出されたマルチスケール特徴の識別能力を高めるために,コントラスト学習を適用した。 まず、エンコーダのマルチスケール表現を共通の特徴空間にマッピングすることにより、教師付き局所言語制約の新しい形式をインスタンス化する。
  論文  参考訳（メタデータ） (2022-03-25T01:24:24Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• MetaSDF: Meta-learning Signed Distance Functions [85.81290552559817]
  ニューラルな暗示表現で形状を一般化することは、各関数空間上の学習先行値に比例する。 形状空間の学習をメタラーニング問題として定式化し、勾配に基づくメタラーニングアルゴリズムを利用してこの課題を解決する。
  論文  参考訳（メタデータ） (2020-06-17T05:14:53Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)
• Spatial-Scale Aligned Network for Fine-Grained Recognition [42.71878867504503]
  精密な視覚認識のための既存のアプローチは、境界領域に基づく表現の学習に重点を置いている。 本稿では,空間スケールアライメントネットワーク(SSANET)を提案する。
  論文  参考訳（メタデータ） (2020-01-05T11:12:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。