論文の概要: NDT: Non-Differential Transformer and Its Application to Sentiment Analysis

• arxiv url: http://arxiv.org/abs/2603.20704v1
• Date: Sat, 21 Mar 2026 08:03:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.050119
• Title: NDT: Non-Differential Transformer and Its Application to Sentiment Analysis
• Title（参考訳）: NDT:非線形変圧器とその感度解析への応用
• Authors: Soudeep Ghoshal, Himanshu Buckchash, Sarita Paudel, Rubén Ruiz-Torrubiano,
• Abstract要約: 非微分変換器(NDT)は、最先端の微分変換器(DT)モデルにインスパイアされている。 我々は、テキスト内の異なる概念を専門化するために、異なる注意要素から利益が生じる可能性があるという、別の動機を探究する。 我々のモデルは、複数の異なる注意マップの正重み付けされた和を通して注意を計算する。
• 参考スコア（独自算出の注目度）: 5.214806886230469
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: From customer feedback to social media, understanding human sentiment in text is central to how machines can interact meaningfully with people. However, despite notable progress, accurately capturing sentiment remains a challenging task, which continues to motivate further research in this area. To this end, we introduce Non-Differential Transformer (NDT). It is inspired by (but in contrast to) the state-of-the-art Differential Transformer (DT) model. While standard Transformers can struggle with irrelevant context, the sota DT model uses attention map subtraction, potentially for noise cancellation. We explore an alternative motivation, hypothesizing that benefits may arise from enabling different attention components to specialize on distinct concepts within the text, similar to multiplexing information channels or mixture models, rather than primarily canceling noise via subtraction. Guided by this concept-multiplexing (ConPlex) view, the specific architecture presented in this paper employs a purely additive strategy. It uses only positive weights, learned during training, to ensure constructive combination of these specialized attention perspectives. This design choice explores positive only integration, though our broader framework also shows promise with less constrained linear combinations involving both positive and negative weights. Our model computes attention via this positively weighted sum of multiple distinct attention maps. This allows the model to constructively integrate diverse signals and potentially capture more complex contextual relationships. Competitive performance is achieved by the proposed model for Sentiment Analysis while tested on multiple datasets. We conclude by presenting our results, challenges and future research agenda in this important area of research.
• Abstract（参考訳）: 顧客からのフィードバックからソーシャルメディアまで、人間の感情をテキストで理解することは、機械が人々と有意義に対話する方法の中心である。 しかし、顕著な進歩にもかかわらず、感情を正確に捉えることは難しい課題であり、この分野のさらなる研究を動機づけ続けている。 この目的のために,Non-Differential Transformer (NDT)を導入する。 これは最先端の微分変換器(DT)モデルに着想を得ている(対照的に)。 標準変換器は無関係な状況に対処できるが、ソタDTモデルはアテンションマップのサブトラクションを用いてノイズキャンセリングを行う。 我々は、主に減音によるノイズをキャンセルするのではなく、多重化情報チャネルや混合モデルのような、テキスト内の異なる概念を専門化するための異なる注意要素によって生じる利益を仮定する別の動機を探究する。 この概念多重化(ConPlex)ビューによって導かれるこの論文で提示される特定のアーキテクチャは、純粋に付加的な戦略を採用している。 トレーニング中に学んだ、肯定的な重みのみを使用して、これらの特別な注意の視点の構築的な組み合わせを保証します。 この設計選択は、正のみの統合を探求するが、より広範なフレームワークは、正と負の両方の重みを含む制約の少ない線形結合を約束することを示している。 我々のモデルは、複数の異なる注意マップの正重み付けされた和を通して注意を計算する。 これにより、モデルは様々な信号を構成的に統合し、より複雑なコンテキスト関係をキャプチャすることができる。 競合性能は、複数のデータセットでテストしながら、提案したSentiment Analysisのモデルによって達成される。 我々は,この重要な研究領域において,我々の成果,課題,今後の研究課題を提示することで結論付ける。

関連論文リスト

• Bayesian Joint Additive Factor Models for Multiview Learning [7.254731344123118]
  マルチオミクスデータが収集され、臨床結果と相関する精度医学の文脈でモチベーション応用が生じる。 本稿では,共有およびビュー固有のコンポーネントを考慮に入れた,構造化された付加的設計を伴うJAFAR(Joint Additive Factor regression model)を提案する。 免疫,メタボローム,プロテオームデータから得られた時間とラベルの発症の予測は,最先端の競合相手に対するパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2024-06-02T15:35:45Z)
• Mitigating Shortcut Learning with Diffusion Counterfactuals and Diverse Ensembles [104.60508550106618]
  拡散確率モデル(DPM)を利用したアンサンブル多様化フレームワークDiffDivを提案する。 DPMは、相関した入力特徴を示すサンプルを用いて訓練しても、新しい特徴の組み合わせで画像を生成することができることを示す。 そこで本研究では,DPM誘導の多様化は,教師付き信号の追加を必要とせず,ショートカットキューへの依存を取り除くのに十分であることを示す。
  論文  参考訳（メタデータ） (2023-11-23T15:47:33Z)
• Demystify Transformers & Convolutions in Modern Image Deep Networks [80.16624587948368]
  本稿では,一般のコンボリューションとアテンション演算子の真の利益を,詳細な研究により同定することを目的とする。 注意や畳み込みのようなこれらの特徴変換モジュールの主な違いは、それらの空間的特徴集約アプローチにある。 様々なSTMが統合されたフレームワークに統合され、包括的な比較分析を行う。
  論文  参考訳（メタデータ） (2022-11-10T18:59:43Z)
• Dynamic Latent Separation for Deep Learning [67.62190501599176]
  機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。 本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
  論文  参考訳（メタデータ） (2022-10-07T17:56:53Z)
• A Joint Cross-Attention Model for Audio-Visual Fusion in Dimensional Emotion Recognition [46.443866373546726]
  ビデオから抽出した顔と声の融合に基づく次元的感情認識に焦点を当てた。 本稿では, 相補的関係に依拠し, 有意な特徴を抽出する連係関係モデルを提案する。 提案したA-V融合モデルにより,最先端の手法より優れたコスト効率のソリューションが提供される。
  論文  参考訳（メタデータ） (2022-03-28T14:09:43Z)
• Multimodal Personality Recognition using Cross-Attention Transformer and Behaviour Encoding [0.0]
  利用可能なすべてのデータを利用するタスクのフレキシブルなモデルを提案する。 この課題は複雑な関係を伴い、特にビデオ処理に大規模なモデルを用いることを避けるため、動作符号化の利用を提案する。
  論文  参考訳（メタデータ） (2021-12-22T19:14:55Z)
• Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal Sentiment Analysis [96.46952672172021]
  Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。 モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
  論文  参考訳（メタデータ） (2021-07-28T23:33:42Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• NestedVAE: Isolating Common Factors via Weak Supervision [45.366986365879505]
  我々は、バイアス低減の課題と、ドメイン間で共通する分離要因の関係を同定する。 共通因子を分離するために、潜伏変数モデルの理論と情報ボトルネック理論を組み合わせる。 共有重みを持つ2つの外部VAEは入力を再構成し、潜伏空間を推論し、一方、ネストされたVAEはペア化された画像の潜伏表現から1つの画像の潜伏表現を再構成しようとする。
  論文  参考訳（メタデータ） (2020-02-26T15:49:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。