論文の概要: Addressing Information Loss and Interaction Collapse: A Dual Enhanced Attention Framework for Feature Interaction

• arxiv url: http://arxiv.org/abs/2503.11233v1
• Date: Fri, 14 Mar 2025 09:31:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-17 13:08:09.121090
• Title: Addressing Information Loss and Interaction Collapse: A Dual Enhanced Attention Framework for Feature Interaction
• Title（参考訳）: 情報損失とインタラクションの崩壊に対処する: 機能インタラクションのための二重強化アテンションフレームワーク
• Authors: Yi Xu, Zhiyuan Lu, Xiaochen Li, Jinxin Hu, Hong Wen, Zulong Chen, Yu Zhang, Jing Zhang,
• Abstract要約: TransformerはCTR予測のための機能相互作用において重要なアプローチであることが証明され、以前の研究でかなりの成功を収めた。 本稿では,デュアル・エンハンスメント・アテンション(Dual Enhanced Attention)と呼ばれる機能インタラクションのためのデュアル・アテンション・フレームワークを提案する。 このフレームワークは、Combo-IDアテンション機構と崩壊回避アテンション機構という2つのアテンションメカニズムを統合している。
• 参考スコア（独自算出の注目度）: 24.85747310004525
• License:
• Abstract: The Transformer has proven to be a significant approach in feature interaction for CTR prediction, achieving considerable success in previous works. However, it also presents potential challenges in handling feature interactions. Firstly, Transformers may encounter information loss when capturing feature interactions. By relying on inner products to represent pairwise relationships, they compress raw interaction information, which can result in a degradation of fidelity. Secondly, due to the long-tail features distribution, feature fields with low information-abundance embeddings constrain the information abundance of other fields, leading to collapsed embedding matrices. To tackle these issues, we propose a Dual Attention Framework for Enhanced Feature Interaction, known as Dual Enhanced Attention. This framework integrates two attention mechanisms: the Combo-ID attention mechanism and the collapse-avoiding attention mechanism. The Combo-ID attention mechanism directly retains feature interaction pairs to mitigate information loss, while the collapse-avoiding attention mechanism adaptively filters out low information-abundance interaction pairs to prevent interaction collapse. Extensive experiments conducted on industrial datasets have shown the effectiveness of Dual Enhanced Attention.
• Abstract（参考訳）: TransformerはCTR予測のための機能相互作用において重要なアプローチであることが証明され、以前の研究でかなりの成功を収めた。 しかし、機能インタラクションを扱う際の潜在的な課題も提示されている。 第一に、トランスフォーマーは機能相互作用をキャプチャする際に情報損失に遭遇する可能性がある。 ペア関係を表すために内部積に依存することにより、生の相互作用情報を圧縮し、忠実度が低下する可能性がある。 第二に、長テールの特徴分布のため、低情報量埋め込みを持つ特徴体は、他のフィールドの情報量を制限するため、埋め込み行列が崩壊する。 これらの問題に対処するために、デュアル拡張注意(Dual Enhanced Attention)として知られる拡張機能インタラクションのためのデュアルアテンションフレームワークを提案する。 このフレームワークは、Combo-IDアテンション機構と崩壊回避アテンション機構という2つのアテンションメカニズムを統合している。 Combo-IDアテンション機構は、情報損失を軽減するために、機能的相互作用対を直接保持し、一方、崩壊回避アテンション機構は、低情報/アサンス相互作用対を適応的にフィルタリングし、相互作用の崩壊を防止する。 産業データセットに対する大規模な実験により、デュアル強化注意の有効性が示された。

関連論文リスト

• Scaled and Inter-token Relation Enhanced Transformer for Sample-restricted Residential NILM [0.0]
  本稿では,2つの革新点を持つトランスフォーマーアーキテクチャを提案する。 提案手法をREDDデータセット上で検証し, 各種アプライアンスに対してF1スコアを10～15%向上させる結果を得た。
  論文  参考訳（メタデータ） (2024-10-12T18:58:45Z)
• Disentangling and Integrating Relational and Sensory Information in Transformer Architectures [2.5322020135765464]
  我々は、個々の物体の性質に関する感覚情報と、物体間の関係に関する関係情報とを区別する。 本稿では,感性情報の流れを指示する感覚的注意機構と,関係情報の流れを指示する新たな関係的注意機構とを特徴とするトランスフォーマーフレームワークのアーキテクチャ拡張を提案する。
  論文  参考訳（メタデータ） (2024-05-26T23:52:51Z)
• Interactive Multi-Head Self-Attention with Linear Complexity [60.112941134420204]
  本研究では,アテンション行列のクロスヘッド間相互作用により,アテンション操作の情報フローが向上することを示す。 本稿では,アテンション操作をクエリとキーレスコンポーネントに分解する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-02-27T13:47:23Z)
• Towards Robust Semantic Segmentation against Patch-based Attack via Attention Refinement [68.31147013783387]
  我々は,アテンション機構がパッチベースの敵攻撃に弱いことを観察した。 本稿では,意味的セグメンテーションモデルの堅牢性を改善するために,ロバスト注意機構(RAM)を提案する。
  論文  参考訳（メタデータ） (2024-01-03T13:58:35Z)
• DefectHunter: A Novel LLM-Driven Boosted-Conformer-based Code Vulnerability Detection Mechanism [3.9377491512285157]
  DefectHunterは、Conformerメカニズムを利用した脆弱性識別のための革新的なモデルである。 このメカニズムは、畳み込みネットワークと自己意識を融合させ、局所的、位置的特徴とグローバル的、コンテンツに基づく相互作用の両方をキャプチャする。
  論文  参考訳（メタデータ） (2023-09-27T00:10:29Z)
• Re-mine, Learn and Reason: Exploring the Cross-modal Semantic Correlations for Language-guided HOI detection [57.13665112065285]
  ヒューマンオブジェクトインタラクション(HOI)検出は、コンピュータビジョンの課題である。 本稿では,構造化テキスト知識を組み込んだHOI検出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-25T14:20:52Z)
• AiATrack: Attention in Attention for Transformer Visual Tracking [89.94386868729332]
  トランスフォーマートラッカーは近年,注目機構が重要な役割を担っている,目覚ましい進歩を遂げている。 我々は,すべての相関ベクトル間のコンセンサスを求めることにより,適切な相関性を高め,誤相関を抑制する注意モジュール(AiA)を提案する。 我々のAiAモジュールは自己認識ブロックとクロスアテンションブロックの両方に容易に適用でき、視覚追跡のための特徴集約と情報伝達を容易にする。
  論文  参考訳（メタデータ） (2022-07-20T00:44:03Z)
• Towards Joint Intent Detection and Slot Filling via Higher-order Attention [47.78365472691051]
  Intent Detection (ID) と Slot fill (SF) は、音声言語理解(SLU)における2つの主要なタスクである。 本稿では,文脈的およびチャネル的両線的アテンション分布を利用したバイリニアアテンションブロックを提案する。 我々のアプローチは最先端のアプローチと比較して改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2021-09-18T09:50:23Z)
• Context-Aware Interaction Network for Question Matching [51.76812857301819]
  本研究では,二つのシーケンスを整合させ,それらの意味関係を推定する文脈認識インタラクションネットワーク(coin)を提案する。 具体的には,(1)コンテキスト情報を効果的に統合するためのコンテキスト対応のクロスアテンション機構,(2)整列表現を柔軟に補間するゲート融合層を備える。
  論文  参考訳（メタデータ） (2021-04-17T05:03:56Z)
• Self-Attention Attribution: Interpreting Information Interactions Inside Transformer [89.21584915290319]
  本稿では,トランスフォーマー内の情報相互作用を解釈する自己帰属属性法を提案する。 本研究は,BERT に対する非目標攻撃の実装において,その属性を敵対パターンとして用いることができることを示す。
  論文  参考訳（メタデータ） (2020-04-23T14:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。