論文の概要: Attention-Seeker: Dynamic Self-Attention Scoring for Unsupervised Keyphrase Extraction

• arxiv url: http://arxiv.org/abs/2409.10907v1
• Date: Tue, 17 Sep 2024 05:54:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-18 17:48:51.779701
• Title: Attention-Seeker: Dynamic Self-Attention Scoring for Unsupervised Keyphrase Extraction
• Title（参考訳）: Attention-Seeker: 教師なしキーフレーズ抽出のための動的自己注意スコアリング
• Authors: Erwin D. López Z., Cheng Tang, Atsushi Shimada,
• Abstract要約: Attention-Seekerは教師なしキーフレーズ抽出法である。 大規模言語モデルからの自己注意マップを使用して、候補句の重要性を推定する。 公開データセットを4つ評価した。
• 参考スコア（独自算出の注目度）: 4.32566025202755
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: This paper proposes Attention-Seeker, an unsupervised keyphrase extraction method that leverages self-attention maps from a Large Language Model to estimate the importance of candidate phrases. Our approach identifies specific components - such as layers, heads, and attention vectors - where the model pays significant attention to the key topics of the text. The attention weights provided by these components are then used to score the candidate phrases. Unlike previous models that require manual tuning of parameters (e.g., selection of heads, prompts, hyperparameters), Attention-Seeker dynamically adapts to the input text without any manual adjustments, enhancing its practical applicability. We evaluate Attention-Seeker on four publicly available datasets: Inspec, SemEval2010, SemEval2017, and Krapivin. Our results demonstrate that, even without parameter tuning, Attention-Seeker outperforms most baseline models, achieving state-of-the-art performance on three out of four datasets, particularly excelling in extracting keyphrases from long documents.
• Abstract（参考訳）: 本稿では,大規模言語モデルからの自己注意マップを利用して,候補句の重要性を推定する,教師なしキーフレーズ抽出手法であるAttention-Seekerを提案する。 このアプローチでは、レイヤ、ヘッド、アテンションベクターなど、特定のコンポーネントを特定します。 これらのコンポーネントによって提供される注意重みは、候補句のスコアに使用される。 パラメータのマニュアルチューニング(例えば、ヘッドの選択、プロンプト、ハイパーパラメータ)を必要とする従来のモデルとは異なり、注意-シーカーは手動調整なしで入力テキストに動的に適応し、実用性を高める。 我々は、Inspec、SemEval2010、SemEval2017、Krapivinの4つの公開データセットに対して、Attention-Seekerを評価する。 その結果、パラメータチューニングがなくても、Attention-Seekerはほとんどのベースラインモデルより優れており、4つのデータセットのうち3つで最先端のパフォーマンスを実現し、特に長い文書からキーフレーズを抽出することに優れていた。

関連論文リスト

• Stanceformer: Target-Aware Transformer for Stance Detection [59.69858080492586]
  スタンス検出は、テキストで表現されたスタンスを特定の主題やターゲットに向けて識別する。 以前の作業は、ターゲットを効果的に優先順位付けする能力に欠ける既存のトランスフォーマーモデルに依存していた。 本稿では,学習と推論の両方において,目標に対する注意を高めるターゲット対応トランスフォーマーモデルであるStanceformerを紹介する。
  論文  参考訳（メタデータ） (2024-10-09T17:24:28Z)
• MetaKP: On-Demand Keyphrase Generation [52.48698290354449]
  オンデマンドのキーフレーズ生成は,特定のハイレベルな目標や意図に従うキーフレーズを必要とする新しいパラダイムである。 そこで我々は,4つのデータセット,7500のドキュメント,3760の目標からなる大規模ベンチマークであるMetaKPを紹介した。 ソーシャルメディアからの流行事象検出に応用して,一般のNLP基盤として機能する可能性を示す。
  論文  参考訳（メタデータ） (2024-06-28T19:02:59Z)
• Elliptical Attention [1.7597562616011944]
  Pairwise dot-product self-attentionは、言語やビジョンにおける様々なアプリケーションで最先端のパフォーマンスを実現するトランスフォーマーの成功の鍵である。 本稿では,マハラノビス距離計を用いて注意重みの計算を行い,その基礎となる特徴空間を文脈的関連性の高い方向に拡張することを提案する。
  論文  参考訳（メタデータ） (2024-06-19T18:38:11Z)
• Multi-label and Multi-target Sampling of Machine Annotation for Computational Stance Detection [44.90471123149513]
  アノテーションの品質を最適化するために,マルチラベルおよびマルチターゲットサンプリング戦略を導入する。 ベンチマークスタンス検出コーパスの実験結果から,本手法は性能と学習効率を大幅に向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-11-08T06:54:34Z)
• Leveraging Contextual Information for Effective Entity Salience Detection [21.30389576465761]
  クロスエンコーダアーキテクチャを用いた中規模言語モデルの微調整により,機能工学的アプローチよりも優れた性能が得られることを示す。 また、命令調整言語モデルのゼロショットプロンプトは、タスクの特異性と複雑さを示す劣った結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2023-09-14T19:04:40Z)
• Perturbation-based Self-supervised Attention for Attention Bias in Text Classification [31.144857032681905]
  本稿では,摂動に基づく自己監督型アテンションアプローチを提案し,注意学習の指導を行う。 文中のすべての単語に、その意味や予測を変えることなく、可能な限り多くのノイズを加えます。 3つのテキスト分類タスクの実験結果から,本手法は現在の注目モデルの性能を大幅に向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-05-25T03:18:18Z)
• POUF: Prompt-oriented unsupervised fine-tuning for large pre-trained models [62.23255433487586]
  モデルに微調整を施したり、ラベルのないターゲットデータにプロンプトを施したりするための教師なしの微調整フレームワークを提案する。 本稿では,プロンプトとターゲットデータから抽出した離散分布を整列させて,言語拡張視覚とマスキング言語モデルの両方に適用する方法を示す。
  論文  参考訳（メタデータ） (2023-04-29T22:05:22Z)
• Unsupervised Keyphrase Extraction via Interpretable Neural Networks [27.774524511005172]
  テキストのトピックを予測するのに最も有用なキーワードは重要なキーワードである。 InSPECTは、影響力のあるキーフレーズを識別するための自己説明型ニューラルネットワークフレームワークである。 InSPECTは4つの異なるデータセットから教師なし鍵抽出を行う。
  論文  参考訳（メタデータ） (2022-03-15T04:30:47Z)
• On Guiding Visual Attention with Language Specification [76.08326100891571]
  注意をそらすのではなく,タスク関連機能に分類証拠を限定するためのアドバイスとして,ハイレベルな言語仕様を用いる。 この方法で空間的注意を監督することは、偏りのあるノイズのあるデータを用いた分類タスクの性能を向上させる。
  論文  参考訳（メタデータ） (2022-02-17T22:40:19Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)
• Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization [86.45110800123216]
  テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。 本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。