論文の概要: Attention Expansion: Enhancing Keyphrase Extraction from Long Documents with Attention-Augmented Contextualized Embeddings

• arxiv url: http://arxiv.org/abs/2606.10716v2
• Date: Thu, 11 Jun 2026 13:08:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-12 13:39:59.587909
• Title: Attention Expansion: Enhancing Keyphrase Extraction from Long Documents with Attention-Augmented Contextualized Embeddings
• Title（参考訳）: 注意拡大: 文脈拡張埋め込みを用いた長期文書からのキーワード抽出の促進
• Authors: Roberto Martínez-Cruz, Alvaro J. López-López, José Portela,
• Abstract要約: 本研究では,PLMトークン表現を,コンテキスト外チャンクの周囲からの情報で拡張するアテンション拡張機構を提案する。 提案手法は,汎用性,科学性,タスク固有性,長文エンコーダを含む5つのPLMバックボーンにまたがって評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained language models (PLMs) have achieved strong performance in keyphrase extraction (KPE), largely due to their ability to generate rich contextualized representations. However, long-document KPE remains challenging because salient keyphrase evidence may be scattered across distant document sections that cannot be jointly captured within the limited context window of most PLMs. Although long-context large language models (LLMs) can process broader textual contexts, their computational cost limits their practicality for efficient and high-throughput KPE. To overcome this limitation, we propose an attention expansion mechanism that augments PLM token representations with information from surrounding out-of-context chunks using pre-trained word embeddings. The proposed mechanism expands the effective contextual scope of PLM-based KPE models without requiring full-document attention or expensive LLM-based inference. We evaluate our approach across five PLM backbones, including general-purpose, scientific, task-specific, and long-context encoders, using two training regimes and five benchmark corpora from scientific and news domains. Experimental results demonstrate that attention expansion consistently enhances KPE performance across all evaluation settings, outperforming state-of-the-art models and yielding notable improvements in F1 score. The improvements extend to domain-specific, task-specialized, and native long-context models, showing that the proposed mechanism provides complementary information rather than merely compensating for limited input length. These results establish attention expansion as an efficient and effective strategy for long-document KPE.
• Abstract（参考訳）: 事前学習された言語モデル(PLM)はキーフレーズ抽出(KPE)において高い性能を達成している。 しかし,ほとんどの PLM の限られたコンテキストウィンドウ内では捕えられない,有意なキーフレーズの証拠が遠くの文書に散らばっているため,KPE の長期化は依然として困難である。 長文大言語モデル(LLM)は、より広範なテキストコンテキストを処理できるが、その計算コストは、効率的で高スループットのKPEに対する実用性を制限する。 この制限を克服するために,事前学習した単語埋め込みを用いて,文外チャンクを取り巻く情報を用いて,PLMトークン表現を付加するアテンション拡張機構を提案する。 提案手法は, PLM ベースの KPE モデルにおいて, フルドキュメントの注意や高価な LLM ベースの推論を必要とせずに, 効果的なコンテキスト範囲を拡大する。 汎用,科学,タスク特化,長文エンコーダを含む5つのPLMバックボーンに対するアプローチを,2つのトレーニングレギュレーションと5つのベンチマークコーパスを用いて評価した。 実験結果から,注意拡大はすべての評価設定におけるKPE性能を継続的に向上し,最先端モデルよりも優れ,F1スコアの顕著な改善をもたらすことが示された。 この改善は、ドメイン固有、タスク特化、およびネイティブの長文モデルにまで拡張され、提案機構は、単に入力長の制限を補うのではなく、補完的な情報を提供することを示している。 これらの結果から,長期KPEの効率的かつ効果的な戦略として,注意拡大が確立された。

関連論文リスト

• Up to 36x Speedup: Mask-based Parallel Inference Paradigm for Key Information Extraction in MLLMs [22.76757502541604]
  鍵情報抽出のための並列推論パラダイムPIPについて紹介する。 提案手法は,すべての目標値のプレースホルダーとして "[mask]" トークンを用いることで問題を修正し,単一のフォワードパスで同時生成を可能にする。 実験の結果,従来の自己回帰ベースモデルと比較して,PIPモデルでは性能劣化が無視できる5-36倍の高速化を実現していることがわかった。
  論文  参考訳（メタデータ） (2026-01-27T13:45:30Z)
• Structured Attention Matters to Multimodal LLMs in Document Understanding [52.37530640460363]
  入力形式が文書理解性能に与える影響について検討する。 生のOCRテキストはMLLMの性能を向上するのではなく、しばしば機能不全であることがわかった。 本稿では,LaTexパラダイムを用いて文書要素を符号化する構造保存手法を提案する。
  論文  参考訳（メタデータ） (2025-06-19T07:16:18Z)
• CSE-SFP: Enabling Unsupervised Sentence Representation Learning via a Single Forward Pass [3.0566617373924325]
  プレトレーニング言語モデル(PLM)の最近の進歩は、この分野において顕著な進歩をもたらした。 CSE-SFPは,生成モデルの構造的特徴を利用する革新的な手法である。 CSE-SFPは高品質な埋め込みを実現するだけでなく、トレーニング時間とメモリ消費を著しく削減する。
  論文  参考訳（メタデータ） (2025-05-01T08:27:14Z)
• Effective Length Extrapolation via Dimension-Wise Positional Embeddings Manipulation [60.22622442950905]
  大型言語モデル(LLM)は、入力トークンの数がトレーニング済みの長さを超えると、コヒーレントなコンテキストを処理し、生成するのに苦労することが多い。 長文拡張の最近の進歩は、LLMのコンテキストウィンドウを大きく拡張した。 LLMのコンテキストウィンドウを外挿するためのDPE(Dmension-Wise Positional Embeddings Manipulation)を提案する。
  論文  参考訳（メタデータ） (2025-04-26T08:46:10Z)
• Efficient Prompt Compression with Evaluator Heads for Long-Context Transformer Inference [6.699062502635993]
  長文入力は大規模言語モデル(LLM)の有効活用に不可欠である 圧縮されたプロンプト内にキー情報を保持できる,効率的な訓練不要なプロンプト圧縮手法を提案する。 我々は,LLMの入力プロンプトを高速に「スキムスルー」できる評価器ヘッドベースプロンプト圧縮を開発した。
  論文  参考訳（メタデータ） (2025-01-22T15:33:17Z)
• StructFormer: Document Structure-based Masked Attention and its Impact on Language Model Pre-Training [20.79815837785261]
  本研究は,BERT事前学習におけるグローバルアテンションの影響を実証的に評価することに焦点を当てた。 我々は、arXivデータとテキスト専用コーパスとともに、構造化対応テキストの広範なコーパスを作成します。 我々の分析は、文書構造をLMモデルに組み込むことの重要性を強調し、より抽象的なタスクに優れることを示す。
  論文  参考訳（メタデータ） (2024-11-25T17:57:52Z)
• SEGMENT+: Long Text Processing with Short-Context Language Models [53.40059130780192]
  SEGMENT+は、LMが限られたコンテキストウィンドウ内で拡張入力を効率的に処理できるフレームワークである。 SEGMENT+は構造化音符とフィルタリングモジュールを使用して情報の流れを管理し、制御可能かつ解釈可能なシステムを実現する。
  論文  参考訳（メタデータ） (2024-10-09T03:40:22Z)
• CELA: Cost-Efficient Language Model Alignment for CTR Prediction [70.65910069412944]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最重要位置を占める。 最近の取り組みは、プレトレーニング言語モデル(PLM)を統合することでこれらの課題を緩和しようとしている。 CTR予測のためのtextbfCost-textbfEfficient textbfLanguage Model textbfAlignment (textbfCELA)を提案する。
  論文  参考訳（メタデータ） (2024-05-17T07:43:25Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。