論文の概要: A Context-Aware Feature Fusion Framework for Punctuation Restoration

• arxiv url: http://arxiv.org/abs/2203.12487v1
• Date: Wed, 23 Mar 2022 15:29:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-24 19:25:02.536281
• Title: A Context-Aware Feature Fusion Framework for Punctuation Restoration
• Title（参考訳）: 句読点復元のための文脈認識型特徴融合フレームワーク
• Authors: Yangjun Wu, Kebin Fang, Yao Zhao
• Abstract要約: 注意力不足を軽減するために,2種類の注意力(FFA)に基づく新しい特徴融合フレームワークを提案する。 一般的なベンチマークデータセットであるIWSLTの実験は、我々のアプローチが効果的であることを示す。
• 参考スコア（独自算出の注目度）: 28.38472792385083
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: To accomplish the punctuation restoration task, most existing approaches focused on leveraging extra information (e.g., part-of-speech tags) or addressing the class imbalance problem. Recent works have widely applied the transformer-based language models and significantly improved their effectiveness. To the best of our knowledge, an inherent issue has remained neglected: the attention of individual heads in the transformer will be diluted or powerless while feeding the long non-punctuation utterances. Since those previous contexts, not the followings, are comparatively more valuable to the current position, it's hard to achieve a good balance by independent attention. In this paper, we propose a novel Feature Fusion framework based on two-type Attentions (FFA) to alleviate the shortage. It introduces a two-stream architecture. One module involves interaction between attention heads to encourage the communication, and another masked attention module captures the dependent feature representation. Then, it aggregates two feature embeddings to fuse information and enhances context-awareness. The experiments on the popular benchmark dataset IWSLT demonstrate that our approach is effective. Without additional data, it obtains comparable performance to the current state-of-the-art models.
• Abstract（参考訳）: 句読点復元作業を達成するため、既存のアプローチのほとんどは余分な情報(例えば音声タグ)を活用することや、クラス不均衡の問題に対処することに焦点を当てている。 最近の研究はトランスフォーマーに基づく言語モデルを広く応用し、その効果を著しく改善している。 私たちの知る限りでは、トランスフォーマーの個々のヘッドの注意は、長い非変動発話を流しながら、希薄化または無力化されます。 これらの以前の文脈は、以下のものではなく、現在の位置において比較的価値が高いため、独立した注意によって良好なバランスをとることは困難である。 本稿では,この不足を軽減するために,2型注意(ffa)に基づく新しい特徴融合フレームワークを提案する。 2ストリームアーキテクチャを導入している。 1つのモジュールは、コミュニケーションを促進するためにアテンションヘッド間のインタラクションを含み、もう1つのアテンションモジュールは依存する特徴表現をキャプチャする。 そして、情報を融合するために2つの機能埋め込みを集約し、コンテキスト認識を強化する。 一般的なベンチマークデータセットであるIWSLTの実験は、我々のアプローチが効果的であることを示す。 追加データがないと、現在の最先端モデルに匹敵するパフォーマンスが得られる。

関連論文リスト

• A Plug-and-Play Method for Rare Human-Object Interactions Detection by Bridging Domain Gap [50.079224604394]
  textbfContext-textbfEnhanced textbfFeature textbfAment (CEFA) と呼ばれる新しいモデルに依存しないフレームワークを提案する。 CEFAは機能アライメントモジュールとコンテキスト拡張モジュールで構成される。 本手法は, 稀なカテゴリにおけるHOIモデルの検出性能を向上させるために, プラグアンドプレイモジュールとして機能する。
  論文  参考訳（メタデータ） (2024-07-31T08:42:48Z)
• Separate-and-Enhance: Compositional Finetuning for Text2Image Diffusion Models [58.46926334842161]
  この研究は、注意力の低いアクティベーションスコアとマスクオーバーラップに関連する問題を指摘し、このような不一致の根本的な理由を照らしている。 本稿では,物体マスクの重なりを低減し,注目度を最大化する2つの新しい目的,分離損失とエンハンス損失を提案する。 提案手法は従来のテスト時間適応手法と異なり,拡張性と一般化性を高める重要なパラメータの微調整に重点を置いている。
  論文  参考訳（メタデータ） (2023-12-10T22:07:42Z)
• Fovea Transformer: Efficient Long-Context Modeling with Structured Fine-to-Coarse Attention [17.48544285026157]
  長文集中型変換器であるFovea Transformerを紹介する。 問合せトークンへの距離が増加するにつれて、木に徐々に粗い粒度を持つコンテキストトークンの表現を使用する。 3つの長文要約タスクにおいて,本モデルを評価する。
  論文  参考訳（メタデータ） (2023-11-13T06:24:27Z)
• Focus the Discrepancy: Intra- and Inter-Correlation Learning for Image Anomaly Detection [13.801572236048601]
  FOD(FOcus-the-Discrepancy)は、異常のパッチワイド、イントラ・イントラ・インター・ディレクレンシーを同時に検出することができる。 本稿では,新たなADフレームワークであるFOcus-the-Discrepancy(FOD)を提案する。
  論文  参考訳（メタデータ） (2023-08-06T01:30:26Z)
• Co-Occurrence Matters: Learning Action Relation for Temporal Action Localization [41.44022912961265]
  本稿では,行動間の共起関係を明示的にモデル化する新しい共起関係モジュール(CORM)を提案する。 視覚情報に加えて、クラスラベルのセマンティック埋め込みを利用して、共起関係をモデル化する。 提案手法は,高いマルチラベル関係モデリング能力を実現する。
  論文  参考訳（メタデータ） (2023-03-15T09:07:04Z)
• FECANet: Boosting Few-Shot Semantic Segmentation with Feature-Enhanced Context-Aware Network [48.912196729711624]
  Few-shot セマンティックセグメンテーション(Few-shot semantic segmentation)は、新しいクラスの各ピクセルを、わずかに注釈付きサポートイメージで検索するタスクである。 本稿では,クラス間の類似性に起因するマッチングノイズを抑制するために,機能拡張コンテキスト認識ネットワーク(FECANet)を提案する。 さらに,前景と背景の余分な対応関係を符号化する新たな相関再構成モジュールを提案する。
  論文  参考訳（メタデータ） (2023-01-19T16:31:13Z)
• FF2: A Feature Fusion Two-Stream Framework for Punctuation Restoration [27.14686854704104]
  句読点復元のためのFeature Fusion two-stream framework (FF2)を提案する。 具体的には、あるストリームは、事前訓練された言語モデルを利用してセマンティック機能をキャプチャし、別の補助モジュールは、手元にある機能をキャプチャする。 追加データなしでは、人気のあるベンチマークIWSLTの実験結果はFF2が新しいSOTA性能を達成することを実証している。
  論文  参考訳（メタデータ） (2022-11-09T06:18:17Z)
• Light Field Saliency Detection with Dual Local Graph Learning andReciprocative Guidance [148.9832328803202]
  我々は、グラフネットワークを介して焦点スタック内のインフォメーション融合をモデル化する。 我々は、全焦点パタンを用いて焦点スタック融合過程をガイドする新しいデュアルグラフモデルを構築した。
  論文  参考訳（メタデータ） (2021-10-02T00:54:39Z)
• Online Multiple Object Tracking with Cross-Task Synergy [120.70085565030628]
  位置予測と埋め込み結合の相乗効果を考慮した新しい統一モデルを提案する。 この2つのタスクは、時間認識対象の注意と注意の注意、およびアイデンティティ認識メモリ集約モデルによってリンクされる。
  論文  参考訳（メタデータ） (2021-04-01T10:19:40Z)
• Robust Person Re-Identification through Contextual Mutual Boosting [77.1976737965566]
  本研究では,歩行者の局地化を目的としたコンテキスト相互ブースティングネットワーク(CMBN)を提案する。 歩行者をローカライズし、文脈情報と統計的推測を効果的に活用することで特徴を再検討する。 ベンチマークの実験は、最先端のアーキテクチャと比較してアーキテクチャの優位性を示している。
  論文  参考訳（メタデータ） (2020-09-16T06:33:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。