論文の概要: A Global Context Mechanism for Sequence Labeling

• arxiv url: http://arxiv.org/abs/2305.19928v6
• Date: Sun, 06 Jul 2025 08:50:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:33.997449
• Title: A Global Context Mechanism for Sequence Labeling
• Title（参考訳）: シーケンスラベリングのためのグローバルコンテキスト機構
• Authors: Conglei Xu, Kun Shen, Hongguang Sun, Yang Xu,
• Abstract要約: グローバルな文情報は、文中の各単語にラベルを割り当てなければならないシーケンスラベリングタスクに不可欠である。 従来の研究では、グローバルな文情報を単語表現に統合する様々なRNN変種が提案されている。 これらの制限に対処するシンプルで効果的なメカニズムを導入します。 提案手法は,BiLSTMモデルとトランスフォーマーモデルの両方において,グローバルな文情報を効率的に補完する。
• 参考スコア（独自算出の注目度）: 3.237003512894164
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Global sentence information is crucial for sequence labeling tasks, where each word in a sentence must be assigned a label. While BiLSTM models are widely used, they often fail to capture sufficient global context for inner words. Previous work has proposed various RNN variants to integrate global sentence information into word representations. However, these approaches suffer from three key limitations: (1) they are slower in both inference and training compared to the original BiLSTM, (2) they cannot effectively supplement global information for transformer-based models, and (3) the high time cost associated with reimplementing and integrating these customized RNNs into existing architectures. In this study, we introduce a simple yet effective mechanism that addresses these limitations. Our approach efficiently supplements global sentence information for both BiLSTM and transformer-based models, with minimal degradation in inference and training speed, and is easily pluggable into current architectures. We demonstrate significant improvements in F1 scores across seven popular benchmarks, including Named Entity Recognition (NER) tasks such as Conll2003, Wnut2017 , and the Chinese named-entity recognition task Weibo, as well as End-to-End Aspect-Based Sentiment Analysis (E2E-ABSA) benchmarks such as Laptop14, Restaurant14, Restaurant15, and Restaurant16. With out any extra strategy, we achieve third highest score on weibo NER benchmark. Compared to CRF, one of the most popular frameworks for sequence labeling, our mechanism achieves competitive F1 scores while offering superior inference and training speed. Code is available at: https://github.com/conglei2XU/Global-Context-Mechanism
• Abstract（参考訳）: グローバルな文情報は、文中の各単語にラベルを割り当てなければならないシーケンスラベリングタスクに不可欠である。 BiLSTMモデルは広く使われているが、内部語に対する十分なグローバルな文脈を捉えることができないことが多い。 従来の研究では、グローバルな文情報を単語表現に統合する様々なRNN変種が提案されている。 しかし,これらの手法は,(1)従来のBiLSTMに比べて推論とトレーニングが遅いこと,(2)トランスフォーマーモデルではグローバル情報を効果的に補うことができないこと,(3)カスタマイズしたRNNを既存アーキテクチャに再実装・統合する際の高コスト化,の3つの重要な制約に悩まされている。 本研究では,これらの制約に対処するシンプルだが効果的なメカニズムを提案する。 提案手法は,BiLSTMモデルとトランスフォーマーモデルの両方のグローバル文情報を効率的に補完し,推論とトレーニング速度の低下を最小限に抑え,現在のアーキテクチャに容易にプラグイン可能である。 我々は,Conll2003,Wnut2017,中国の固有性認識タスクWeiboなどのNERタスクや,Laptop14,Restaurant14,Restaurant15,Restaurant16などのEnd-to-End Aspect-Based Sentiment Analysis(E2E-ABSA)ベンチマークなど,人気の高い7つのベンチマークにおけるF1スコアの大幅な改善を示す。 余分な戦略がなければ、Weibo NERベンチマークで3番目に高いスコアを得ます。 シーケンスラベリングの最も一般的なフレームワークであるCRFと比較して、我々のメカニズムは、優れた推論とトレーニング速度を提供しながら、競合するF1スコアを達成する。 コードは、https://github.com/conglei2XU/Global-Context-Mechanismで入手できる。

関連論文リスト

• Semantic-Aligned Learning with Collaborative Refinement for Unsupervised VI-ReID [82.12123628480371]
  教師なしの人物再識別(USL-VI-ReID)は、モデル学習のための人間のアノテーションを使わずに、同じ人物の歩行者像を異なるモードでマッチングすることを目指している。 従来の手法では、ラベルアソシエーションアルゴリズムを用いて異質な画像の擬似ラベルを統一し、グローバルな特徴学習のためのコントラスト学習フレームワークを設計していた。 本稿では,各モダリティによって強調される特定のきめ細かいパターンを対象とするSALCR(Semantic-Aligned Learning with Collaborative Refinement)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-27T13:58:12Z)
• FewTopNER: Integrating Few-Shot Learning with Topic Modeling and Named Entity Recognition in a Multilingual Framework [0.0]
  FewTopNERは、数発のエンティティ認識とトピック対応のコンテキストモデリングを統合するフレームワークである。 多言語ベンチマークの実証評価では、FewTopNERは最先端の数ショットNERモデルよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2025-02-04T15:13:40Z)
• Towards Generalizable Trajectory Prediction Using Dual-Level Representation Learning And Adaptive Prompting [107.4034346788744]
  既存の車両軌道予測モデルは、一般化可能性、予測の不確実性、複雑な相互作用を扱う。 本研究では,(1)自己拡張(SD)とマスドレコンストラクション(MR)による二重レベル表現学習,グローバルコンテキストと細部の詳細の収集,(2)レジスタベースのクエリと事前学習の強化,クラスタリングと抑圧の必要性の排除,(3)微調整中の適応型プロンプトチューニング,メインアーキテクチャの凍結,および少数のプロンプトの最適化といった,新たなトラジェクタ予測フレームワークであるPerceiverを提案する。
  論文  参考訳（メタデータ） (2025-01-08T20:11:09Z)
• ORIGAMI: A generative transformer architecture for predictions from semi-structured data [3.5639148953570836]
  ORIGAMIは、ネストされたキー/バリューペアを処理するトランスフォーマーベースのアーキテクチャである。 分類を次点予測として再構成することで、ORIGAMIはシングルラベルとマルチラベルの両方のタスクを自然に処理する。
  論文  参考訳（メタデータ） (2024-12-23T07:21:17Z)
• Part-aware Unified Representation of Language and Skeleton for Zero-shot Action Recognition [57.97930719585095]
  本稿では,PURLS(Part-aware Unified Representation between Language and Skeleton)を紹介する。 本手法はスケルトン/言語のバックボーンと3つの大規模データセットを用いて評価する。 その結果、PURLSの普遍性と優れた性能を示し、以前のスケルトンベースのソリューションと他のドメインからの標準ベースラインを上回った。
  論文  参考訳（メタデータ） (2024-06-19T08:22:32Z)
• Hyperbolic sentence representations for solving Textual Entailment [0.0]
  我々は、テキスト・エンタテインメントの解決にハイパーボリック・スペースをどのように使えるかを証明するために、ポインケア・ボールを使って文を埋め込む。 LSTMs, Order Embeddings, Euclidean Averagingなど,様々な背景のベースラインに対して評価を行った。 SICKデータセットのベースラインを一貫して上回り、SNLIデータセットのOrder Embeddingsに次いで第2位です。
  論文  参考訳（メタデータ） (2024-06-15T15:39:43Z)
• CrossGLG: LLM Guides One-shot Skeleton-based 3D Action Recognition in a Cross-level Manner [41.001366870464636]
  本稿では,大規模言語モデルから生成されたテキスト記述を利用して特徴学習を支援することを提案する。 まず、グローバルテキスト記述を用いて、情報的関節に焦点を当てたスケルトンエンコーダを導出する。 我々は,局所的なテキストと共同特徴の非局所的相互作用を構築し,最後のグローバル表現を形成する。
  論文  参考訳（メタデータ） (2024-03-15T07:51:35Z)
• USER: Unified Semantic Enhancement with Momentum Contrast for Image-Text Retrieval [115.28586222748478]
  Image-Text Retrieval (ITR) は、与えられたクエリに意味のあるターゲットインスタンスを、他のモダリティから検索することを目的としている。 既存のアプローチは通常、2つの大きな制限に悩まされる。
  論文  参考訳（メタデータ） (2023-01-17T12:42:58Z)
• Neural Machine Translation with Contrastive Translation Memories [71.86990102704311]
  Retrieval-augmented Neural Machine Translationモデルは、多くの翻訳シナリオで成功している。 そこで本論文では,新たに検索拡張NMTを提案し,ソース文と相似なコントラスト検索された翻訳記憶をモデル化する。 訓練段階では、目標文に対する各TMの健全な特徴を学習するために、マルチTMコントラスト学習目標を導入する。
  論文  参考訳（メタデータ） (2022-12-06T17:10:17Z)
• Text Summarization with Oracle Expectation [88.39032981994535]
  抽出要約は、文書の中で最も重要な文を識別し、連結することによって要約を生成する。 ほとんどの要約データセットは、文書文が要約に値するかどうかを示す金のラベルを持っていない。 本稿では,ソフトな予測に基づく文ラベルを生成する,シンプルで効果的なラベル付けアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-26T14:10:08Z)
• Hierarchical Local-Global Transformer for Temporal Sentence Grounding [58.247592985849124]
  本稿では,時間文グラウンドリングのマルチメディア問題について検討する。 与えられた文問合せに従って、トリミングされていないビデオ内の特定のビデオセグメントを正確に決定することを目的としている。
  論文  参考訳（メタデータ） (2022-08-31T14:16:56Z)
• Exploiting Global Contextual Information for Document-level Named Entity Recognition [46.99922251839363]
  我々は、GCDoc(Global Context enhanced Document-level NER)と呼ばれるモデルを提案する。 単語レベルでは、文書グラフは単語間のより広範な依存関係をモデル化するために構築される。 文レベルでは、単一文を超えてより広い文脈を適切にモデル化するために、横断文モジュールを用いる。 我々のモデルは、CoNLL 2003データセットで92.22(BERTで93.40)、Ontonotes 5.0データセットで88.32(BERTで90.49)のスコアに達した。
  論文  参考訳（メタデータ） (2021-06-02T01:52:07Z)
• Reformulating Sentence Ordering as Conditional Text Generation [17.91448517871621]
  文順序フレームワークであるReorder-BART(RE-BART)を紹介します。 タスクを条件付きテキスト-マーカー生成設定として再構成します。 私たちのフレームワークは、Perfect Match Ratio(PMR)とKendallのtau($tau$)メトリックの6つのデータセットにわたる最先端のパフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-04-14T18:16:47Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)
• Syntactic representation learning for neural network based TTS with syntactic parse tree traversal [49.05471750563229]
  本稿では,構文解析木に基づく構文表現学習手法を提案し,構文構造情報を自動的に活用する。 実験の結果,提案手法の有効性が示された。 複数の構文解析木を持つ文では、合成音声から韻律的差異が明確に認識される。
  論文  参考訳（メタデータ） (2020-12-13T05:52:07Z)
• BERT-hLSTMs: BERT and Hierarchical LSTMs for Visual Storytelling [6.196023076311228]
  文レベルと単語レベルのセマンティクスを別々にモデル化する新しい階層型ビジュアルストーリーテリングフレームワークを提案する。 次に、階層型LSTMネットワークを用いて、下位LSTMはBERTからの文ベクトル表現を入力として受け取り、画像に対応する文間の依存関係を学習し、上位LSTMは対応する単語ベクトル表現を生成する。 実験の結果,我々のモデルはBLEUとCIDErの自動評価基準において,最も密接に関連するベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2020-12-03T18:07:28Z)
• GraPPa: Grammar-Augmented Pre-Training for Table Semantic Parsing [117.98107557103877]
  テーブルセマンティック解析のための効果的な事前学習手法GraPPaを提案する。 我々は、同期文脈自由文法を用いて、高自由度テーブル上に合成質問ペアを構築する。 実世界のデータを表現できるモデルの能力を維持するため、マスキング言語モデリングも含んでいる。
  論文  参考訳（メタデータ） (2020-09-29T08:17:58Z)
• Improving Bi-LSTM Performance for Indonesian Sentiment Analysis Using Paragraph Vector [0.0]
  Bidirectional Long Short-Term Memory Network (Bi-LSTM) は感情分類タスクにおいて有望な性能を示した。 本稿では,Bi-LSTMの付加的な入力特徴として,段落ベクトルと呼ばれる既存の文書表現手法を提案する。
  論文  参考訳（メタデータ） (2020-09-12T03:43:30Z)
• BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
  BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
  論文  参考訳（メタデータ） (2020-04-29T04:01:52Z)
• Depth-Adaptive Graph Recurrent Network for Text Classification [71.20237659479703]
  S-LSTM(Sentence-State LSTM)は、高効率なグラフリカレントネットワークである。 そこで本研究では,S-LSTMの深度適応機構を提案する。
  論文  参考訳（メタデータ） (2020-02-29T03:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。