論文の概要: Reconciliation of Pre-trained Models and Prototypical Neural Networks in Few-shot Named Entity Recognition

• arxiv url: http://arxiv.org/abs/2211.03270v1
• Date: Mon, 7 Nov 2022 02:33:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 16:55:13.883297
• Title: Reconciliation of Pre-trained Models and Prototypical Neural Networks in Few-shot Named Entity Recognition
• Title（参考訳）: Few-shot Named Entity Recognitionにおける事前学習モデルとプロトタイプニューラルネットワークの再構成
• Authors: Youcheng Huang, Wenqiang Lei, Jie Fu and Jiancheng Lv
• Abstract要約: 本研究では,このようなミスマッチを経験的・理論的根拠と整合させる一線符号正規化法を提案する。 我々の研究は、数発のエンティティ認識における一般的な問題に対処するための分析的な視点も提供します。
• 参考スコア（独自算出の注目度）: 35.34238362639678
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Incorporating large-scale pre-trained models with the prototypical neural networks is a de-facto paradigm in few-shot named entity recognition. Existing methods, unfortunately, are not aware of the fact that embeddings from pre-trained models contain a prominently large amount of information regarding word frequencies, biasing prototypical neural networks against learning word entities. This discrepancy constrains the two models' synergy. Thus, we propose a one-line-code normalization method to reconcile such a mismatch with empirical and theoretical grounds. Our experiments based on nine benchmark datasets show the superiority of our method over the counterpart models and are comparable to the state-of-the-art methods. In addition to the model enhancement, our work also provides an analytical viewpoint for addressing the general problems in few-shot name entity recognition or other tasks that rely on pre-trained models or prototypical neural networks.
• Abstract（参考訳）: 原型ニューラルネットワークによる大規模事前学習モデルの導入は、少数ショットのエンティティ認識におけるデファクトパラダイムである。 残念ながら、既存の手法では、事前訓練されたモデルからの埋め込みが単語の周波数に関する顕著な量の情報を含んでいるという事実を意識していない。 この相違は2つのモデルのシナジーを制約する。 そこで本研究では,経験的・理論的根拠と一致しない一行正規化手法を提案する。 9つのベンチマークデータセットに基づく実験では,提案手法が対応するモデルよりも優れていることを示し,最先端手法に匹敵する結果を得た。 モデルの強化に加えて、本研究は、事前訓練されたモデルやプロトタイプのニューラルネットワークに依存する、少数の名前のエンティティ認識やその他のタスクにおける一般的な問題に対処するための分析的視点を提供する。

関連論文リスト

• BEND: Bagging Deep Learning Training Based on Efficient Neural Network Diffusion [56.9358325168226]
  BEND(Efficient Neural Network Diffusion)に基づくバッグング深層学習学習アルゴリズムを提案する。 我々のアプローチは単純だが効果的であり、まず複数のトレーニングされたモデルの重みとバイアスを入力として、オートエンコーダと潜伏拡散モデルを訓練する。 提案したBENDアルゴリズムは,元のトレーニングモデルと拡散モデルの両方の平均および中央値の精度を一貫して向上させることができる。
  論文  参考訳（メタデータ） (2024-03-23T08:40:38Z)
• MENTOR: Human Perception-Guided Pretraining for Increased Generalization [5.596752018167751]
  MENTOR (huMan pErceptioN-guided preTraining fOr increased geneRalization) を紹介する。 我々は、クラスラベルを使わずに、入力された画像からヒトの唾液マップを学習するためにオートエンコーダを訓練する。 我々は、デコーダ部分を取り除き、エンコーダの上に分類層を追加し、従来の新しいモデルを微調整する。
  論文  参考訳（メタデータ） (2023-10-30T13:50:44Z)
• Unleashing the power of Neural Collapse for Transferability Estimation [42.09673383041276]
  よく訓練されたモデルは神経崩壊の現象を示す。 本稿では、転送可能性推定のためのFair Collapse(FaCe)と呼ばれる新しい手法を提案する。 FaCeは、画像分類、セマンティックセグメンテーション、テキスト分類など、さまざまなタスクにおける最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2023-10-09T14:30:10Z)
• On Modifying a Neural Network's Perception [3.42658286826597]
  本研究では,人間の定義した概念に対して,人工ニューラルネットワークが知覚しているものを修正する手法を提案する。 提案手法を異なるモデルで検証し、実行された操作がモデルによって適切に解釈されているかどうかを評価し、それらに対してどのように反応するかを解析する。
  論文  参考訳（メタデータ） (2023-03-05T12:09:37Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• With Greater Distance Comes Worse Performance: On the Perspective of Layer Utilization and Model Generalization [3.6321778403619285]
  ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。 初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。 より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
  論文  参考訳（メタデータ） (2022-01-28T05:26:32Z)
• Anomaly Detection on Attributed Networks via Contrastive Self-Supervised Learning [50.24174211654775]
  本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。 このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。 高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
  論文  参考訳（メタデータ） (2021-02-27T03:17:20Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• On the Transferability of Adversarial Attacksagainst Neural Text Classifier [121.6758865857686]
  テキスト分類モデルの逆例の転送可能性について検討する。 本稿では,ほとんどすべての既存モデルを騙すために,敵の例を誘導できるモデル群を見つける遺伝的アルゴリズムを提案する。 これらの逆例からモデル診断に使用できる単語置換規則を導出する。
  論文  参考訳（メタデータ） (2020-11-17T10:45:05Z)
• Amortized Bayesian Inference for Models of Cognition [0.1529342790344802]
  専門的なニューラルネットワークアーキテクチャを用いたシミュレーションベース推論の最近の進歩は、ベイズ近似計算の多くの過去の問題を回避している。 本稿では,アモータイズされたベイズパラメータの推定とモデル比較について概説する。
  論文  参考訳（メタデータ） (2020-05-08T08:12:15Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。