論文の概要: FAME: Feature-Based Adversarial Meta-Embeddings for Robust Input Representations

• arxiv url: http://arxiv.org/abs/2010.12305v2
• Date: Fri, 29 Oct 2021 14:05:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 21:41:58.621058
• Title: FAME: Feature-Based Adversarial Meta-Embeddings for Robust Input Representations
• Title（参考訳）: FAME:ロバスト入力表現のための特徴ベース対向メタ埋め込み
• Authors: Lukas Lange, Heike Adel, Jannik Str\"otgen, Dietrich Klakow
• Abstract要約: 異なるタイプと次元の埋め込みの組み合わせは困難である。 本稿では,単語固有の特徴を反映した特徴によって誘導される注目機能を備えた特徴ベース対向メタ埋め込み(FAME)を提案する。 FAMEは、27言語でのPOSタグ技術、さまざまなNER設定、異なるドメインでの質問分類の新たな状態を設定する。
• 参考スコア（独自算出の注目度）: 26.473014733177475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Combining several embeddings typically improves performance in downstream tasks as different embeddings encode different information. It has been shown that even models using embeddings from transformers still benefit from the inclusion of standard word embeddings. However, the combination of embeddings of different types and dimensions is challenging. As an alternative to attention-based meta-embeddings, we propose feature-based adversarial meta-embeddings (FAME) with an attention function that is guided by features reflecting word-specific properties, such as shape and frequency, and show that this is beneficial to handle subword-based embeddings. In addition, FAME uses adversarial training to optimize the mappings of differently-sized embeddings to the same space. We demonstrate that FAME works effectively across languages and domains for sequence labeling and sentence classification, in particular in low-resource settings. FAME sets the new state of the art for POS tagging in 27 languages, various NER settings and question classification in different domains.
• Abstract（参考訳）: 複数の組込みを組み合わせることで、異なる組込みが異なる情報をエンコードするため、ダウンストリームタスクのパフォーマンスが向上する。 トランスフォーマーからの埋め込みを使用するモデルでさえも、標準の単語埋め込みを含めることの恩恵を受けることが示されている。 しかし、異なるタイプの埋め込みと次元の組み合わせは困難である。 注意に基づくメタエンベディングの代替として,形や頻度といった単語固有の特性を反映した特徴に導かれる注意関数を備えた機能ベースの逆メタエンベディング(fame)を提案し,サブワードベースの埋め込み処理に有効であることを示す。 さらにFAMEは、異なる大きさの埋め込みのマッピングを同じ空間に最適化するために、敵のトレーニングを使用する。 FAMEは、特に低リソース環境において、シーケンスラベリングや文分類のために、言語やドメインで効果的に機能することを示した。 FAMEは、27言語でのPOSタグ技術、さまざまなNER設定、異なるドメインでの質問分類の新たな状態を設定する。

関連論文リスト

• Finetuning CLIP to Reason about Pairwise Differences [52.028073305958074]
  本稿では,CLIPのような視覚言語モデルの学習手法を提案する。 我々はまず,ある属性による画像のランク付け能力を大幅に向上させることを実証した。 また、得られる埋め込みは埋め込み空間においてより大きな幾何学的性質に従うことを示す。
  論文  参考訳（メタデータ） (2024-09-15T13:02:14Z)
• Beyond Mask: Rethinking Guidance Types in Few-shot Segmentation [67.35274834837064]
  我々は、テキスト、マスク、ボックス、画像からのプロンプトを統合するユニバーサルビジョン言語フレームワーク(UniFSS)を開発した。 UniFSSは最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2024-07-16T08:41:01Z)
• CFPL-FAS: Class Free Prompt Learning for Generalizable Face Anti-spoofing [66.6712018832575]
  ドメイン一般化 (DG) ベースの Face Anti-Spoofing (FAS) は、目に見えないドメインにおけるモデルの性能を改善することを目的としている。 私たちはCLIPのような大規模VLMを利用し、テキスト機能を利用して分類器の重みを動的に調整し、一般化可能な視覚的特徴を探索する。
  論文  参考訳（メタデータ） (2024-03-21T11:58:50Z)
• Dynamic Visual Semantic Sub-Embeddings and Fast Re-Ranking [0.5242869847419834]
  情報エントロピーを低減するために動的ビジュアルセマンティックサブエンベッドディングフレームワーク(DVSE)を提案する。 生成した候補埋め込みに様々な意味的変動を捉えるよう促すため,混合分布を構築した。 3つのベンチマークデータセット上の4つの画像特徴エンコーダと2つのテキスト特徴エンコーダを用いて,既存のセットベース手法と比較した。
  論文  参考訳（メタデータ） (2023-09-15T04:39:11Z)
• Distinguishability Calibration to In-Context Learning [31.375797763897104]
  そこで本研究では, PLM符号化埋め込みを新しい距離空間にマッピングすることで, 埋め込みの識別性を保証する手法を提案する。 また、双曲的埋め込みの利点を生かして、粒度の細かいクラス関連トークン埋め込み間の階層的関係を捉える。
  論文  参考訳（メタデータ） (2023-02-13T09:15:00Z)
• Graph Adaptive Semantic Transfer for Cross-domain Sentiment Classification [68.06496970320595]
  クロスドメイン感情分類(CDSC)は、ソースドメインから学んだ伝達可能なセマンティクスを使用して、ラベルなしのターゲットドメインにおけるレビューの感情を予測することを目的としている。 本稿では、単語列と構文グラフの両方からドメイン不変セマンティクスを学習できる適応型構文グラフ埋め込み法であるグラフ適応意味伝達(GAST)モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-18T07:47:01Z)
• TF-CR: Weighting Embeddings for Text Classification [6.531659195805749]
  本稿では,単語埋め込みの計算において,高頻度のカテゴリー排他語を重み付け可能な新しい重み付け方式TF-CRを提案する。 16の分類データセットの実験はTF-CRの有効性を示し、既存の重み付け方式よりもパフォーマンススコアが向上した。
  論文  参考訳（メタデータ） (2020-12-11T19:23:28Z)
• Exploiting Class Labels to Boost Performance on Embedding-based Text Classification [16.39344929765961]
  異なる種類の埋め込みは、テキスト分類に使用される機能として、最近デファクトスタンダードになっている。 本稿では,単語の埋め込みを計算する際に,高頻度のカテゴリー排他語を重み付け可能な重み付け方式TF-CRを提案する。
  論文  参考訳（メタデータ） (2020-06-03T08:53:40Z)
• Discriminative Dictionary Design for Action Classification in Still Images and Videos [29.930239762446217]
  本稿では,ロバストな局所特徴とカテゴリ固有の局所特徴を識別する新たな識別手法を提案する。 フレームワークは静止画像とビデオに基づいて、アクション認識データセット上で検証される。
  論文  参考訳（メタデータ） (2020-05-20T15:56:41Z)
• AlignSeg: Feature-Aligned Segmentation Networks [109.94809725745499]
  本稿では,機能集約プロセスにおける誤アライメント問題に対処するために,特徴適応型ネットワーク(AlignSeg)を提案する。 我々のネットワークは、それぞれ82.6%と45.95%という新しい最先端のmIoUスコアを達成している。
  論文  参考訳（メタデータ） (2020-02-24T10:00:58Z)
• Cross-Domain Few-Shot Classification via Learned Feature-Wise Transformation [109.89213619785676]
  各クラスにラベル付き画像がほとんどない新しいカテゴリを識別することを目的としている。 既存のメトリックベースの数ショット分類アルゴリズムは、クエリ画像の特徴埋め込みとラベル付き画像の特徴埋め込みを比較して、カテゴリを予測する。 有望な性能が証明されているが、これらの手法は目に見えない領域に一般化できないことが多い。
  論文  参考訳（メタデータ） (2020-01-23T18:55:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。