論文の概要: Adaptive Prototypical Networks with Label Words and Joint Representation
Learning for Few-Shot Relation Classification
- arxiv url: http://arxiv.org/abs/2101.03526v1
- Date: Sun, 10 Jan 2021 11:25:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-09 04:41:50.033736
- Title: Adaptive Prototypical Networks with Label Words and Joint Representation
Learning for Few-Shot Relation Classification
- Title（参考訳）: 限定的関係分類のためのラベル単語とジョイント表現学習を用いた適応型プロトタイプネットワーク
- Authors: Yan Xiao, Yaochu Jin, and Kuangrong Hao
- Abstract要約: 本研究は,少ショット関係分類(FSRC)に焦点を当てる。
クラスプロトタイプの表現にラベル単語を追加するための適応的混合機構を提案する。
FewRelでは、異なる数ショット(FS)設定で実験が行われた。
- 参考スコア（独自算出の注目度）: 17.237331828747006
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Relation classification (RC) task is one of fundamental tasks of information
extraction, aiming to detect the relation information between entity pairs in
unstructured natural language text and generate structured data in the form of
entity-relation triple. Although distant supervision methods can effectively
alleviate the problem of lack of training data in supervised learning, they
also introduce noise into the data, and still cannot fundamentally solve the
long-tail distribution problem of the training instances. In order to enable
the neural network to learn new knowledge through few instances like humans,
this work focuses on few-shot relation classification (FSRC), where a
classifier should generalize to new classes that have not been seen in the
training set, given only a number of samples for each class. To make full use
of the existing information and get a better feature representation for each
instance, we propose to encode each class prototype in an adaptive way from two
aspects. First, based on the prototypical networks, we propose an adaptive
mixture mechanism to add label words to the representation of the class
prototype, which, to the best of our knowledge, is the first attempt to
integrate the label information into features of the support samples of each
class so as to get more interactive class prototypes. Second, to more
reasonably measure the distances between samples of each category, we introduce
a loss function for joint representation learning to encode each support
instance in an adaptive manner. Extensive experiments have been conducted on
FewRel under different few-shot (FS) settings, and the results show that the
proposed adaptive prototypical networks with label words and joint
representation learning has not only achieved significant improvements in
accuracy, but also increased the generalization ability of few-shot RC models.
- Abstract（参考訳）: 関係分類(rc)タスクは情報抽出の基本課題の一つであり、非構造化自然言語テキストにおけるエンティティ対間の関係情報を検出し、エンティティ関係三重項という形で構造化データを生成することを目的としている。
遠隔監視手法は教師付き学習におけるトレーニングデータの欠如問題を効果的に軽減することができるが、データにノイズを生じさせ、トレーニングインスタンスのロングテール分布問題を根本的に解決することはできない。
ニューラルネットワークが人間のような少数のインスタンスを通して新しい知識を学べるようにするために、この研究は、クラスごとに多くのサンプルしか持たないトレーニングセットにない新しいクラスに分類器を一般化する、いくつかのショット関係分類(FSRC)に焦点を当てている。
既存の情報をフル活用し、各インスタンスのより優れた特徴表現を得るために、各クラスプロトタイプを2つの側面から適応的にエンコードすることを提案する。
まず,プロトタイプの表現にラベル単語を追加するための適応的混合機構を提案する。この機構は,我々の知る限りでは,各クラスのサポートサンプルの特徴にラベル情報を統合して,よりインタラクティブなクラスプロトタイプを得る最初の試みである。
次に,各カテゴリのサンプル間距離をより合理的に測定するために,協調表現学習のための損失関数を導入し,各サポートインスタンスを適応的に符号化する。
FewRel の様々な小ショット (FS) 設定下での大規模な実験により,ラベル語と共同表現学習を用いた適応型プロトタイプネットワークが精度を大幅に向上しただけでなく,少数ショットRCモデルの一般化能力も向上したことを示す。
関連論文リスト
- Simple-Sampling and Hard-Mixup with Prototypes to Rebalance Contrastive Learning for Text Classification [11.072083437769093]
我々は不均衡テキスト分類タスクのためのSharpReCLという新しいモデルを提案する。
私たちのモデルは、いくつかのデータセットで人気のある大きな言語モデルよりも優れています。
論文 参考訳（メタデータ） (2024-05-19T11:33:49Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳（メタデータ） (2022-10-06T00:33:01Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - GAN for Vision, KG for Relation: a Two-stage Deep Network for Zero-shot
Action Recognition [33.23662792742078]
ゼロショット動作認識のための2段階のディープニューラルネットワークを提案する。
サンプリング段階では,授業の動作特徴と単語ベクトルによって訓練されたGAN(Generative Adversarial Network)を利用する。
分類段階において、アクションクラスの単語ベクトルと関連するオブジェクトの関係に基づいて知識グラフを構築する。
論文 参考訳（メタデータ） (2021-05-25T09:34:42Z) - Recognition and Processing of NATOM [0.0]
本稿では,民間航空分野におけるNOTAM(Notice to Airmen)データの処理方法について述べる。
NOTAMのオリジナルのデータには、中国語と英語の混合があり、構造は貧弱です。
グローブワードベクターメソッドを使用して、カスタムマッピング語彙を使用するデータを表現する。
論文 参考訳（メタデータ） (2021-04-29T10:12:00Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳（メタデータ） (2021-04-07T10:54:51Z) - Distribution Alignment: A Unified Framework for Long-tail Visual
Recognition [52.36728157779307]
長尾視覚認識のための分散アライメント戦略を提案する。
次に,二段階学習における一般化された再重み付け法を導入して,事前のクラスバランスをとる。
提案手法は, 4つの認識タスクすべてにおいて, 単純で統一されたフレームワークを用いて最先端の結果を得る。
論文 参考訳（メタデータ） (2021-03-30T14:09:53Z) - Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。
ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。
マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
論文 参考訳（メタデータ） (2020-12-29T23:43:16Z) - One-Shot Object Detection without Fine-Tuning [62.39210447209698]
本稿では,第1ステージのMatching-FCOSネットワークと第2ステージのStructure-Aware Relation Moduleからなる2段階モデルを提案する。
また,検出性能を効果的に向上する新たなトレーニング戦略を提案する。
提案手法は,複数のデータセット上で一貫した最先端のワンショット性能を上回る。
論文 参考訳（メタデータ） (2020-05-08T01:59:23Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z) - Adaptive Name Entity Recognition under Highly Unbalanced Data [5.575448433529451]
我々は,2方向LSTM (BI-LSTM) 上に積み重ねた条件付きランダムフィールド (CRF) 層からなるニューラルアーキテクチャについて実験を行った。
WeakクラスとStrongクラスを2つの異なるセットに分割し、各セットのパフォーマンスを最適化するために2つのBi-LSTM-CRFモデルを適切に設計するアドオン分類モデルを提案する。
論文 参考訳（メタデータ） (2020-03-10T06:56:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。