Fugu-MT 論文翻訳(概要): A Conditional Cascade Model for Relational Triple Extraction

論文の概要: A Conditional Cascade Model for Relational Triple Extraction

arxiv url: http://arxiv.org/abs/2108.13303v1
Date: Fri, 20 Aug 2021 03:00:59 GMT
ステータス: 処理完了
システム内更新日: 2021-09-05 08:54:15.100826
Title: A Conditional Cascade Model for Relational Triple Extraction
Title（参考訳）: リレーショナルトリプル抽出のための条件付きカスケードモデル
Authors: Feiliang Ren, Longhui Zhang, Shujuan Yin, Xiaofeng Zhao, Shilei Liu, Bochao Li
Abstract要約: タグベースの手法は三重抽出における主要な手法の1つである。ほとんどが階級不均衡の問題に悩まされている。この問題に対処する新しいタグ付けモデルを提案する。
参考スコア（独自算出の注目度）: 0.9926500244448218
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Tagging based methods are one of the mainstream methods in relational triple extraction. However, most of them suffer from the class imbalance issue greatly. Here we propose a novel tagging based model that addresses this issue from following two aspects. First, at the model level, we propose a three-step extraction framework that can reduce the total number of samples greatly, which implicitly decreases the severity of the mentioned issue. Second, at the intra-model level, we propose a confidence threshold based cross entropy loss that can directly neglect some samples in the major classes. We evaluate the proposed model on NYT and WebNLG. Extensive experiments show that it can address the mentioned issue effectively and achieves state-of-the-art results on both datasets. The source code of our model is available at: https://github.com/neukg/ConCasRTE.
Abstract（参考訳）: タグ付けに基づく手法は,関係性三重項抽出における主流手法の一つである。しかし、多くは階級不均衡の問題に悩まされている。本稿では,この問題を2つの側面から解決する,新しいタグ付けモデルを提案する。まず,モデルレベルでは,サンプルの総数を大幅に削減できる3段階抽出フレームワークを提案する。第2に,モデル内レベルでは,主要なクラスのサンプルを直接無視できるクロスエントロピー損失に基づく信頼しきい値を提案する。提案モデルをnytとwebnlgで評価した。大規模な実験により、上記の問題に効果的に対処でき、両方のデータセットで最先端の結果が得られることが示された。私たちのモデルのソースコードは以下の通りである。

関連論文リスト

Beyond Human Data: Scaling Self-Training for Problem-Solving with Language Models [115.501751261878]
人為的なデータに基づく微調整言語モデル(LM)が普及している。我々は、スカラーフィードバックにアクセス可能なタスクにおいて、人間のデータを超えることができるかどうか検討する。 ReST$EM$はモデルサイズに好適にスケールし、人間のデータのみによる微調整を大幅に上回っていることがわかった。
論文参考訳（メタデータ） (2023-12-11T18:17:43Z)
Score Mismatching for Generative Modeling [4.413162309652114]
そこで我々は,一段階サンプリングを用いた新しいスコアベースモデルを提案する。我々は、スコアネットワークから逆転した勾配で全ての時間ステップを圧縮するようにスタンドアロンのジェネレータを訓練する。生成器に有意義な勾配を与えるため、スコアネットワークは実データ分布を同時にマッチングし、偽データ分布を誤マッチするように訓練される。
論文参考訳（メタデータ） (2023-09-20T03:47:12Z)
Distilling Reasoning Capabilities into Smaller Language Models [83.66051257039763]
思考の連鎖(CoT)のようなステップバイステップの推論アプローチは、大規模言語モデルにおける推論能力の誘導に非常に効果的であることが証明されている。しかし、CoTアプローチの成功は基本的にモデルのサイズに結びついており、CoTを機能させるためには数十億のパラメータスケールモデルが必要であることが多い。本研究では,大規模モデルのCoT推論能力を段階的に活用し,これらの能力をより小さなモデルに蒸留する知識蒸留手法を提案する。
論文参考訳（メタデータ） (2022-12-01T00:39:56Z)
OneRel:Joint Entity and Relation Extraction with One Module in One Step [42.576188878294886]
統合エンティティと関係抽出は自然言語処理と知識グラフ構築において不可欠な課題である。そこで我々は, 結合抽出を細粒度三重分類問題として用いた, OneRel という新しい結合実体と関係抽出モデルを提案する。
論文参考訳（メタデータ） (2022-03-10T15:09:59Z)
Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
論文参考訳（メタデータ） (2021-08-26T17:55:11Z)
Contrastive Model Inversion for Data-Free Knowledge Distillation [60.08025054715192]
そこで、データ多様性を最適化可能な目的として明示的にモデル化するContrastive Model Inversionを提案します。我々の主な観察では、同じ量のデータの制約の下では、高いデータの多様性は、通常より強いインスタンス識別を示す。 CIFAR-10, CIFAR-100, Tiny-ImageNetを用いた実験により, 生成したデータを知識蒸留に使用する場合, CMIは極めて優れた性能を示すことが示された。
論文参考訳（メタデータ） (2021-05-18T15:13:00Z)
Contextual Dropout: An Efficient Sample-Dependent Dropout Module [60.63525456640462]
ドロップアウトは、ディープニューラルネットワークのトレーニングプロセスを正規化するシンプルで効果的なモジュールとして実証されています。単純でスケーラブルなサンプル依存型ドロップアウトモジュールとして,効率的な構造設計によるコンテキスト型ドロップアウトを提案する。提案手法は,不確実性推定の精度と品質の両面において,ベースライン法よりも優れていた。
論文参考訳（メタデータ） (2021-03-06T19:30:32Z)
G2MF-WA: Geometric Multi-Model Fitting with Weakly Annotated Data [15.499276649167975]
弱いアノテーションでは、ほとんどの手動アノテーションは正しくなければならないが、必然的に間違ったアノテーションと混同されている。本稿では,WAデータを完全に活用してマルチモデル適合性能を向上させる手法を提案する。
論文参考訳（メタデータ） (2020-01-20T04:22:01Z)
AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。 3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文参考訳（メタデータ） (2020-01-15T18:32:06Z)
Listwise Learning to Rank by Exploring Unique Ratings [32.857847595096025]
既存のリストワイズ学習-ランクモデルは通常、3つの大きな制限を持つ古典的なプラケット・ルーシモデルから導かれる。本稿では,適応型Vanilla Recurrent Neural Network(RNN)モデルと,前ステップで与えられた文書をプールすることで,予測スコアを改良する手法を提案する。実験により、これらのモデルは最先端の学習ランクモデルよりも優れていることが示された。
論文参考訳（メタデータ） (2020-01-07T00:50:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。