論文の概要: Pointing out the Shortcomings of Relation Extraction Models with
Semantically Motivated Adversarials
- arxiv url: http://arxiv.org/abs/2402.19076v1
- Date: Thu, 29 Feb 2024 12:01:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-01 15:03:11.895731
- Title: Pointing out the Shortcomings of Relation Extraction Models with
Semantically Motivated Adversarials
- Title(参考訳): 意味的モチベーションを伴う関係抽出モデルの欠点を指摘する
- Authors: Gennaro Nolano, Moritz Blum, Basil Ell, Philipp Cimiano
- Abstract要約: 本稿では,エンティティの言及を置き換えることで,敵対的な例を生成するための意味論的動機付け戦略について述べる。
分析の結果,これらのモデルの性能は修正データセットで著しく低下していることがわかった。
- 参考スコア(独自算出の注目度): 2.8402080392117757
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, large language models have achieved state-of-the-art
performance across various NLP tasks. However, investigations have shown that
these models tend to rely on shortcut features, leading to inaccurate
predictions and causing the models to be unreliable at generalization to
out-of-distribution (OOD) samples. For instance, in the context of relation
extraction (RE), we would expect a model to identify the same relation
independently of the entities involved in it. For example, consider the
sentence "Leonardo da Vinci painted the Mona Lisa" expressing the
created(Leonardo_da_Vinci, Mona_Lisa) relation. If we substiute "Leonardo da
Vinci" with "Barack Obama", then the sentence still expresses the created
relation. A robust model is supposed to detect the same relation in both cases.
In this work, we describe several semantically-motivated strategies to generate
adversarial examples by replacing entity mentions and investigate how
state-of-the-art RE models perform under pressure. Our analyses show that the
performance of these models significantly deteriorates on the modified datasets
(avg. of -48.5% in F1), which indicates that these models rely to a great
extent on shortcuts, such as surface forms (or patterns therein) of entities,
without making full use of the information present in the sentences.
- Abstract(参考訳): 近年、大規模言語モデルは様々なNLPタスクで最先端のパフォーマンスを実現している。
しかし、これらのモデルがショートカット機能に依存する傾向があり、不正確な予測につながり、od(out-of-distribution)サンプルへの一般化においてモデルの信頼性が低下することが示された。
例えば、関係抽出(RE)の文脈では、モデルが関係するエンティティとは独立して同じ関係を識別することを期待する。
例えば、"leonardo da vinci painted the mona lisa"という文は、生成された(leonardo_da_vinci, mona_lisa)関係を表す。
レオナルド・ダ・ヴィンチ(leonardo da vinci)とバラック・オバマ(barack obama)を差し引いた場合、文はいまだに創造された関係を表す。
堅牢なモデルは、両方のケースで同じ関係を検出する。
本稿では,エンティティの言及を置き換えて,敵の例を生成するためのセマンティックな動機付け戦略について述べるとともに,現状のREモデルがどのように振る舞うかを考察する。
分析の結果,これらのモデルの性能は修正データセット(F1では-48.5%)で著しく低下しており,文中の情報を完全に活用することなく,エンティティの表面形状(あるいはそのパターン)などのショートカットに大きく依存していることがわかった。
関連論文リスト
- Ablation Based Counterfactuals [7.481286710933861]
ABC (Ablation Based Counterfactuals) は、モデル再訓練ではなくモデルアブレーションに依存する反ファクト解析を行う手法である。
拡散モデルの集合を用いてこのようなモデルを構築する方法を示す。
次に、このモデルを用いて、完全な対物的景観を列挙することで、トレーニングデータ属性の限界を研究する。
論文 参考訳(メタデータ) (2024-06-12T06:22:51Z) - Causal Estimation of Memorisation Profiles [58.20086589761273]
言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。
覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。
本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
論文 参考訳(メタデータ) (2024-06-06T17:59:09Z) - Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。
この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。
我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
論文 参考訳(メタデータ) (2023-10-23T04:35:58Z) - RelBERT: Embedding Relations with Language Models [29.528217625083546]
比較的小さな言語モデルから関係埋め込みを抽出する。
RelBERTは驚くほど微細な方法でリレーショナル類似性をキャプチャする。
トレーニング中にモデルが見た以上の関係をモデル化することが可能です。
論文 参考訳(メタデータ) (2023-09-30T08:15:36Z) - Did the Models Understand Documents? Benchmarking Models for Language
Understanding in Document-Level Relation Extraction [2.4665182280122577]
近年,ドキュメントレベルの関係抽出 (DocRE) が注目されている。
モデルはDocREで一貫したパフォーマンス向上を達成するが、根底にある決定ルールはまだ検討されていない。
本稿では,この質問に答える第一歩として,モデルを包括的に評価する新たな視点を紹介する。
論文 参考訳(メタデータ) (2023-06-20T08:52:05Z) - Sharing pattern submodels for prediction with missing values [12.981974894538668]
機械学習の多くのアプリケーションでは欠落値は避けられず、トレーニング中もテスト時にも課題が提示される。
パターンサブモデル(パターンサブモデル)と呼ばれる別の手法を提案する。これは、テスト時に欠落した値に対して、予測を堅牢にし、パターンサブモデルの予測力を維持または改善させる。
論文 参考訳(メタデータ) (2022-06-22T15:09:40Z) - What do Toothbrushes do in the Kitchen? How Transformers Think our World
is Structured [137.83584233680116]
本稿では,トランスフォーマーに基づく言語モデルがオブジェクト関係に関する知識を抽出するのにどの程度役立つかを検討する。
異なる類似度尺度と組み合わせたモデルが,抽出できる知識の量で大きく異なることを示す。
驚くべきことに、静的モデルは、コンテキスト化されたモデルと同様に、ほぼ同じようにパフォーマンスします。
論文 参考訳(メタデータ) (2022-04-12T10:00:20Z) - Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。
我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
論文 参考訳(メタデータ) (2021-08-26T17:55:11Z) - Learning of Visual Relations: The Devil is in the Tails [59.737494875502215]
視覚的関係学習は、物体群に関する共同推論の性質から、長期にわたる問題である。
本稿では,悪が天国にあるという別の仮説を探求する。
この仮説の下では、モデルをシンプルに保ちながら、長い尾の分布に対処する能力を向上させることで、より良い性能が得られる。
論文 参考訳(メタデータ) (2021-08-22T08:59:35Z) - A comprehensive comparative evaluation and analysis of Distributional
Semantic Models [61.41800660636555]
我々は、静的DSMによって生成されたり、BERTによって生成された文脈化されたベクトルを平均化して得られるような、型分布ベクトルの包括的評価を行う。
その結果、予測ベースモデルの優越性は現実よりも明らかであり、ユビキタスではないことが明らかとなった。
我々は認知神経科学からRepresentational similarity Analysis(RSA)の方法論を借りて、分布モデルによって生成された意味空間を検査する。
論文 参考訳(メタデータ) (2021-05-20T15:18:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。