論文の概要: Pre-training and Diagnosing Knowledge Base Completion Models
- arxiv url: http://arxiv.org/abs/2401.15439v1
- Date: Sat, 27 Jan 2024 15:20:43 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-30 18:28:52.480028
- Title: Pre-training and Diagnosing Knowledge Base Completion Models
- Title（参考訳）: 知識ベース完成モデルの事前学習と診断
- Authors: Vid Kocijan, Myeongjun Erik Jang, Thomas Lukasiewicz
- Abstract要約: 我々は,事実の集合から他の集合への知識伝達へのアプローチを,エンティティや関係マッチングを必要とせずに導入し,分析する。
主な貢献は、構造化されていないテキストから収集された事実の大規模事前学習を利用する方法である。
得られた事前学習モデルをよりよく理解するために,オープン知識ベースコンプリートのための事前学習モデルの解析のための新しいデータセットを導入する。
- 参考スコア（独自算出の注目度）: 58.07183284468881
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this work, we introduce and analyze an approach to knowledge transfer from
one collection of facts to another without the need for entity or relation
matching. The method works for both canonicalized knowledge bases and
uncanonicalized or open knowledge bases, i.e., knowledge bases where more than
one copy of a real-world entity or relation may exist. The main contribution is
a method that can make use of large-scale pre-training on facts, which were
collected from unstructured text, to improve predictions on structured data
from a specific domain. The introduced method is most impactful on small
datasets such as ReVerb20k, where a 6% absolute increase of mean reciprocal
rank and 65% relative decrease of mean rank over the previously best method was
achieved, despite not relying on large pre-trained models like Bert. To
understand the obtained pre-trained models better, we then introduce a novel
dataset for the analysis of pre-trained models for Open Knowledge Base
Completion, called Doge (Diagnostics of Open knowledge Graph Embeddings). It
consists of 6 subsets and is designed to measure multiple properties of a
pre-trained model: robustness against synonyms, ability to perform deductive
reasoning, presence of gender stereotypes, consistency with reverse relations,
and coverage of different areas of general knowledge. Using the introduced
dataset, we show that the existing OKBC models lack consistency in the presence
of synonyms and inverse relations and are unable to perform deductive
reasoning. Moreover, their predictions often align with gender stereotypes,
which persist even when presented with counterevidence. We additionally
investigate the role of pre-trained word embeddings and demonstrate that
avoiding biased word embeddings is not a sufficient measure to prevent biased
behavior of OKBC models.
- Abstract（参考訳）: 本研究では,ある事実の集合から別の事実への知識伝達へのアプローチを,エンティティや関係マッチングを必要とせずに導入し,分析する。
この方法は、正準化された知識ベースと、非カノニカル化またはオープンな知識ベース、すなわち、実世界の実体または関係の複数のコピーが存在する知識ベースの両方に作用する。
主な貢献は、非構造化テキストから収集された事実を大規模に事前学習して、特定のドメインから構造化データの予測を改善する方法である。
この手法はReVerb20kのような小さなデータセットに最も影響を与え、Bertのような大規模な事前学習モデルに依存しないにもかかわらず、平均相互ランクの6%の絶対的な増加と平均ランクの65%の相対的な減少が達成された。
得られた事前学習モデルをよりよく理解するために,オープン知識ベース補完のための事前学習モデル分析のための新しいデータセット,doge (diagnostics of open knowledge graph embeddeds) を導入する。
6つの部分集合で構成され、事前訓練されたモデルの複数の特性を測定するように設計されている:同義語に対する堅牢性、推論の実行能力、性的なステレオタイプの存在、逆関係との一貫性、一般的な知識の異なる領域をカバーする。
導入したデータセットを用いて,既存のOKBCモデルは同義語や逆関係の存在下で整合性が欠如しており,帰納的推論を行うことができないことを示す。
さらに、それらの予測はしばしば性ステレオタイプと一致し、反証を提示しても持続する。
さらに,事前学習した単語埋め込みの役割について検討し,OKBCモデルのバイアス行動を防止するには,単語埋め込みの回避が不十分であることを示す。
関連論文リスト
- What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。
モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文 参考訳（メタデータ） (2024-11-12T09:52:40Z) - GECOBench: A Gender-Controlled Text Dataset and Benchmark for Quantifying Biases in Explanations [1.0000511213628438]
性別制御されたテキストデータセットであるGECOを作成し、それ以外は男性と女性に同じ文が現れる。
これにより、ジェンダー分類タスクの「世界説明」が根本から生まれる。
また,一般的なXAI手法をベンチマークする厳密な定量的評価フレームワークであるGECOBenchも提供する。
論文 参考訳（メタデータ） (2024-06-17T13:44:37Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - Uncertainty in Contrastive Learning: On the Predictability of Downstream
Performance [7.411571833582691]
このような表現の不確実性は、単一のデータポイントに対して有意義な方法で定量化できるかどうかを考察する。
埋め込み空間におけるトレーニングデータの分布を直接推定することにより,この目標を達成することができることを示す。
論文 参考訳（メタデータ） (2022-07-19T15:44:59Z) - Contextualization and Generalization in Entity and Relation Extraction [0.0]
本研究では、訓練中に見えない事実への一般化に関する最先端モデルの振る舞いについて検討する。
従来のベンチマークは、トレーニングとモデル評価に使用される言及と関係の間に重要な語彙的重複を示す。
本稿では,トレーニングセットと重複する言及と関連性に基づいて,パフォーマンスを分離するための実証的研究を提案する。
論文 参考訳（メタデータ） (2022-06-15T14:16:42Z) - Agree to Disagree: Diversity through Disagreement for Better
Transferability [54.308327969778155]
本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。
我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
論文 参考訳（メタデータ） (2022-02-09T12:03:02Z) - Explain, Edit, and Understand: Rethinking User Study Design for
Evaluating Model Explanations [97.91630330328815]
我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。
単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
論文 参考訳（メタデータ） (2021-12-17T18:29:56Z) - Knowledge Base Completion Meets Transfer Learning [43.89253223499761]
知識ベース補完の目的は、知識ベースにおける既存の事実から目に見えない事実を予測することである。
本稿では,ある事実の集合から別の事実への知識の伝達において,エンティティや関係マッチングを必要とせずに最初のアプローチを導入する。
論文 参考訳（メタデータ） (2021-08-30T09:13:29Z) - Bi-tuning of Pre-trained Representations [79.58542780707441]
Bi-tuningは、教師付きと教師なしの両方の事前訓練された表現を下流タスクに微調整するための一般的な学習フレームワークである。
バイチューニングは、事前訓練された表現のバックボーンに2つのヘッドを統合することで、バニラファインチューニングを一般化する。
バイチューニングは、教師付きモデルと教師なしモデルの両方の微調整タスクを大きなマージンで達成する。
論文 参考訳（メタデータ） (2020-11-12T03:32:25Z) - Testing for Typicality with Respect to an Ensemble of Learned
Distributions [5.850572971372637]
適合性のよい問題に対する一サンプルのアプローチは、オンラインテストに多大な計算上の利点をもたらす。
この設定において異常データを正しく否定する能力は、ベース分布のモデルの精度に依存する。
既成の正当性問題に対する既存の手法は、基底分布のモデルが学習されたという事実を考慮に入れない。
本稿では,アンサンブルの任意の構成員に対して,データが異常であれば異常データとなることを考慮し,密度モデルのアンサンブルを訓練することを提案する。
論文 参考訳（メタデータ） (2020-11-11T19:47:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。