論文の概要: CascadER: Cross-Modal Cascading for Knowledge Graph Link Prediction
- arxiv url: http://arxiv.org/abs/2205.08012v1
- Date: Mon, 16 May 2022 22:55:45 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-18 23:53:57.415276
- Title: CascadER: Cross-Modal Cascading for Knowledge Graph Link Prediction
- Title（参考訳）: CascadER:知識グラフリンク予測のためのクロスモーダルカスケーディング
- Authors: Tara Safavi, Doug Downey, Tom Hope
- Abstract要約: 本稿では,効率を向上しつつ,完全アンサンブルのランキング精度を維持するための階層型ランキングアーキテクチャCascaderを提案する。
CascadER は LM を用いて、より効率的な KGE の出力を再現し、KGE の精度向上を最大化しつつ、LM を最小限に呼び出すための適応的なサブセット選択方式に依存している。
実験により, モデル間の多様性と個々のモデルの信頼性信号の保存がカスケーダの有効性を説明するのに有効であることがわかった。
- 参考スコア（独自算出の注目度）: 22.96768147978534
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Knowledge graph (KG) link prediction is a fundamental task in artificial
intelligence, with applications in natural language processing, information
retrieval, and biomedicine. Recently, promising results have been achieved by
leveraging cross-modal information in KGs, using ensembles that combine
knowledge graph embeddings (KGEs) and contextual language models (LMs).
However, existing ensembles are either (1) not consistently effective in terms
of ranking accuracy gains or (2) impractically inefficient on larger datasets
due to the combinatorial explosion problem of pairwise ranking with deep
language models. In this paper, we propose a novel tiered ranking architecture
CascadER to maintain the ranking accuracy of full ensembling while improving
efficiency considerably. CascadER uses LMs to rerank the outputs of more
efficient base KGEs, relying on an adaptive subset selection scheme aimed at
invoking the LMs minimally while maximizing accuracy gain over the KGE.
Extensive experiments demonstrate that CascadER improves MRR by up to 9 points
over KGE baselines, setting new state-of-the-art performance on four benchmarks
while improving efficiency by one or more orders of magnitude over competitive
cross-modal baselines. Our empirical analyses reveal that diversity of models
across modalities and preservation of individual models' confidence signals
help explain the effectiveness of CascadER, and suggest promising directions
for cross-modal cascaded architectures. Code and pretrained models are
available at https://github.com/tsafavi/cascader.
- Abstract（参考訳）: 知識グラフ(kg)リンク予測は、自然言語処理、情報検索、バイオメディシンへの応用を含む、人工知能における基本的なタスクである。
近年,知識グラフ埋め込み (KGE) と文脈言語モデル (LM) を組み合わせたアンサンブルを用いて,KGにおけるクロスモーダル情報を活用することで,有望な結果が得られた。
しかし,(1) 既存のアンサンブルは,(1) ランキングの精度向上の観点からは一貫して有効ではないか,(2) 深層言語モデルとのペアランキングの組合せ爆発問題により,大規模データセットでは不効率である。
本稿では,効率を向上しつつ,完全アンサンブルのランキング精度を維持するための新しい階層型ランキングアーキテクチャCascaderを提案する。
CascadER は LM を用いてより効率的な KGE の出力を再現し、KGE の精度向上を最大化しながら LM を最小限に呼び出すことを目的とした適応的なサブセット選択方式に依存する。
大規模な実験では、CascadERはKGEベースラインよりも最大9ポイントMRRを改善し、4つのベンチマークで新しい最先端性能を設定し、競合するクロスモーダルベースラインよりも1桁以上の効率を改善する。
実験により, モデルの多様性と個々のモデルの信頼性信号の保存がCascadERの有効性を説明し, クロスモーダル・カスケードアーキテクチャへの有望な方向性を提案する。
コードと事前訓練されたモデルはhttps://github.com/tsafavi/cascader.comで入手できる。
関連論文リスト
- MERLOT: A Distilled LLM-based Mixture-of-Experts Framework for Scalable Encrypted Traffic Classification [19.476061046309052]
本稿では,暗号化されたトラフィック分類に最適化された蒸留大言語モデルのスケーラブルな混合実験(MoE)による改良について述べる。
10のデータセットの実験では、最先端モデルよりも優れた、あるいは競合的なパフォーマンスを示している。
論文 参考訳（メタデータ） (2024-11-20T03:01:41Z) - Balancing Efficiency vs. Effectiveness and Providing Missing Label
Robustness in Multi-Label Stream Classification [3.97048491084787]
ニューラルネットワークを用いた高次元多ラベル分類手法を提案する。
本モデルは,非定常環境に適した選択的なドリフト適応機構を用いる。
我々は,単純で効果的な計算手法を用いて,ラベルを欠いた環境に適応する。
論文 参考訳（メタデータ） (2023-10-01T13:23:37Z) - How to Turn Your Knowledge Graph Embeddings into Generative Models [10.466244652188777]
リンク予測のための最も成功した知識グラフ埋め込み(KGE)モデルは、エネルギーベースモデルとして解釈できる。
この研究は、これらのKGEのスコア関数を回路として再解釈する。
我々の解釈では、リンク予測のパフォーマンスがほとんど、あるいは全く失われていない。
論文 参考訳（メタデータ） (2023-05-25T11:30:27Z) - Pretraining Without Attention [114.99187017618408]
本研究では、状態空間モデル(SSM)に基づくシーケンスルーティングの最近の進歩を利用して、注意を払わずに事前学習を探索する。
BiGS は GLUE 上で BERT の事前トレーニング精度と一致し、近似なしで 4096 トークンの長期事前トレーニングに拡張できる。
論文 参考訳（メタデータ） (2022-12-20T18:50:08Z) - Directed Acyclic Graph Factorization Machines for CTR Prediction via
Knowledge Distillation [65.62538699160085]
本稿では,既存の複雑な相互作用モデルから,知識蒸留によるCTR予測のための高次特徴相互作用を学習するための非巡回グラフファクトリゼーションマシン(KD-DAGFM)を提案する。
KD-DAGFMは、オンラインとオフラインの両方の実験において、最先端のFLOPの21.5%未満で最高の性能を達成する。
論文 参考訳（メタデータ） (2022-11-21T03:09:42Z) - Explainable Sparse Knowledge Graph Completion via High-order Graph
Reasoning Network [111.67744771462873]
本稿では,スパース知識グラフ(KG)のための新しい説明可能なモデルを提案する。
高次推論をグラフ畳み込みネットワーク、すなわちHoGRNに結合する。
情報不足を緩和する一般化能力を向上させるだけでなく、解釈可能性も向上する。
論文 参考訳（メタデータ） (2022-07-14T10:16:56Z) - SPLADE v2: Sparse Lexical and Expansion Model for Information Retrieval [11.38022203865326]
SPLADEモデルは、最先端の高密度かつスパースなアプローチに関して、高度にスパースな表現と競争結果を提供する。
我々は、プール機構を変更し、文書拡張のみに基づいてモデルをベンチマークし、蒸留で訓練されたモデルを導入する。
全体として、SPLADEはTREC DL 2019のNDCG@10で9ドル以上のゲインで大幅に改善され、BEIRベンチマークで最先端の結果が得られた。
論文 参考訳（メタデータ） (2021-09-21T10:43:42Z) - AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。
提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。
実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
論文 参考訳（メタデータ） (2021-07-15T16:46:01Z) - Deepened Graph Auto-Encoders Help Stabilize and Enhance Link Prediction [11.927046591097623]
リンク予測は、浅層グラフオートエンコーダ(GAE)アーキテクチャの1層または2層に基づく現在の最先端モデルを用いて、比較的未研究のグラフ学習タスクである。
本論文では,浅いGAEと変動GAEしか使用できないリンク予測の現在の手法の限界に対処することに焦点をあてる。
提案手法はGAEのアーキテクチャに標準オートエンコーダ(AE)を革新的に組み込んでおり、標準AEは隣接情報とノード機能をシームレスに統合することで必要不可欠な低次元表現を学習する。
論文 参考訳（メタデータ） (2021-03-21T14:43:10Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - MetaDistiller: Network Self-Boosting via Meta-Learned Top-Down
Distillation [153.56211546576978]
本研究では,ラベル生成器を用いて高い適合性を有するソフトターゲットを生成することを提案する。
このラベルジェネレータを最適化するためにメタ学習技術を用いることができる。
実験は CIFAR-100 と ILSVRC2012 の2つの標準分類ベンチマークで実施された。
論文 参考訳（メタデータ） (2020-08-27T13:04:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。