論文の概要: Few-shot Relational Reasoning via Connection Subgraph Pretraining
- arxiv url: http://arxiv.org/abs/2210.06722v1
- Date: Thu, 13 Oct 2022 04:35:14 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-14 13:53:53.562784
- Title: Few-shot Relational Reasoning via Connection Subgraph Pretraining
- Title（参考訳）: Connection Subgraph Pretrainingによるリレーショナル推論
- Authors: Qian Huang, Hongyu Ren, Jure Leskovec
- Abstract要約: Connection Subgraph Reasoner (CSR) は、事前トレーニングを必要とせずに、ターゲットの少数ショットタスクを直接予測することができる。
私たちのフレームワークは、既存のメソッドに対して、目標とする数ショットタスクに対して、すでに競合的に実行可能です。
- 参考スコア（独自算出の注目度）: 81.30830261527231
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Few-shot knowledge graph (KG) completion task aims to perform inductive
reasoning over the KG: given only a few support triplets of a new relation
$\bowtie$ (e.g., (chop,$\bowtie$,kitchen), (read,$\bowtie$,library), the goal
is to predict the query triplets of the same unseen relation $\bowtie$, e.g.,
(sleep,$\bowtie$,?). Current approaches cast the problem in a meta-learning
framework, where the model needs to be first jointly trained over many training
few-shot tasks, each being defined by its own relation, so that
learning/prediction on the target few-shot task can be effective. However, in
real-world KGs, curating many training tasks is a challenging ad hoc process.
Here we propose Connection Subgraph Reasoner (CSR), which can make predictions
for the target few-shot task directly without the need for pre-training on the
human curated set of training tasks. The key to CSR is that we explicitly model
a shared connection subgraph between support and query triplets, as inspired by
the principle of eliminative induction. To adapt to specific KG, we design a
corresponding self-supervised pretraining scheme with the objective of
reconstructing automatically sampled connection subgraphs. Our pretrained model
can then be directly applied to target few-shot tasks on without the need for
training few-shot tasks. Extensive experiments on real KGs, including NELL,
FB15K-237, and ConceptNet, demonstrate the effectiveness of our framework: we
show that even a learning-free implementation of CSR can already perform
competitively to existing methods on target few-shot tasks; with pretraining,
CSR can achieve significant gains of up to 52% on the more challenging
inductive few-shot tasks where the entities are also unseen during
(pre)training.
- Abstract（参考訳）: few-shot knowledge graph (kg) completion task は kg 上で帰納的推論を行うことを目的としている: $\bowtie$(例えば、 (chop,$\bowtie$,kitchen), (read,$\bowtie$,library)という新しい関係のいくつかのサポートトリプレットが与えられた場合、目標は、同じ見当たらない関係のクエリトリプレット $\bowtie$,例えば (sleep,$\bowtie$,?
).
現在のアプローチでは、この問題をメタラーニングフレームワークに落とし込み、モデルがまず、多くのトレーニングのマイノリティタスクで共同トレーニングされ、それぞれが独自の関係で定義され、ターゲットとするマイノリティタスクの学習/予測が効果的になる必要がある。
しかし、現実世界のKGでは、多くのトレーニングタスクをキュレートすることは困難である。
ここでは,人為的な訓練作業の事前訓練を必要とせずに,目標とする数ショットタスクの予測を行うことのできるコネクションサブグラフ推論器を提案する。
CSRの鍵は、ネイティブ誘導の原理にインスパイアされたように、サポートとクエリのトリプレット間の共有接続サブグラフを明示的にモデル化することである。
特定KGに適応するために、自動サンプリングされた接続サブグラフを再構成する目的で、対応する自己教師付き事前学習スキームを設計する。
トレーニング済みのモデルは、数ショットタスクのトレーニングを必要とせずに、数ショットタスクのターゲットに直接適用することができます。
NELL、FB15K-237、ConceptNetなど、実際のKGに関する大規模な実験は、我々のフレームワークの有効性を実証している。我々は、学習不要なCSRの実装でさえ、ターゲットの少数ショットタスクにおいて既存のメソッドに対して、既に競合的に実行可能であることを示した。
関連論文リスト
- $α$VIL: Learning to Leverage Auxiliary Tasks for Multitask Learning [3.809702129519642]
マルチタスク学習は、共有モデルの助けを借りて、さまざまな(通常は関連する)タスクをトレーニングすることを目的としている。
目標に有する正あるいは負の影響を推定することが重要である。
本稿では,モデル学習中にタスク重みを動的に調整できる「$alpha$Variable Learning」(「alpha$VIL」)という新しい手法を提案する。
論文 参考訳（メタデータ） (2024-05-13T14:12:33Z) - Episodic-free Task Selection for Few-shot Learning [2.508902852545462]
エピソードトレーニング以外の新しいメタトレーニングフレームワークを提案する。
エピソード・タスクは直接訓練に使用されるのではなく、選択されたエピソード・フリー・タスクの有効性を評価するために用いられる。
実験では、トレーニングタスクセットには、例えば、コントラスト学習や分類など、いくつかの有望なタイプが含まれている。
論文 参考訳（メタデータ） (2024-01-31T10:52:15Z) - ULTRA-DP: Unifying Graph Pre-training with Multi-task Graph Dual Prompt [67.8934749027315]
本稿では,タスク識別と位置識別をGNNに注入する,グラフハイブリッド事前学習のための統合フレームワークを提案する。
また,約$k$-nearest隣人のグループに基づいた,新しい事前学習パラダイムを提案する。
論文 参考訳（メタデータ） (2023-10-23T12:11:13Z) - Self-regulating Prompts: Foundational Model Adaptation without
Forgetting [112.66832145320434]
本稿では,PromptSRCと呼ばれる自己正規化フレームワークを提案する。
PromptSRCはタスク固有の汎用表現とタスクに依存しない汎用表現の両方に最適化するプロンプトを導く。
論文 参考訳（メタデータ） (2023-07-13T17:59:35Z) - Improving Few-Shot Inductive Learning on Temporal Knowledge Graphs using
Confidence-Augmented Reinforcement Learning [24.338098716004485]
TKGCは、時間的knwoledge graph(TKG)におけるエンティティ間の欠落リンクを予測することを目的としている。
近年,TKG数発アウトオブグラフ(OOG)リンク予測という新たなタスクが提案されている。
本稿では,この課題を解決するために,少数ショット学習と強化学習を組み合わせたTKGC法FITCARLを提案する。
論文 参考訳（メタデータ） (2023-04-02T20:05:20Z) - Task Compass: Scaling Multi-task Pre-training with Task Prefix [122.49242976184617]
既存の研究では、大規模教師付きタスクによるマルチタスク学習がタスク間の負の効果に悩まされていることが示されている。
タスク間の関係を探索するために,タスクプレフィックスガイド付きマルチタスク事前学習フレームワークを提案する。
我々のモデルは、幅広いタスクの強力な基盤バックボーンとして機能するだけでなく、タスク関係を分析するための探索ツールとしても実現可能である。
論文 参考訳（メタデータ） (2022-10-12T15:02:04Z) - Effective Adaptation in Multi-Task Co-Training for Unified Autonomous
Driving [103.745551954983]
本稿では,3つの下流タスクにおけるMoCoやSimCLRなど,多種多様な自己監督手法の転送性能について検討する。
彼らのパフォーマンスは、サブ最適か、あるいはシングルタスクベースラインよりもはるかに遅れていることに気付きました。
汎用マルチタスクトレーニングのための,単純かつ効果的な事前訓練-適応-ファインチューンパラダイムを提案する。
論文 参考訳（メタデータ） (2022-09-19T12:15:31Z) - Pre-training to Match for Unified Low-shot Relation Extraction [37.625078897220305]
ローショット関係抽出は、サンプルがほとんど、あるいは全くない新しい関係を認識することを目的としている。
ローショットREとゼロショットREは2つの代表的なローショットREタスクである。
ローショット関係抽出を統一するマルチコースマッチングネットワークを提案する。
論文 参考訳（メタデータ） (2022-03-23T08:43:52Z) - MetaICL: Learning to Learn In Context [87.23056864536613]
そこで我々は,メタICLというメタトレーニングフレームワークを紹介した。このフレームワークでは,事前学習された言語モデルが,大量のトレーニングタスクに対してコンテキスト内学習を行うように調整されている。
その結果,MetaICLは,目標タスクトレーニングデータに対して完全に微調整されたモデルの性能にアプローチ(時には打ち負かす)し,ほぼ8倍のパラメータを持つモデルよりも優れた性能を示すことがわかった。
論文 参考訳（メタデータ） (2021-10-29T17:42:08Z) - Video Moment Retrieval via Natural Language Queries [7.611718124254329]
本稿では,映像モーメント検索(VMR)のための新しい手法を提案する。
私たちのモデルはシンプルなアーキテクチャで、維持しながらより高速なトレーニングと推論を可能にします。
論文 参考訳（メタデータ） (2020-09-04T22:06:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。