論文の概要: Evaluating Prompt-based Question Answering for Object Prediction in the
Open Research Knowledge Graph
- arxiv url: http://arxiv.org/abs/2305.12900v2
- Date: Sun, 11 Jun 2023 08:23:23 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 23:52:46.101675
- Title: Evaluating Prompt-based Question Answering for Object Prediction in the
Open Research Knowledge Graph
- Title（参考訳）: オープンリサーチナレッジグラフにおけるオブジェクト予測のためのプロンプトベース質問応答の評価
- Authors: Jennifer D'Souza, Moussab Hrou and S\"oren Auer
- Abstract要約: 本研究は,テクスチャ学習用グラフオブジェクト予測のためのトランスフォーマーの即時学習導入に関する成果を報告する。
学術知識グラフのオブジェクトを予測するためにエンティティと関係抽出パイプラインを提案する他の研究から逸脱する。
i) 期待値当たり、(i) 新たなデータ領域でテストされた場合のトランスフォーマーモデル、(ii) モデルの迅速なトレーニングにより、緩和された評価設定で最大40%の性能向上が達成されることがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: There have been many recent investigations into prompt-based training of
transformer language models for new text genres in low-resource settings. The
prompt-based training approach has been found to be effective in generalizing
pre-trained or fine-tuned models for transfer to resource-scarce settings. This
work, for the first time, reports results on adopting prompt-based training of
transformers for \textit{scholarly knowledge graph object prediction}. The work
is unique in the following two main aspects. 1) It deviates from the other
works proposing entity and relation extraction pipelines for predicting objects
of a scholarly knowledge graph. 2) While other works have tested the method on
text genera relatively close to the general knowledge domain, we test the
method for a significantly different domain, i.e. scholarly knowledge, in turn
testing the linguistic, probabilistic, and factual generalizability of these
large-scale transformer models. We find that (i) per expectations, transformer
models when tested out-of-the-box underperform on a new domain of data, (ii)
prompt-based training of the models achieve performance boosts of up to 40\% in
a relaxed evaluation setting, and (iii) testing the models on a starkly
different domain even with a clever training objective in a low resource
setting makes evident the domain knowledge capture gap offering an
empirically-verified incentive for investing more attention and resources to
the scholarly domain in the context of transformer models.
- Abstract（参考訳）: 低リソース環境での新しいテキストジャンルのトランスフォーマー言語モデルのプロンプトベーストレーニングに関する最近の調査が数多く行われている。
プロンプトベースのトレーニングアプローチは、リソーススカース設定への転送のための事前訓練または微調整モデルの一般化に有効であることが判明した。
この研究は、初めて、 \textit{scholarly knowledge graph object prediction} にトランスフォーマーのプロンプトベースのトレーニングを採用する成果を報告した。
作品の特色は以下の2点である。
1) 学術知識グラフのオブジェクトを予測するためのエンティティおよび関係抽出パイプラインを提案する他の作品から逸脱する。
2)本手法は一般知識領域に比較的近いテキスト・ジェネラで検証されているが,これらの大規模トランスフォーマー・モデルの言語的・確率的・事実的一般化性をテストするため,学術的知識の分野とは大きく異なる方法を試している。
私たちはそれを見つけ
(i) 期待に応じて、新しいデータ領域でテストされたアウト・オブ・ザ・ボックスのアンダーパフォーマンスのトランスフォーマーモデル。
(ii)緩和された評価設定において、モデルの即興学習は最大40\%の性能向上を達成し、
(iii)低リソース環境において巧妙なトレーニング目標を持っても、まったく異なるドメインでモデルをテストすることは、トランスフォーマーモデルという文脈で学術領域により多くの注意とリソースを投資するための経験的に検証されたインセンティブを提供する、ドメイン知識獲得ギャップを明確にする。
関連論文リスト
- Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。
フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。
設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
論文 参考訳（メタデータ） (2024-08-23T01:53:36Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - In-Context Convergence of Transformers [63.04956160537308]
勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。
不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
論文 参考訳（メタデータ） (2023-10-08T17:55:33Z) - Generalization Properties of Retrieval-based Models [50.35325326050263]
検索ベースの機械学習手法は、幅広い問題で成功をおさめた。
これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。
本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
論文 参考訳（メタデータ） (2022-10-06T00:33:01Z) - QAGAN: Adversarial Approach To Learning Domain Invariant Language
Features [0.76146285961466]
ドメイン不変の特徴を学習するための敵対的学習手法について検討する。
EMスコアが15.2%改善され、ドメイン外の検証データセットでF1スコアが5.6%向上しました。
論文 参考訳（メタデータ） (2022-06-24T17:42:18Z) - Transformer Uncertainty Estimation with Hierarchical Stochastic
Attention [8.95459272947319]
本稿では,変圧器に不確実性推定機能を持たせるための新しい手法を提案する。
これは、価値と学習可能なセントロイドのセットに付随する階層的な自己注意を学ぶことで達成される。
我々は、ドメイン内(ID)とドメイン外(OOD)の両方のデータセットを用いて、2つのテキスト分類タスクでモデルを実証的に評価する。
論文 参考訳（メタデータ） (2021-12-27T16:43:31Z) - Towards Open-World Feature Extrapolation: An Inductive Graph Learning
Approach [80.8446673089281]
グラフ表現と学習を伴う新しい学習パラダイムを提案する。
本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
論文 参考訳（メタデータ） (2021-10-09T09:02:45Z) - Inserting Information Bottlenecks for Attribution in Transformers [46.77580577396633]
ブラックボックスモデルにおける各特徴のアトリビューションを分析するために,情報ボトルネックを適用した。
本手法の有効性を帰属性の観点から示し,情報がどのように層を流れるのかを考察する。
論文 参考訳（メタデータ） (2020-12-27T00:35:43Z) - Transformer Based Multi-Source Domain Adaptation [53.24606510691877]
実践的な機械学習設定では、モデルを予測しなければならないデータは、トレーニングされたデータとは異なる分布から生まれることが多い。
本稿では、複数のソースドメインからラベル付きデータに基づいてモデルを訓練し、ラベル付きデータが見られないドメイン上で予測を行う、教師なしマルチソースドメイン適応の問題について検討する。
本研究では,大規模な事前学習型変圧器を用いたドメインエキスパートの予測が極めて均質であることを示し,それらの予測を混在させる効果的な関数の学習を困難にしている。
論文 参考訳（メタデータ） (2020-09-16T16:56:23Z) - Gradient-Based Adversarial Training on Transformer Networks for
Detecting Check-Worthy Factual Claims [3.7543966923106438]
本稿では,最初の逆正則変換型クレームスポッタモデルを提案する。
現在の最先端モデルよりもF1スコアが4.70ポイント向上した。
本稿では,変換器モデルに逆学習を適用する手法を提案する。
論文 参考訳（メタデータ） (2020-02-18T16:51:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。