論文の概要: UniArk: Improving Generalisation and Consistency for Factual Knowledge Extraction through Debiasing

• arxiv url: http://arxiv.org/abs/2404.01253v1
• Date: Mon, 1 Apr 2024 17:22:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 21:36:17.727317
• Title: UniArk: Improving Generalisation and Consistency for Factual Knowledge Extraction through Debiasing
• Title（参考訳）: UniArk:デバイアスによるファクチュアル知識抽出のための一般化と一貫性の改善
• Authors: Yijun Yang, Jie He, Pinzhen Chen, Víctor Gutiérrez-Basulto, Jeff Z. Pan,
• Abstract要約: 本研究は,言語モデルにおける事前学習目標と下流学習目標との相違点を示す。 汎用的で一貫した事実知識抽出のためのアダプタベースのフレームワークUniArkを提案する。
• 参考スコア（独自算出の注目度）: 19.2764682793582
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Several recent papers have investigated the potential of language models as knowledge bases as well as the existence of severe biases when extracting factual knowledge. In this work, we focus on the factual probing performance over unseen prompts from tuning, and using a probabilistic view we show the inherent misalignment between pre-training and downstream tuning objectives in language models for probing knowledge. We hypothesize that simultaneously debiasing these objectives can be the key to generalisation over unseen prompts. We propose an adapter-based framework, UniArk, for generalised and consistent factual knowledge extraction through simple methods without introducing extra parameters. Extensive experiments show that UniArk can significantly improve the model's out-of-domain generalisation as well as consistency under various prompts. Additionally, we construct ParaTrex, a large-scale and diverse dataset for measuring the inconsistency and out-of-domain generation of models. Further, ParaTrex offers a reference method for constructing paraphrased datasets using large language models.
• Abstract（参考訳）: 近年,知識基盤としての言語モデルの可能性や,事実知識を抽出する際の重大なバイアスの存在について研究されている。 本研究は,未確認の指導者に対する実測性能に着目し,確率論的視点を用いて,知識の探索のための言語モデルにおいて,事前学習と下流学習の目的との相違点を示す。 これらの目的を同時に嫌悪することは、目に見えないプロンプトを一般化する鍵である、という仮説を立てる。 パラメータを余分に導入することなく,簡単な手法による汎用的かつ一貫した事実知識抽出のためのアダプタベースのフレームワークUniArkを提案する。 大規模な実験により、UniArkはモデルの領域外一般化と様々なプロンプト下での一貫性を大幅に改善できることが示された。 さらに,モデルの不整合性とドメイン外生成を測定するために,大規模かつ多様なデータセットであるParaTrexを構築した。 さらに、ParaTrexは、大規模な言語モデルを使用してパラフレーズデータセットを構築するための参照方法を提供している。

関連論文リスト

• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。 評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)
• Adapting PromptORE for Modern History: Information Extraction from Hispanic Monarchy Documents of the XVIth Century [2.490441444378203]
  本稿では,PmptOREを応用して,特殊文書,すなわちスペイン審問による裁判のデジタル写本から関係を抽出する手法を提案する。 提案手法では,予測を行うデータに対して,事前学習対象を持つトランスフォーマーモデルを微調整する。 その結果,Biased PromptOREモデルでは50%の精度向上が得られた。
  論文  参考訳（メタデータ） (2024-05-24T13:39:47Z)
• Reformulating Sequential Recommendation: Learning Dynamic User Interest with Content-enriched Language Modeling [18.297332953450514]
  本稿では、事前学習した言語モデルの意味理解機能を活用してパーソナライズされたレコメンデーションを生成するLANCERを提案する。 我々のアプローチは、言語モデルとレコメンデーションシステムの間のギャップを埋め、より人間的なレコメンデーションを生み出します。
  論文  参考訳（メタデータ） (2023-09-19T08:54:47Z)
• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Generated Knowledge Prompting for Commonsense Reasoning [53.88983683513114]
  本稿では,汎用的なプロンプト形式を用いて,言語モデルから直接知識文を生成することを提案する。 このアプローチは、4つのコモンセンス推論タスクにおいて、既製の言語モデルと微調整された言語モデルの両方のパフォーマンスを向上させる。 特に、モデルが生成した知識を使用することで、予測が改善できることが分かる。
  論文  参考訳（メタデータ） (2021-10-15T21:58:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。