論文の概要: Adapting PromptORE for Modern History: Information Extraction from Hispanic Monarchy Documents of the XVIth Century
- arxiv url: http://arxiv.org/abs/2406.00027v1
- Date: Fri, 24 May 2024 13:39:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-09 16:09:32.349619
- Title: Adapting PromptORE for Modern History: Information Extraction from Hispanic Monarchy Documents of the XVIth Century
- Title（参考訳）: 現代史における PromptORE の適応--20世紀のヒスパニック・モナーキー文書からの情報抽出
- Authors: Hèctor Loopez Hidalgo, Michel Boeglin, David Kahn, Josiane Mothe, Diego Ortiz, David Panzoli,
- Abstract要約: 本稿では,PmptOREを応用して,特殊文書,すなわちスペイン審問による裁判のデジタル写本から関係を抽出する手法を提案する。
提案手法では,予測を行うデータに対して,事前学習対象を持つトランスフォーマーモデルを微調整する。
その結果,Biased PromptOREモデルでは50%の精度向上が得られた。
- 参考スコア（独自算出の注目度）: 2.490441444378203
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Semantic relations among entities are a widely accepted method for relation extraction. PromptORE (Prompt-based Open Relation Extraction) was designed to improve relation extraction with Large Language Models on generalistic documents. However, it is less effective when applied to historical documents, in languages other than English. In this study, we introduce an adaptation of PromptORE to extract relations from specialized documents, namely digital transcripts of trials from the Spanish Inquisition. Our approach involves fine-tuning transformer models with their pretraining objective on the data they will perform inference. We refer to this process as "biasing". Our Biased PromptORE addresses complex entity placements and genderism that occur in Spanish texts. We solve these issues by prompt engineering. We evaluate our method using Encoder-like models, corroborating our findings with experts' assessments. Additionally, we evaluate the performance using a binomial classification benchmark. Our results show a substantial improvement in accuracy -up to a 50% improvement with our Biased PromptORE models in comparison to the baseline models using standard PromptORE.
- Abstract（参考訳）: 実体間の意味的関係は、関係抽出の広く受け入れられる方法である。
PromptORE (Prompt-based Open Relation extract) は汎用文書上での大規模言語モデルとの関係抽出を改善するために設計された。
しかし、英語以外の言語では、歴史文書に適用しても効果が低い。
本研究では,PmptOREを応用して,特殊文書,すなわちスペイン審問による裁判のデジタル写本から関係を抽出する手法を提案する。
提案手法では,予測を行うデータに対して,事前学習対象を持つトランスフォーマーモデルを微調整する。
この過程を「バイアス」と呼ぶ。
私たちのBiased PromptOREは、スペイン語のテキストで起こる複雑なエンティティの配置と性差別に対処します。
我々はこれらの問題を解決するために、迅速なエンジニアリングを行う。
本研究では,Encoderライクなモデルを用いて本手法の評価を行った。
さらに,二項分類ベンチマークを用いて評価を行った。
その結果,標準の PromptORE を用いたベースラインモデルと比較して,Biased PromptORE モデルでは50%の精度向上が得られた。
関連論文リスト
- Likelihood as a Performance Gauge for Retrieval-Augmented Generation [78.28197013467157]
言語モデルの性能の効果的な指標としての可能性を示す。
提案手法は,より優れた性能をもたらすプロンプトの選択と構築のための尺度として,疑似可能性を利用する2つの手法を提案する。
論文 参考訳（メタデータ） (2024-11-12T13:14:09Z) - UniArk: Improving Generalisation and Consistency for Factual Knowledge Extraction through Debiasing [19.2764682793582]
本研究は,言語モデルにおける事前学習目標と下流学習目標との相違点を示す。
汎用的で一貫した事実知識抽出のためのアダプタベースのフレームワークUniArkを提案する。
論文 参考訳（メタデータ） (2024-04-01T17:22:07Z) - Enhancing Retrieval Processes for Language Generation with Augmented
Queries [0.0]
本研究は,実事実に基づく正確な応答をモデルに誘導するRAG(Retrieval-Augmented Generation)を通じてこの問題に対処することに焦点を当てる。
スケーラビリティの問題を克服するために、BERTやOrca2といった洗練された言語モデルとユーザクエリを結びつけることを検討する。
実験結果から,RAGによる初期言語モデルの性能向上が示唆された。
論文 参考訳（メタデータ） (2024-02-06T13:19:53Z) - Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。
ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。
そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
論文 参考訳（メタデータ） (2023-03-23T12:28:25Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳（メタデータ） (2022-12-21T02:41:40Z) - Enriching Relation Extraction with OpenIE [70.52564277675056]
関係抽出(RE)は情報抽出(IE)のサブ分野である
本稿では,オープン情報抽出(OpenIE)の最近の取り組みがREの課題の改善にどのように役立つかを検討する。
本稿では,2つの注釈付きコーパスであるKnowledgeNetとFewRelを用いた実験により,拡張モデルの精度向上を実証した。
論文 参考訳（メタデータ） (2022-12-19T11:26:23Z) - Incorporating Relevance Feedback for Information-Seeking Retrieval using
Few-Shot Document Re-Ranking [56.80065604034095]
我々は,クエリとユーザが関連すると考えるドキュメントとの類似性に基づいて,文書を再参照するkNNアプローチを提案する。
異なる統合戦略を評価するため、既存の4つの情報検索データセットを関連フィードバックシナリオに変換する。
論文 参考訳（メタデータ） (2022-10-19T16:19:37Z) - Query Expansion Using Contextual Clue Sampling with Language Models [69.51976926838232]
本稿では,実効的なフィルタリング戦略と検索した文書の融合の組み合わせを,各文脈の生成確率に基づいて提案する。
我々の語彙マッチングに基づくアプローチは、よく確立された高密度検索モデルDPRと比較して、同様のトップ5/トップ20検索精度と上位100検索精度を実現する。
エンド・ツー・エンドのQAでは、読者モデルも我々の手法の恩恵を受けており、いくつかの競争基準に対してエクサクト・マッチのスコアが最も高い。
論文 参考訳（メタデータ） (2022-10-13T15:18:04Z) - Entity and Evidence Guided Relation Extraction for DocRED [33.69481141963074]
この課題に対して,共同トレーニングフレームワークE2GRE(Entity and Evidence Guided Relation extract)を提案する。
事前訓練された言語モデル(例えばBERT, RoBERTa)への入力としてエンティティ誘導シーケンスを導入する。
これらのエンティティ誘導シーケンスは、事前訓練された言語モデル(LM)がエンティティに関連するドキュメントの領域に集中するのに役立ちます。
我々は最近リリースされた関係抽出のための大規模データセットDocREDに対するE2GREアプローチを評価した。
論文 参考訳（メタデータ） (2020-08-27T17:41:23Z) - Cross-lingual Information Retrieval with BERT [8.052497255948046]
本稿では、人気のある双方向言語モデルBERTを用いて、英語クエリと外国語文書の関係をモデル化し、学習する。
BERTに基づく深部関係マッチングモデルを導入し,教師の弱い事前学習多言語BERTモデルを微調整して訓練する。
短い英語クエリに対するリトアニア語文書の検索実験の結果、我々のモデルは有効であり、競争ベースラインのアプローチよりも優れていることが示された。
論文 参考訳（メタデータ） (2020-04-24T23:32:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。