論文の概要: Combining Distantly Supervised Models with In Context Learning for Monolingual and Cross-Lingual Relation Extraction

• arxiv url: http://arxiv.org/abs/2510.18344v1
• Date: Tue, 21 Oct 2025 06:55:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:13.037127
• Title: Combining Distantly Supervised Models with In Context Learning for Monolingual and Cross-Lingual Relation Extraction
• Title（参考訳）: 単言語・言語間関係抽出のための遠隔教師付きモデルと文脈学習の組み合わせ
• Authors: Vipul Rathore, Malik Hammad Faisal, Parag Singla, Mausam,
• Abstract要約: HYDRE-HYbrid Distantly Supervised Relation extract frameworkを提案する。 まず、訓練されたDSREモデルを使用して、与えられたテスト文の上位k候補関係を特定する。 そして、トレーニングデータから信頼性の高い文レベルの例を抽出する、新しい動的例証検索戦略を使用する。
• 参考スコア（独自算出の注目度）: 22.152211131922943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Distantly Supervised Relation Extraction (DSRE) remains a long-standing challenge in NLP, where models must learn from noisy bag-level annotations while making sentence-level predictions. While existing state-of-the-art (SoTA) DSRE models rely on task-specific training, their integration with in-context learning (ICL) using large language models (LLMs) remains underexplored. A key challenge is that the LLM may not learn relation semantics correctly, due to noisy annotation. In response, we propose HYDRE -- HYbrid Distantly Supervised Relation Extraction framework. It first uses a trained DSRE model to identify the top-k candidate relations for a given test sentence, then uses a novel dynamic exemplar retrieval strategy that extracts reliable, sentence-level exemplars from training data, which are then provided in LLM prompt for outputting the final relation(s). We further extend HYDRE to cross-lingual settings for RE in low-resource languages. Using available English DSRE training data, we evaluate all methods on English as well as a newly curated benchmark covering four diverse low-resource Indic languages -- Oriya, Santali, Manipuri, and Tulu. HYDRE achieves up to 20 F1 point gains in English and, on average, 17 F1 points on Indic languages over prior SoTA DSRE models. Detailed ablations exhibit HYDRE's efficacy compared to other prompting strategies.
• Abstract（参考訳）: Distantly Supervised Relation extract (DSRE) は NLP における長年の課題であり、モデルが文レベルの予測を行いながらノイズの多いバッグレベルのアノテーションから学ぶ必要がある。 既存の最先端(SoTA)DSREモデルはタスク固有のトレーニングに依存しているが、大規模言語モデル(LLM)を用いたテキスト内学習(ICL)との統合は未定である。 重要な課題は、LLMがノイズの多いアノテーションのために関係意味論を正しく学習できないことである。 そこで我々はHYDRE-HYbrid Distantly Supervised Relation extract frameworkを提案する。 まず、訓練されたDSREモデルを用いて、与えられたテスト文のトップk候補関係を識別し、次に、トレーニングデータから信頼性の高い文レベルの例を抽出する新しい動的例証検索戦略を使用し、最終関係を出力するLLMプロンプトで提供される。 我々は低リソース言語におけるREの言語間設定にHYDREをさらに拡張する。 利用可能な英語DSREトレーニングデータを用いて、Oriya、Santali、Manipuri、Tuluの4つの低リソースIndic言語をカバーする新しいベンチマークとともに、英語に関するすべてのメソッドを評価する。 HYDREは英語で最大20F1ポイントゲインを達成し、平均17F1ポイントは以前のSoTA DSREモデルよりもIndic言語を上回ります。 詳細なアブレーションは、他のプロンプト戦略と比較してHYDREの有効性を示す。

関連論文リスト

• Prompt, Translate, Fine-Tune, Re-Initialize, or Instruction-Tune? Adapting LLMs for In-Context Learning in Low-Resource Languages [6.780441755361993]
  この研究は、5つの多様なターゲット言語、3つのベースLLM、7つの下流タスク、4,100GPUトレーニング時間(9,900以上のTFLOP)にまたがる。 以上の結果から,数発のプロンプトと翻訳テストの設定は勾配に基づく適応法よりも優れる傾向が示唆された。 我々の知る限り、この研究は、列車計算と考慮された適応手法の数に関して、低リソース言語における文脈内学習における最大の研究である。
  論文  参考訳（メタデータ） (2025-06-23T23:22:11Z)
• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• Language Portability Strategies for Open-domain Dialogue with Pre-trained Language Models from High to Low Resource Languages [1.7436854281619139]
  オープンドメイン対話システムに使用される大規模事前学習言語モデル(PLM)の言語ポータビリティ戦略について検討する。 特に、ターゲットの低リソース言語(L_T)は、タスク固有のリソースがないため、フランス語でシミュレートされる。
  論文  参考訳（メタデータ） (2024-07-01T14:20:54Z)
• MACT: Model-Agnostic Cross-Lingual Training for Discourse Representation Structure Parsing [4.536003573070846]
  意味表現解析モデルのための言語間学習戦略を導入する。 事前訓練された言語モデルにエンコードされた言語間のアライメントを利用する。 実験では、英語、ドイツ語、イタリア語、オランダ語におけるDRS節とグラフ解析の大幅な改善が示されている。
  論文  参考訳（メタデータ） (2024-06-03T07:02:57Z)
• Bridging the Bosphorus: Advancing Turkish Large Language Models through Strategies for Low-Resource Language Adaptation and Benchmarking [1.3716808114696444]
  大規模言語モデル(LLM)は様々な分野において重要になってきており、表現不足の言語における高品質なモデルの緊急性を強調している。 本研究では、データ不足、モデル選択、評価、計算制限など、低リソース言語が直面する固有の課題について検討する。
  論文  参考訳（メタデータ） (2024-05-07T21:58:45Z)
• Cross-Lingual NER for Financial Transaction Data in Low-Resource Languages [70.25418443146435]
  半構造化テキストデータにおける言語間名前認識のための効率的なモデリングフレームワークを提案する。 我々は2つの独立したSMSデータセットを英語とアラビア語で使用し、それぞれが半構造化された銀行取引情報を持っている。 わずか30のラベル付きサンプルにアクセスすることで、我々のモデルは、英語からアラビア語までの商人、金額、その他の分野の認識を一般化することができる。
  論文  参考訳（メタデータ） (2023-07-16T00:45:42Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Cross-lingual Information Retrieval with BERT [8.052497255948046]
  本稿では、人気のある双方向言語モデルBERTを用いて、英語クエリと外国語文書の関係をモデル化し、学習する。 BERTに基づく深部関係マッチングモデルを導入し,教師の弱い事前学習多言語BERTモデルを微調整して訓練する。 短い英語クエリに対するリトアニア語文書の検索実験の結果、我々のモデルは有効であり、競争ベースラインのアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2020-04-24T23:32:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。