論文の概要: HeRE: A Novel Benchmark for Hebrew Relation Extraction via LLM-Guided Denoising of Knowledge Graph Alignments
- arxiv url: http://arxiv.org/abs/2610.22542v1
- Date: Thu, 15 Oct 2026 18:40:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:07.625257
- Title: HeRE: A Novel Benchmark for Hebrew Relation Extraction via LLM-Guided Denoising of Knowledge Graph Alignments
- Title（参考訳）: ヘレ:知識グラフアライメントのLLMガイドによるヘブライ語関係抽出のための新しいベンチマーク
- Abstract要約: 本稿では,知識ベースと対応するテキストのアライメントを自然に記述することで,英語関係抽出(RE)データを作成するための,スケーラブルで言語に依存しない手法を提案する。
実験により,5つの認知戦略を実証的に評価し,多言語モデルがLLM設定において言語固有のモデルより優れていることを示す。
HeREは、データ集約的な実験とモデルファインチューニングをサポートするように設計された、Hebrew RE用の、150万分の銀のデータセットです。
- 参考スコア（独自算出の注目度）: 18.534729735836773
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While LLMs demonstrate strong capabilities in English Relation Extraction (RE) tasks, a significant gap remains in assessing their RE performance in low-resource languages, due to a lack of standardized benchmarks. Creating native, language-specific annotated RE benchmarks is expensive and requires human expertise, while relying on translation yields suboptimal, inaccurate datasets that introduce English-centric biases. To tackle this, we propose a scalable, language-agnostic methodology to create RE data by denoising naturally occurring yet noisy alignments of knowledge bases and corresponding texts. We define a proper alignment via a Natural Language Inference (NLI) task, where a relation triplet is entailed by an input text. We empirically assess five denoising strategies, and demonstrate that multilingual models outperform language-specific models in the few-shot LLM setting, while Hebrew-specific encoders remain competitive under NLI fine-tuning and are strongest in the label-free cross-training setting. We further find that prompting in the native language achieves performance on par with or slightly exceeding English prompts, confirming that the pipeline operates naturally in the target language. The best open-weights model, Gemma-4-31B-it (F1\,=\,0.915), matches the best API model, GPT-5.4 (0.921), and reaches F1\,=\,0.844 on a fully held-out, dual-annotated test set. Applying the optimized pipeline, we release HeRE: a novel, massive, 1.5-million-instance silver dataset for Hebrew RE, designed to support data-intensive experimentation and model fine-tuning. HeRE bridges a critical gap in standard Hebrew RE evaluation, while providing the NLP community with a reproducible, language-agnostic pipeline for RE dataset construction in other low-resource settings.
- Abstract（参考訳）: LLMは、英語関係抽出(RE)タスクにおいて強力な能力を示すが、標準ベンチマークの欠如により、低リソース言語でのREパフォーマンスを評価する上で大きなギャップが残っている。
ネイティブで言語固有のアノテーション付きREベンチマークの作成は費用がかかり、人間の専門知識を必要とする一方で、翻訳に依存すると、英語中心のバイアスをもたらす、最適でない不正確なデータセットが生成される。
そこで本研究では,知識ベースと対応するテキストの自然発生かつノイズの多いアライメントをデノベートすることで,REデータを生成するためのスケーラブルで言語に依存しない手法を提案する。
我々は自然言語推論(NLI)タスクを介して適切なアライメントを定義する。
我々は,5つの認知戦略を実証的に評価し,多言語モデルが,NLI微調整の下ではヘブライ語固有のエンコーダが競争力を持ち,ラベルのないクロストレーニング環境では最強であることを示す。
さらに、ネイティブ言語のプロンプトは、英語のプロンプトと同等以上のパフォーマンスを達成し、パイプラインがターゲット言語で自然に動作していることを確認する。
最高のオープンウェイトモデルであるGemma-4-31B-it (F1\,=\,0.915)は、最高のAPIモデルであるGPT-5.4 (0.921)と一致し、フルに保持されたデュアルアノテーション付きテストセットでF1\,=\,0.844に達する。
最適化されたパイプラインを適用したHeREは、データ集約的な実験とモデル微調整をサポートするように設計された、新しい、巨大で1.5万の銀のデータセットである。
HeREは、標準のHebrew RE評価において重要なギャップを埋めると同時に、他の低リソース設定でのREデータセット構築のための再現可能な言語に依存しないパイプラインをNLPコミュニティに提供する。
関連論文リスト
- Recovered in Translation: Efficient Pipeline for Automated Translation of Benchmarks and Datasets [2.0199251985015434]
データセットとベンチマークのスケーラブルで高品質な翻訳を可能にするために,完全に自動化されたフレームワークを提案する。
このアプローチを適用して、人気のあるベンチマークとデータセットを8つの東欧と南欧の言語に翻訳します。
論文 参考訳（メタデータ） (2026-02-25T18:58:25Z) - BETA-Labeling for Multilingual Dataset Construction in Low-Resource IR [0.06363400715351396]
この研究は、BETA-labelingフレームワークを用いて構築されたBangla IRデータセットを示す。
我々は、他の低リソース言語からのIRデータセットがワンホップ機械翻訳によって効果的に再利用できるかどうかを検討する。
論文 参考訳（メタデータ） (2026-02-16T06:04:04Z) - SIEVE: Sample-Efficient Parametric Learning from Natural Language [66.46967795931559]
本稿では,自然言語の文脈からサンプル効率の高いパラメトリック学習手法であるSIEVEを提案する。
我々は、コンテキストが分解可能であるという洞察を活用する新しい合成データ生成パイプライン、SIEVE-GENを使用する。
以上の結果から,SIEVEは従来の文脈蒸留法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2026-02-02T18:52:52Z) - Winning with Less for Low Resource Languages: Advantage of Cross-Lingual English_Persian Argument Mining Model over LLM Augmentation [0.12744523252873352]
本稿では,低リソース言語における議論マイニングのための言語間アプローチを活用することを目的とする。
我々は、高リソース言語として英語、低リソース言語としてペルシア語でモデルを検証した。
論文 参考訳（メタデータ） (2025-11-25T21:36:39Z) - HeQ: a Large and Diverse Hebrew Reading Comprehension Benchmark [54.73504952691398]
我々は,抽出質問としてヘブライ語機械読解データセットの提供に着手した。
ヘブライ語の形態学的に豊かな性質はこの努力に挑戦している。
我々は,新しいガイドラインのセット,制御されたクラウドソーシングプロトコル,評価基準の改訂を考案した。
論文 参考訳（メタデータ） (2025-08-03T15:53:01Z) - Prompt, Translate, Fine-Tune, Re-Initialize, or Instruction-Tune? Adapting LLMs for In-Context Learning in Low-Resource Languages [6.780441755361993]
この研究は、5つの多様なターゲット言語、3つのベースLLM、7つの下流タスク、4,100GPUトレーニング時間(9,900以上のTFLOP)にまたがる。
以上の結果から,数発のプロンプトと翻訳テストの設定は勾配に基づく適応法よりも優れる傾向が示唆された。
我々の知る限り、この研究は、列車計算と考慮された適応手法の数に関して、低リソース言語における文脈内学習における最大の研究である。
論文 参考訳（メタデータ） (2025-06-23T23:22:11Z) - Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。
実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2024-05-29T17:59:07Z) - Strategies for improving low resource speech to text translation relying
on pre-trained ASR models [59.90106959717875]
本稿では,テキスト翻訳(ST)における低音源音声の性能向上のための技術と知見について述べる。
本研究は,英語とポルトガル語,タマシェク語とフランス語の2つの言語対について,シミュレーションおよび実低資源設定について実験を行った。
論文 参考訳（メタデータ） (2023-05-31T21:58:07Z) - LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。
私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。
LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
論文 参考訳（メタデータ） (2023-05-17T15:53:31Z) - Evaluation of Transfer Learning for Polish with a Text-to-Text Model [54.81823151748415]
ポーランド語におけるテキスト・テキスト・モデルの質を評価するための新しいベンチマークを導入する。
KLEJベンチマークはテキスト・トゥ・テキスト、en-pl翻訳、要約、質問応答に適応している。
本稿では,ポーランド語のための汎用テキスト・テキスト・ツー・テキスト・モデルであるplT5について述べる。
論文 参考訳（メタデータ） (2022-05-18T09:17:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。