論文の概要: Cross-lingual Relation Extraction with Large Language Models: Zero-Shot, Few-Shot, and Fine-Tuned Evaluation on Romanian
- arxiv url: http://arxiv.org/abs/2606.31718v1
- Date: Tue, 30 Jun 2026 14:22:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.251915
- Title: Cross-lingual Relation Extraction with Large Language Models: Zero-Shot, Few-Shot, and Fine-Tuned Evaluation on Romanian
- Title(参考訳): 大規模言語モデルを用いた言語間関係抽出:ゼロショット,フイショット,ルーマニア語の微調整による評価
- Abstract要約: LLMを用いた翻訳パイプラインを用いて,SemEval-2010 Task 8ベンチマークを英語からルーマニア語に翻訳する。
我々はGemma 4 31Bをゼロショット、少数ショット、QLoRA微調整構成で評価した。
その結果, ルーマニア語では, プロンプトのみの設定で英語に対して3~5ポイント (pp) の減少がみられた。
- 参考スコア(独自算出の注目度): 2.929334248463484
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Relation extraction (RE) for low-resource languages is typically constrained by the lack of annotated corpora. We investigate the feasibility of cross-lingual RE for Romanian by combining automatic dataset translation with large language model (LLM) inference. We translate the SemEval-2010 Task 8 benchmark from English to Romanian using an LLM-based translation pipeline and evaluate Gemma 4 31B under zero-shot, few-shot, and QLoRA fine-tuned configurations, against four encoder baselines spanning 125M to 560M parameters: XLM- RoBERTa (base and large), Romanian BERT, and RoBERT- large. We assess two task formulations: relation classification with marked entities and end-to-end extraction. Our results show that Romanian incurs a 3 to 5 percentage point (pp) drop relative to English in prompt-only settings, that few-shot prompting provides marginal gains over zero-shot, and that QLoRA fine-tuning improves macro F1-Score by more than 22 percentage points in both languages while reducing the cross-lingual gap from 3.3 to 1.4pp. The encoder baselines come within 1-4pp of QLoRA Gemma on Romanian despite being 50-250 times smaller, with monolingual Romanian BERT at 125M parameters matching multilingual XLM-R at 278M. The case for using a 31B model for single-task RE on Romanian is therefore weak in deployment scenarios where compute matters. We release the translated dataset, evaluation code, and trained models.
- Abstract(参考訳): 低リソース言語に対する関係抽出(RE)は通常、注釈付きコーパスの欠如によって制約される。
大規模言語モデル(LLM)推論と自動データセット変換を組み合わせることにより,ルーマニア語における言語間REの実現可能性を検討する。
我々は、LLMベースの翻訳パイプラインを用いてSemEval-2010 Task 8ベンチマークを英語からルーマニア語に翻訳し、ゼロショット、少数ショット、QLoRAの微調整された構成でGemma 4 31Bを評価し、125Mから560MパラメータのエンコーダベースラインであるXLM-RoBERTa(ベースとサイズ)、ルーマニアのBERT、RoBERT-大の4つと比較した。
特徴的エンティティによる関係分類とエンドツーエンド抽出の2つのタスクの定式化を評価する。
その結果, ルーマニア語では, プロンプトのみの設定で英語に対して3~5ポイント(pp)の低下がみられ, 少数ショットのプロンプトによってゼロショットよりも限界ゲインが得られ, QLoRAファインタニングによりマクロF1スコアが22ポイント向上し, 言語間ギャップが3.3~1.4ppに減少することがわかった。
エンコーダのベースラインは50-250倍の小さいルーマニア語でQLoRA Gemmaの1-4pp以内であり、モノリンガルなルーマニア語BERTは125Mパラメータで、マルチリンガルなXLM-Rは278Mである。
ルーマニアの単一タスクのREに31Bモデルを使用する場合、計算が重要なデプロイメントシナリオでは弱い。
翻訳されたデータセット、評価コード、訓練されたモデルをリリースします。
関連論文リスト
- Query Translation vs. Cross-Lingual Embeddings for Sinhala-Tamil E-Government Information Retrieval [0.0]
本稿では,言語間情報検索手法の比較評価を行う。
クエリ変換(QT)にはGoogle Translate, NLLB, mBART50, Cross-Lingual Embeddings (CLE)が使用されている。
BGE-M3は最も高いRecall@15を達成し、シンハラ英語では96.2%、タミル英語では95.6%に達した。
論文 参考訳(メタデータ) (2026-08-13T04:49:39Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳(メタデータ) (2026-06-02T07:01:33Z) - RoIt-XMASA: Multi-Domain Multilingual Sentiment Analysis Dataset for Romanian and Italian [2.294953003828613]
RoIt-XMASAは、クロスプラットフォームのマルチドメインAmazon Sentiment Analysisをイタリア語とルーマニア語に拡張した多言語データセットである。
メタ学習係数による損失逆転を利用した多目的逆行学習フレームワークを提案する。
Llama-3.1-8Bは58.43%のF1スコアを達成し、プロンプトベースのアプローチの効率とタスク固有の微調整の性能の間に有意義なトレードオフがあることを示した。
論文 参考訳(メタデータ) (2026-04-18T20:21:40Z) - Parameter Efficient Multimodal Instruction Tuning for Romanian Vision Language Models [2.1990085634399428]
ルーマニアのマルチモーダルNLP資源ギャップの低減に寄与する。
広く知られているFlickr30kデータセットをルーマニア語に翻訳し、視覚的な質問応答のためにさらに拡張します。
ルーマニアの視覚的質問応答に対して,オープンソースのVLMを微調整することで,データセットの有用性を実証する。
論文 参考訳(メタデータ) (2025-12-16T21:36:28Z) - Winning with Less for Low Resource Languages: Advantage of Cross-Lingual English_Persian Argument Mining Model over LLM Augmentation [0.12744523252873352]
本稿では,低リソース言語における議論マイニングのための言語間アプローチを活用することを目的とする。
我々は、高リソース言語として英語、低リソース言語としてペルシア語でモデルを検証した。
論文 参考訳(メタデータ) (2025-11-25T21:36:39Z) - XplaiNLP at CheckThat! 2025: Multilingual Subjectivity Detection with Finetuned Transformers and Prompt-Based Inference with Large Language Models [2.749729059235755]
このノートには、XplaiがCheckThat!に提出されたことを報告しています。
単言語および機械翻訳によるトレーニングデータに基づいて,変換器エンコーダの教師付き微調整,EuroBERT,XLM-RoBERTa,ジャーマン-BERTの2つの手法を評価する。
ドイツ語の場合、タイポロジーに関連のある言語から翻訳されたトレーニングデータに基づいて微調整されたドイツ語-BERTモデルでは、ベースライン上での競争性能が向上する。
論文 参考訳(メタデータ) (2025-09-15T16:53:41Z) - Optimized Text Embedding Models and Benchmarks for Amharic Passage Retrieval [49.1574468325115]
トレーニング済みのAmharic BERTとRoBERTaのバックボーンをベースとした,Amharic固有の高密度検索モデルを提案する。
提案したRoBERTa-Base-Amharic-Embedモデル(110Mパラメータ)は,MRR@10の相対的な改善を17.6%達成する。
RoBERTa-Medium-Amharic-Embed (42M)のようなよりコンパクトな派生型は13倍以上小さいまま競争力を維持している。
論文 参考訳(メタデータ) (2025-05-25T23:06:20Z) - MMTEB: Massive Multilingual Text Embedding Benchmark [85.18187649328792]
我々はMMTEBベンチマーク(Massive Multilingual Text Embedding Benchmark)を紹介する。
MMTEBは250以上の言語で500以上の品質管理された評価タスクをカバーしている。
我々は複数の多言語ベンチマークを開発し、モデルを代表的に評価する。
論文 参考訳(メタデータ) (2025-02-19T10:13:43Z) - Think Carefully and Check Again! Meta-Generation Unlocking LLMs for Low-Resource Cross-Lingual Summarization [108.6908427615402]
CLS(Cross-lingual summarization)は、異なるターゲット言語でソーステキストの要約を生成することを目的としている。
現在、インストラクションチューニング付き大規模言語モデル (LLM) は様々な英語タスクで優れている。
近年の研究では、LCSタスクにおけるLCMの性能は、わずかな設定でも満足できないことが示されている。
論文 参考訳(メタデータ) (2024-10-26T00:39:44Z) - "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。
NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。
本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
論文 参考訳(メタデータ) (2023-12-18T17:18:04Z) - Massively Multilingual Shallow Fusion with Large Language Models [62.76735265311028]
複数の言語で浅い融合のための単一多言語言語モデル(LM)を訓練する。
GLaMは、推論中に同様の計算を行う密度の高いLMと比較して、イングランドのロングテールテストのWERを4.4%削減する。
多言語浅層融合タスクでは、GLaMは50言語中41言語を改善し、平均相対的なWERの3.85%、最大10%の削減を実現している。
論文 参考訳(メタデータ) (2023-02-17T14:46:38Z) - AmericasNLI: Evaluating Zero-shot Natural Language Understanding of
Pretrained Multilingual Models in Truly Low-resource Languages [75.08199398141744]
我々は、XNLI(Conneau et al)の拡張である AmericasNLI を提示する。
は、アメリカ大陸の10の原住民の言語である。
XLM-Rで実験を行い、複数のゼロショットおよび翻訳ベースのアプローチをテストします。
XLM-Rのゼロショット性能は全10言語で低調であり、平均性能は38.62%である。
論文 参考訳(メタデータ) (2021-04-18T05:32:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。