論文の概要: A Komi-Yazva--Russian Parallel Corpus and Evaluation Protocol for Zero- and Few-Shot LLM Translation

• arxiv url: http://arxiv.org/abs/2606.06420v1
• Date: Thu, 04 Jun 2026 17:26:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.994611
• Title: A Komi-Yazva--Russian Parallel Corpus and Evaluation Protocol for Zero- and Few-Shot LLM Translation
• Title（参考訳）: Komi-Yazva- Russian Parallel Corpus and Evaluation Protocol for Zero- and Few-Shot LLM Translation
• Authors: Petr Parshakov,
• Abstract要約: 我々は,最初のコミヤズヴァ-ロシア並列コーパスを明示的な評価プロトコルとともに提示する。 データセットには、74の物語テキストから457の一致した文対が含まれている。 我々はこの設定を用いて、Komi-Yazva-to- Russian翻訳における近代的な大規模言語モデルの比較を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present the first Komi-Yazva--Russian parallel corpus together with an explicit evaluation protocol for studying LLM translation in an endangered, extremely low-resource setting. The dataset contains 457 aligned sentence pairs from 74 narrative texts and is accompanied by documented provenance, sentence-level alignment, and story identifiers that enable leakage-aware evaluation. We use this setup to compare modern large language models on Komi-Yazva-to-Russian translation under severe parallel-data scarcity in zero-shot and retrieval-based few-shot regimes. The protocol includes story-level cross-validation, deterministic retrieval for few-shot prompting, strict validation of generated outputs, complementary reference-based and judge-based metrics, and story-level uncertainty estimates. Across models, LLMs produce non-trivial translations, but performance varies strongly by model family and prompting regime. Retrieval-based few-shot prompting consistently improves over zero-shot prompting, while gains beyond a small retrieved context remain limited. The results show that evaluative conclusions in this setting depend materially on metric choice and failure handling, so the paper frames the corpus as both a dataset contribution and a reproducible evaluation testbed for endangered-language machine translation.
• Abstract（参考訳）: 絶滅危惧の極低リソース環境下でのLLM翻訳の明確な評価プロトコルとともに,最初のKomi-Yazva- Russian並列コーパスを提案する。 データセットは、74の物語テキストから457の整列文対を含み、文書化された証明、文レベルのアライメント、および漏洩認識評価を可能にするストーリー識別子が付属する。 我々はこの設定を用いて、ゼロショットおよび検索に基づく少数ショットレギュレーションにおいて、重度の並列データ不足の下で、Komi-Yazva-to- Russian翻訳における現代の大規模言語モデルを比較する。 このプロトコルには、ストーリーレベルのクロスバリデーション、数発のプロンプトのための決定論的検索、生成された出力の厳密な検証、補完的な参照ベースおよび判断ベースメトリクス、ストーリーレベルの不確実性推定が含まれる。 モデル全体では、LLMは非自明な翻訳を生成するが、性能はモデルファミリとプロンプトレジームによって大きく異なる。 検索ベースの少数ショットプロンプトはゼロショットプロンプトよりも一貫して改善されるが、小さな検索されたコンテキストを超えるゲインは限定的である。 以上の結果から,本論文では,提案したコーパスを,データセットのコントリビューションと,絶滅危惧語機械翻訳のための再現性評価の両面から評価する。

関連論文リスト

• Multilingual Coreference Resolution via Cycle-Consistent Machine Translation [20.187814511700243]
  コア参照解決はコアNLPタスクであり、機械翻訳、質問応答、文書要約など、幅広いダウンストリームアプリケーションを持つ。 本稿では,機械翻訳(MT)を英語からターゲットとする低リソース言語に活用する新しいコア推論分解パイプラインを提案する。 4つの低リソース言語の実験から、私たちのパイプラインはコア参照の解決において大きなパフォーマンス向上をもたらします。
  論文  参考訳（メタデータ） (2026-06-03T21:06:55Z)
• LLMs as annotators of credibility assessment in Danish asylum decisions: evaluating classification performance and errors beyond aggregated metrics [21.604030114864642]
  オフザシェルフの大規模言語モデル(LLM)は、テキストアノテーションの自動化にますます利用されている。 デンマークのテキスト分類データセットであるRAB-Credを紹介した。 本研究は,21個のオープンウェイトモデルと30個のシステム・ユーザ・プロンプトの組み合わせをベンチマークし,ゼロショットと少数ショットの分類におけるモデルとプロンプトの選択の効果を体系的に評価する。
  論文  参考訳（メタデータ） (2026-05-13T12:07:47Z)
• LLM-Based Evaluation of Low-Resource Machine Translation: A Reference-less Dialect Guided Approach with a Refined Sylheti-English Benchmark [1.3927943269211591]
  本稿では,Large Language Models(LLMs)に基づく機械翻訳評価を強化する包括的フレームワークを提案する。 我々は、Sylheti- English文ペア、対応する機械翻訳、およびネイティブ話者が注釈付けしたダイレクトアセスメント(DA)スコアを組み込むことで、ONUBADデータセットを拡張した。 評価の結果,提案したパイプラインは既存の手法より常に優れており,スピアマン相関において+0.1083の高利得が得られることがわかった。
  論文  参考訳（メタデータ） (2025-05-18T07:24:13Z)
• Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering [68.3400058037817]
  本稿では,TREQA(Translation Evaluation via Question-Answering)について紹介する。 我々は,TREQAが最先端のニューラルネットワークとLLMベースのメトリクスより優れていることを示し,代用段落レベルの翻訳をランク付けする。
  論文  参考訳（メタデータ） (2025-04-10T09:24:54Z)
• When LLMs Struggle: Reference-less Translation Evaluation for Low-resource Languages [9.138590152838754]
  セグメントレベルの品質評価(QE)は言語間理解の難しい課題である。 ゼロ/フェーショットシナリオにおいて,大規模言語モデル (LLM) を包括的に評価する。 この結果から,エンコーダを用いた微調整QEモデルでは,プロンプトベースアプローチの方が優れていたことが示唆された。
  論文  参考訳（メタデータ） (2025-01-08T12:54:05Z)
• Language Models and Cycle Consistency for Self-Reflective Machine Translation [1.79487674052027]
  我々は、ソース言語Aからターゲット言語Bへの複数の翻訳候補を生成し、その後、これらの候補を元の言語Aに翻訳する。 トークンレベルの精度や精度などの指標を用いて、原文と裏文の周期一貫性を評価することにより、言語Bの翻訳品質を暗黙的に推定する。 各原文に対して、翻訳候補を、原文と最適なサイクル整合性で同定し、最終回答とする。
  論文  参考訳（メタデータ） (2024-11-05T04:01:41Z)
• Narrowing the Gap between Zero- and Few-shot Machine Translation by Matching Styles [53.92189950211852]
  大規模言語モデルは、文脈内学習を用いたゼロショットと少数ショットの例を用いて、機械翻訳に一般化する能力を示した。 本稿では,このギャップに寄与する要因について検討し,対象コーパスの書字スタイルを一致させることで,このギャップをほとんど(約70%)閉鎖できることを示す。
  論文  参考訳（メタデータ） (2023-11-04T03:18:45Z)
• Understanding Translationese in Cross-Lingual Summarization [106.69566000567598]
  言語間要約(MS)は、異なる対象言語で簡潔な要約を生成することを目的としている。 大規模なCLSデータを集めるために、既存のデータセットは通常、それらの生成に翻訳を伴います。 本稿では、まず、CLSデータセット構築の異なるアプローチが、異なるレベルの翻訳に結びつくことを確認する。
  論文  参考訳（メタデータ） (2022-12-14T13:41:49Z)
• On the Limitations of Cross-lingual Encoders as Exposed by Reference-Free Machine Translation Evaluation [55.02832094101173]
  クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。 本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。 事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。 参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
  論文  参考訳（メタデータ） (2020-05-03T22:10:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。