論文の概要: HERIT: Enabling Global Access to Hanja-to-English Historical Translation by Mitigating Temporal Bias
- arxiv url: http://arxiv.org/abs/2611.04949v1
- Date: Tue, 03 Nov 2026 14:10:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-09 12:34:18.400608
- Title: HERIT: Enabling Global Access to Hanja-to-English Historical Translation by Mitigating Temporal Bias
- Title(参考訳): HERIT: 時相バイアスの緩和による漢訳・英訳のグローバルアクセスの実現
- Abstract要約: 歴史的アーカイブは多分野の研究には重要でないが、深刻な言語障壁のため、世界中でアクセスできないままである。
提案するHERITは,ハンジャ・朝鮮語コーパスから高品質な擬似ラベル付きデータを生成する。
これまでに翻訳されていないアーカイブの部分を我々のモデルで翻訳し、研究者のためにこれらのリソースをグローバルに利用できるようにした。
- 参考スコア(独自算出の注目度): 1.0026496861838445
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Historical archives are invaluable for multidisciplinary research but remain inaccessible globally due to severe language barriers. While manual translation is prohibitively expensive and time-consuming, simply applying existing machine translation models is inadequate due to unique linguistic nuances and the temporal bias inherent in scarce human-labeled corpora. To address these challenges, we propose HERIT, a systematic domain-adaptation pipeline that leverages retrieval-augmented generation (RAG) to generate high-quality pseudo-labeled data from abundant Hanja-Korean corpora. This approach substantially expands the training dataset, mitigating both data scarcity and temporal overfitting across different historical periods. Extensive automated and human evaluations demonstrate that HERIT consistently outperforms baselines. Finally, we translate previously untranslated portions of the archives using our model, thereby enabling global access to these resources for researchers.
- Abstract(参考訳): 歴史的アーカイブは多分野の研究には重要でないが、深刻な言語障壁のため、世界中でアクセスできないままである。
手動翻訳は極めて高価で時間を要するが、言語的な独特のニュアンスと、人間のラベルの少ないコーパスに固有の時間バイアスのために、既存の機械翻訳モデルを適用するだけでは不十分である。
これらの課題に対処するために,検索拡張生成(RAG)を利用した体系的ドメイン適応パイプラインであるHERITを提案し,ハンジャ・韓国の豊富なコーパスから高品質な擬似ラベルデータを生成する。
このアプローチはトレーニングデータセットを大幅に拡張し、データ不足と時間的オーバーフィッティングの両方を異なる歴史的期間にわたって緩和する。
大規模な自動評価と人的評価は、HERITがベースラインを一貫して上回っていることを示している。
最後に,我々のモデルを用いて,それまで翻訳されていないアーカイブの部分を翻訳し,研究者のためにこれらのリソースをグローバルに利用できるようにした。
関連論文リスト
- Reproducing Omitted Temporal Expressions in Japanese News for Retrieval-Augmented Applications [0.7448254811651419]
ニュース記事には、しばしば省略された時間表現が含まれており、出版日を参照して解釈する必要がある。
我々は,省略した時間表現を具体的な日時や時間間隔として,公開日を外部コンテキストとして再現することに重点を置いている。
本稿では,日本語ニュース記事のルールベースパイプラインであるjaROTEを提案する。
論文 参考訳(メタデータ) (2026-09-09T00:49:27Z) - Loong: A Human-Like Long Document Translation Agent with Observe-and-Act Adaptive Context Selection [53.35431894360283]
人型長文翻訳エージェントであるLoongを提案する。
すべての歴史に受動的に出席する代わりに、Loongは翻訳指導の最適な文脈を適応的に特定するために深い推論を行う。
ロンは英語、中国語、ドイツ語、フランス語の翻訳精度を大幅に向上させた。
論文 参考訳(メタデータ) (2026-05-28T17:32:25Z) - All Languages Matter: Understanding and Mitigating Language Bias in Multilingual RAG [87.74635133954975]
現在のマルチ言語検索・拡張生成システム(mRAG)は,再ランク付け時に言語バイアスに悩まされていることを示す。
textittextbfLanguage-textbfAgnostic textbfUtility-driven textbfReranker textbfAlignment (LAURA)を提案する。
論文 参考訳(メタデータ) (2026-04-22T05:33:06Z) - Grounding Arabic LLMs in the Doha Historical Dictionary: Retrieval-Augmented Understanding of Quran and Hadith [0.0]
ダイアクロニック・レキソグラフィーの知識を基盤とした検索強化型生成フレームワークを開発した。
汎用コーパスに依存する従来のRAGシステムとは異なり、我々の手法はドハ歴史辞典から証拠を回収する。
論文 参考訳(メタデータ) (2026-03-25T06:09:42Z) - Two Spelling Normalization Approaches Based on Large Language Models [3.207455883863625]
文書の正書法を 現代標準と整合させる
本稿では,大規模言語モデルに基づく2つの新しいアプローチを提案する。そのうちの1つは教師なしの訓練であり,もう1つは機械翻訳のための訓練である。
我々の評価は多様な言語や歴史的期間を含む複数のデータセットにまたがっており、両者が奨励的な結果を得た一方で、統計機械翻訳がこのタスクに最も適した技術であると思われるという結論に至った。
論文 参考訳(メタデータ) (2025-06-29T15:25:09Z) - RAPID: Efficient Retrieval-Augmented Long Text Generation with Writing Planning and Information Discovery [69.41989381702858]
直接生成やマルチエージェントの議論といった既存の手法は、幻覚、トピックの不整合、重大な遅延といった問題に悩まされることが多い。
本稿では,効率的な検索拡張長文生成フレームワークRAPIDを提案する。
私たちの仕事は、自動化された長文生成の課題に対して、堅牢で効率的なソリューションを提供します。
論文 参考訳(メタデータ) (2025-03-02T06:11:29Z) - Shared Heritage, Distinct Writing: Rethinking Resource Selection for East Asian Historical Documents [60.348103523743276]
古典中国語から漢語・漢文への言語間移動可能性の仮定を疑問視する。
実験の結果,漢文で書かれた古代朝鮮語文書の言語モデル性能に対する古典中国語データセットの影響は最小限であった。
論文 参考訳(メタデータ) (2024-11-07T15:59:54Z) - Multilingual Event Extraction from Historical Newspaper Adverts [42.987470570997694]
本稿では,歴史文献の新たな領域からのイベント抽出の課題について述べる。
我々は,近代植民地時代の新聞広告からなる,英語,フランス語,オランダ語に新しい多言語データセットを導入する。
注記データが少ない場合でも,問題を抽出的QAタスクとして定式化することにより,驚くほど優れた結果が得られることがわかった。
論文 参考訳(メタデータ) (2023-05-18T12:40:41Z) - No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。
何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。
本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
論文 参考訳(メタデータ) (2022-07-11T07:33:36Z) - Evaluating Factuality in Generation with Dependency-level Entailment [57.5316011554622]
本稿では,依存弧のレベルで分解するエンテーメントの新たな定式化を提案する。
このデータに基づいて訓練された依存関係弧包含モデルにより,文レベルの手法よりもパラフレーズ化や要約における現実的不整合を識別できることが示されている。
論文 参考訳(メタデータ) (2020-10-12T06:43:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。