論文の概要: Direct Image-to-Modern Vietnamese Translation of Han-Nom Manuscripts via Multimodal RLHF Preference Alignment
- arxiv url: http://arxiv.org/abs/2607.11434v1
- Date: Mon, 13 Jul 2026 11:40:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-14 17:47:21.455915
- Title: Direct Image-to-Modern Vietnamese Translation of Han-Nom Manuscripts via Multimodal RLHF Preference Alignment
- Title（参考訳）: マルチモーダルRLHF選好アライメントによるハン・ノーム写本の直接画像から現代ベトナム語への翻訳
- Abstract要約: 漢能写本を現代ベトナム語に翻訳することは、歴史ページがしばしば劣化し、文字が希少であり、並行的な監督が限られているため、困難である。
原稿画像にベトナム語生成を規定し,ハン・ノームの原文をアライメントするマルチモーダルなRLHF選好アライメントフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 3.680618315429824
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Translating Han-Nom manuscripts into modern Vietnamese is challenging because historical pages are often degraded, the script contains rare logographic characters, and parallel supervision is limited. We propose a multimodal RLHF preference-alignment framework that conditions Vietnamese generation on manuscript images and aligned Han-Nom source text. The model combines four streams: CLIP ViT-L/14@336 for visual features, bert-base-chinese for Han-Nom representations, vinai/phobert-base for Vietnamese representations, and T5-small encoder states. Modality-specific projections and a fusion block compress the resulting 2,048-dimensional concatenation into a shared 512-dimensional representation. Starting from the same supervised fine-tuned policy, we compare PPO, DPO, and KTO under matched work-level macro-averaged evaluation. DPO achieves the best BLEU-4, ROUGE-L, BERTScore, semantic similarity, CER, WER, and token accuracy, whereas PPO obtains the highest precision, recall, and F1. KTO remains competitive through its desirable-undesirable utility objective. All preference-aligned policies improve the BLEU-4 and semantic-similarity scores available for the SFT baseline. These results indicate that multimodal preference optimization complements supervised learning by improving lexical and semantic quality in low-resource historical translation.
- Abstract（参考訳）: 漢能写本を現代ベトナム語に翻訳することは、歴史ページがしばしば劣化し、文字が希少であり、並行的な監督が限られているため、困難である。
原稿画像にベトナム語生成を規定し,ハン・ノームの原文をアライメントするマルチモーダルなRLHF選好アライメントフレームワークを提案する。
CLIP ViT-L/14@336、Han-Nom表現のbert-base-chinese、ベトナム表現のvinai/phobert-base、T5小エンコーダ状態の4つのストリームで構成されている。
モダリティ固有の射影と融合ブロックは、2,048次元の連結を共有512次元の表現に圧縮する。
また,PPO,DPO,KTOを作業レベルのマクロ平均評価で比較した。
DPOは最高のBLEU-4、ROUGE-L、BERTScore、セマンティック類似性、CER、WER、トークンの精度を達成する一方、PPOは最高精度、リコール、F1を得る。
KTOは、望ましくない実用目的を通じて競争力を維持している。
すべての嗜好整合ポリシーはBLEU-4とSFTベースラインで利用可能な意味相似スコアを改善している。
これらの結果から,マルチモーダルな選好最適化は,低リソース履歴翻訳における語彙的・意味的品質の向上によって教師あり学習を補完することが示された。
関連論文リスト
- Polite on the Surface, Wrong in Practice: A Curated Dataset for Fixing Honorific Failures in Multilingual Bangla Generation [0.0815557531820863]
我々はtextbfBangLa アプリケーションと DialoguE 生成のための新しい,文化的に整合した命令チューニングデータセットを提案する。
我々はこのリソースを利用して、DeepSeek-8BやLLaMA-3.2-3Bなど、先進的なオープンウェイトアーキテクチャを体系的に微調整し、評価する。
我々の経験的評価は、データセットに微調整されたモデルが、構造的忠実度と名誉的アライメントを大幅に改善することを示している。
論文 参考訳（メタデータ） (2026-05-21T13:43:07Z) - ViCLIP-OT: The First Foundation Vision-Language Model for Vietnamese Image-Text Retrieval with Optimal Transport [0.0]
ベトナム語画像テキスト検索に特化して設計された基盤視覚言語モデルであるViCLIP-OTを導入する。
提案フレームワークは,CLIPスタイルのコントラスト学習と類似グラフ正規化最適輸送(SIGROT)損失を統合し,グローバルな相互整合性を高める。
論文 参考訳（メタデータ） (2026-02-26T06:51:25Z) - Enhancing OCR for Sino-Vietnamese Language Processing via Fine-tuned PaddleOCRv5 [0.0]
我々は,Han-Nomテキストの文字認識を改善するためにPaddleOCRv5の微調整手法を提案する。
我々は、古代ベトナムの漢文写本のキュレートされた部分集合を用いて、テキスト認識モジュールを再訓練する。
実験の結果,精度は37.5%から50.0%に向上した。
論文 参考訳（メタデータ） (2025-10-05T02:34:38Z) - MCM-DPO: Multifaceted Cross-Modal Direct Preference Optimization for Alt-text Generation [98.76036290106316]
MCM-DPOは、正確なアノテーションを必要とせず、好みのペアでより良い選択肢を識別することを学ぶことで、alt-text生成を改善する。
高品質アノテートデータセットと選好ラベル付きデータセットが不足していることから,我々はTAltとPAltという2つの大規模かつ高品質なデータセットを構築した。
MCM-DPO法はDPO法とSFT法を相反する性能を示した。
論文 参考訳（メタデータ） (2025-10-01T08:25:18Z) - Free Lunch Alignment of Text-to-Image Diffusion Models without Preference Image Pairs [36.42060582800515]
本稿では,T2Iモデルの"フリーランチ"アライメントを可能にするフレームワークであるText Preference Optimization (TPO)を紹介する。
TPOは、ミスマッチしたプロンプトよりもマッチしたプロンプトを好むようにモデルを訓練することで機能する。
我々のフレームワークは汎用的で、既存の嗜好ベースのアルゴリズムと互換性がある。
論文 参考訳（メタデータ） (2025-09-30T04:32:34Z) - NL in the Middle: Code Translation with LLMs and Intermediate Representations [56.77064674776534]
大きな言語モデル(LLM)はバグのあるコード翻訳を生成する。
翻訳精度を向上させるための有望な道の1つは中間表現である。
LLMに基づくコード翻訳が中間表現の恩恵を受けるかどうかを検討する。
論文 参考訳（メタデータ） (2025-07-11T14:29:21Z) - Text to Image for Multi-Label Image Recognition with Joint Prompt-Adapter Learning [69.33115351856785]
本稿では,PEFTのテキストキャプションのみを使用する場合のモダリティギャップ問題に対処するため,T2I-PALと呼ばれる新しい手法を提案する。
T2I-PALの中核となる設計は、事前訓練されたテキスト-画像生成モデルを利用して、テキストキャプションからフォトリアリスティックで多様な画像を生成することである。
MS-COCO、VOC2007、NAS-WIDEを含む複数のベンチマークに対する大規模な実験は、我々のT2I-PALが認識性能を平均3.47%向上させることができることを示している。
論文 参考訳（メタデータ） (2025-06-12T11:09:49Z) - CHiP: Cross-modal Hierarchical Direct Preference Optimization for Multimodal LLMs [107.21334626890713]
MLLM(Multimodal Large Language Models)は、その優れた能力にもかかわらず、幻覚に苦しむ。
本稿では,これらの制約に対処するクロスモーダル階層型直接選好最適化(CHiP)を提案する。
定量的および定性的な分析によってCHiPを評価し,幻覚の低減効果を複数のベンチマークで実証した。
論文 参考訳（メタデータ） (2025-01-28T02:05:38Z) - Modality-Fair Preference Optimization for Trustworthy MLLM Alignment [22.093944381988496]
MLLM(Multimodal large language model)は、様々なタスクにおいて顕著な成功を収めている。
しかし、視覚的エンコーダとテキスト的エンコーダの別個のトレーニングは、しばしばモダリティの誤った調整をもたらす。
これらの不正確さは、実世界の応用におけるMLLMの信頼性を著しく損なう。
論文 参考訳（メタデータ） (2024-10-20T08:56:52Z) - Preserving Multi-Modal Capabilities of Pre-trained VLMs for Improving Vision-Linguistic Compositionality [69.76121008898677]
きめ細かい選択校正CLIPは局所的硬陰性損失と選択的校正正規化を統合している。
評価の結果、FSC-CLIPは、最先端モデルと同等の合成性を達成できるだけでなく、強力なマルチモーダル能力を保っていることがわかった。
論文 参考訳（メタデータ） (2024-10-07T17:16:20Z) - FINEMATCH: Aspect-based Fine-grained Image and Text Mismatch Detection and Correction [66.98008357232428]
我々は新しいアスペクトベースのきめ細かいテキストと画像マッチングベンチマークであるFineMatchを提案する。
FineMatchはテキストと画像のミスマッチの検出と修正に焦点を当てている。
FineMatchで訓練されたモデルは、きめ細かいテキストや画像のミスマッチを検出する能力の向上を示す。
論文 参考訳（メタデータ） (2024-04-23T03:42:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。