論文の概要: VWEN: A Curated Small Language Model for Vietnamese Paraphrasing
- arxiv url: http://arxiv.org/abs/2611.15587v1
- Date: Wed, 11 Nov 2026 15:08:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.177903
- Title: VWEN: A Curated Small Language Model for Vietnamese Paraphrasing
- Title(参考訳): VWEN:ベトナム語パラフレーズのためのキュレートされた小さな言語モデル
- Abstract要約: VWENは4段パイプラインで選択された約7kサンプルに基づいて微調整される。
同じパイプラインからのパラフレーズのみのレシピと、ViSPコーパスでのトレーニングを比較した。
- 参考スコア(独自算出の注目度): 2.0305676256390934
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present VWEN, a 0.8B-parameter model for Vietnamese paraphrasing at a requested level of change and for five related tasks: generating several paraphrases, simplification, gist, register transfer and paraphrase judgement. VWEN is Qwen3.5-0.8B fine-tuned on about 7k samples chosen by a four-stage pipeline: rules and deduplication, a bidirectional entailment filter, a divergence score that assigns low and high paraphrase levels, and selection for coverage and instruction-following difficulty. We compare it with paraphrase-only recipes from the same pipeline and with training on the ViSP corpus under matched and larger step budgets. On high-divergence paraphrasing, VWEN reaches a success rate (requested level reached and meaning preserved) of 0.61 against 0.46 for the ViSP model at matched compute, a difference that holds on inputs resembling ViSP. Given four times more training examples, the ViSP model closes the gap on such inputs but not on questions, which ViSP lacks and which it often turns into statements. Across all comparisons the entailment filter is the most effective stage. Training on paraphrases alone erases abilities of the base model that the multi-task data preserves.
- Abstract(参考訳): 本稿ではベトナム語のパラメタモデルであるVWENについて述べる。ベトナム語のパラパラメタモデルでは,要求レベルの変化と,いくつかのパラフレーズの生成,単純化,ギスト,レジスタ転送,パラフレーズ判断の5つの関連課題について述べる。
VWENはQwen3.5-0.8Bで、4段階のパイプラインで選択された約7kのサンプルに基づいて微調整されている。
同じパイプラインからのパラフレーズのみのレシピと、マッチしたより大きなステップ予算の下でのViSPコーパスでのトレーニングを比較した。
高分割パラフレーズでは、VWENは一致した計算におけるViSPモデルに対して0.61と0.46に対して成功率(要求レベルと保存された意味)に達する。
トレーニングの4倍の例が与えられた場合、ViSPモデルはそのような入力のギャップを埋めるが、ViSPが欠落し、しばしばステートメントになるような質問には答えない。
すべての比較において、エンテーメントフィルタが最も効果的な段階である。
パラフレーズのみのトレーニングは、マルチタスクデータが保存するベースモデルの能力を消去する。
関連論文リスト
- Neurograf v1: An End-to-End Romanian-First Language Model Family [0.0]
実験的なエンドツーエンドのルーマニア語第一言語モデルパイプラインであるNeurograf v1を提案する。
パイプラインは、ルーマニアの635GBのコーパスであるRoSferaと、175.7百万のドキュメント、80kバイトレベルのBPEトークンライザ、160Mから6Bパラメータのデコーダのみの5つのモデル、131億のトークンでトレーニングされた5つのデコーダのみのモデル、3つの命令調整されたアシスタント、2つの対照的に訓練された埋め込みモデルで構成されている。
論文 参考訳(メタデータ) (2026-10-09T07:28:03Z) - Dynamic Context Evolution for Scalable Synthetic Data Generation [0.0]
大規模言語モデルは、多くのバッチで独立して繰り返し出力を生成する。
3つのメカニズムからなる動的コンテキスト進化(DCE)を紹介する。
DCEは、メモリ状態と回転多様性戦略を使用して、各バッチの生成プロンプトを再構築する。
論文 参考訳(メタデータ) (2026-04-08T14:38:11Z) - ViCLSR: A Supervised Contrastive Learning Framework with Natural Language Inference for Natural Language Understanding Tasks [9.232020878700967]
ViR(Vietnamese Contrastive Learning for Sentence Representations)は、ベトナム語における文の埋め込みを最適化するために設計された、教師付きコントラスト学習フレームワークである。
実験の結果,5つのベンチマークNLUデータセット上で,VRは強力なモノリンガル事前学習モデルであるPhoBERTよりも優れていた。
論文 参考訳(メタデータ) (2026-03-22T06:46:26Z) - Reasoning Path Divergence: A New Metric and Curation Strategy to Unlock LLM Diverse Thinking [49.8843966537226]
テスト時間スケーリング(TTS)は,大規模言語モデル(LLM)の推論能力向上に有効であることが証明された。
提案手法は「一問題・複数解」(1PNS)の学習パラダイムであり,モデルから妥当な推論軌跡を抽出する手法である。
Reasoning Path Divergence (RPD) を用いて、問題ごとの最大多様な解集合と微調整Qwen3-4B-Baseをキュレートする。
論文 参考訳(メタデータ) (2025-10-30T04:08:53Z) - Token-Level Inference-Time Alignment for Vision-Language Models [58.41370989069588]
VLM(Vision-Language Models)は、現代のマルチモーダルインテリジェンスの重要なバックボーンとなっている。
本稿では,基本VLMを凍結し,その分布を近似する報酬モデルをトレーニングする軽量フレームワークTITAを提案する。
推測中、暗黙の選好信号は報酬モデルと目標VLMの対数確率比として抽出され、密集した自己回帰フィードバックが得られる。
論文 参考訳(メタデータ) (2025-10-20T09:58:03Z) - SoTA with Less: MCTS-Guided Sample Selection for Data-Efficient Visual Reasoning Self-Improvement [100.85923086072204]
我々はThinkLite-VLを紹介した。これは最先端(SoTA)パフォーマンスを実現する視覚推論モデルのファミリーで、トレーニングサンプルの桁数を桁違いに減らしている。
我々はMonte Carlo Tree Search (MCTS) を用いて、各インスタンスの解決に必要な視覚言語モデル(VLM)の推論反復数を用いてサンプルの難易度を測定する。
ThinkLite-VL-7BとThinkLite-VL-72Bは、8つの視覚的推論ベンチマークにおいて、それぞれのベースモデルよりも大幅に優れていた。
論文 参考訳(メタデータ) (2025-04-10T17:49:05Z) - BvSP: Broad-view Soft Prompting for Few-Shot Aspect Sentiment Quad Prediction [10.313467662221319]
アスペクト感情クワッド予測(ASQP)は、アスペクト項、意見項、アスペクトカテゴリー、感情極性を含む4つのアスペクトベースの要素を予測することを目的としている。
この研究はASQPを数ショットのシナリオに定式化し、実際のアプリケーションで高速に適応することを目的としている。
論文 参考訳(メタデータ) (2024-06-11T15:32:32Z) - BARTPhoBEiT: Pre-trained Sequence-to-Sequence and Image Transformers
Models for Vietnamese Visual Question Answering [3.0938904602244355]
VQA(Visual Question Answering)は、自然言語処理(NLP)とコンピュータビジョン(CV)を統合した複雑で要求の多いタスクである。
本稿では,BARTPhoBEiTというトランスフォーマーベースのベトナム語モデルを紹介する。
このモデルは、ベトナムのイメージトランスフォーマーから事前訓練されたシーケンス・ツー・シーケンスと双方向エンコーダ表現を含み、ベトナムのVQAデータセットを評価する。
論文 参考訳(メタデータ) (2023-07-28T06:23:32Z) - Vector-Quantized Input-Contextualized Soft Prompts for Natural Language
Understanding [62.45760673220339]
本稿では,Vector-quantized Input-contextualized Prompt Tuning (VIP)を提案する。
自然言語理解タスクの幅広い範囲において,提案するVIPフレームワークが1.19%の差でPTモデルに勝っている。
論文 参考訳(メタデータ) (2022-05-23T03:51:27Z) - OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource
Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。
大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。
実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
論文 参考訳(メタデータ) (2022-05-17T19:52:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。