論文の概要: GreenMind: A Next-Generation Vietnamese Large Language Model for Structured and Logical Reasoning
- arxiv url: http://arxiv.org/abs/2504.16832v1
- Date: Wed, 23 Apr 2025 15:48:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 15:28:31.906994
- Title: GreenMind: A Next-Generation Vietnamese Large Language Model for Structured and Logical Reasoning
- Title（参考訳）: GreenMind: 構造化および論理推論のための次世代ベトナムの大規模言語モデル
- Authors: Luu Quy Tung, Hoang Quoc Viet, Vo Trong Thu,
- Abstract要約: CoT(Chain-of-Thought)は、最終回答を生成する前に中間推論ステップを必要とするLCMタスクに取り組むための堅牢なアプローチである。
グループ相対政策最適化に基づく微調整戦略に触発されたベトナムの推論モデルであるGreenMind-Medium-14B-R1を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Chain-of-Thought (CoT) is a robust approach for tackling LLM tasks that require intermediate reasoning steps prior to generating a final answer. In this paper, we present GreenMind-Medium-14B-R1, the Vietnamese reasoning model inspired by the finetuning strategy based on Group Relative Policy Optimization. We also leverage a high-quality Vietnamese synthesized reasoning dataset and design two reward functions to tackle the main limitations of this technique: (i) language mixing, where we explicitly detect the presence of biased language characters during the process of sampling tokens, and (ii) we leverage Sentence Transformer-based models to ensure that the generated reasoning content maintains factual correctness and does not distort the final output. Experimental results on the Vietnamese dataset from the VLSP 2023 Challenge demonstrate that our model outperforms prior works and enhances linguistic consistency in its responses. Furthermore, we extend our evaluation to SeaExam-a multilingual multiple-choice dataset, showing the effectiveness of our reasoning method compared to few-shot prompting techniques.
- Abstract（参考訳）: CoT(Chain-of-Thought)は、最終回答を生成する前に中間推論ステップを必要とするLCMタスクに取り組むための堅牢なアプローチである。
本稿では,グループ相対政策最適化に基づく微調整戦略に触発されたベトナムの推論モデルであるGreenMind-Medium-14B-R1を提案する。
また、ベトナムの高品質な合成推論データセットを活用し、2つの報酬関数を設計し、この技法の主な限界に対処する。
i) トークンをサンプリングする過程でバイアス付き言語文字の存在を明示的に検出する言語ミキシング
(2)文変換器を用いたモデルを用いて、生成した推論内容が事実的正確性を維持し、最終的な出力を歪ませないようにする。
VLSP 2023 Challengeによるベトナムのデータセットの実験結果から,我々のモデルは先行研究より優れ,応答の言語的一貫性が向上することが示された。
さらに,多言語多目的データセットであるSeaExamに評価を拡張し,数発のプロンプト手法と比較して推論手法の有効性を示した。
関連論文リスト
- LINGOLY-TOO: Disentangling Memorisation from Reasoning with Linguistic Templatisation and Orthographic Obfuscation [1.2576388595811496]
本稿では,モデル性能推定における暗記の影響を低減する言語推論問題を生成するための枠組みを提案する。
このフレームワークを言語推論のための挑戦的なベンチマークであるlingOLY-TOOの開発に適用する。
論文 参考訳（メタデータ） (2025-03-04T19:57:47Z) - Expanding Vietnamese SentiWordNet to Improve Performance of Vietnamese Sentiment Analysis Models [0.0]
本稿ではベトナム語レビューの感性分析のためのPhoBERT-V2とSentiWordnetを組み合わせた新しいアプローチを提案する。
提案モデルではベトナム語に対してPhoBERT-V2を用いて,ベトナム語の文脈における顕著なBERTモデルのロバストな最適化を行う。
論文 参考訳（メタデータ） (2025-01-15T12:22:37Z) - The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。
実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。
我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
論文 参考訳（メタデータ） (2024-05-02T14:49:50Z) - Markovian Transformers for Informative Language Modeling [0.9642500063568188]
CoT(Chain-of-Thought)推論は、しばしば言語モデルの根底にある決定プロセスを忠実に反映しない。
我々は、CoTを「マルコフ」言語モデルにおいて因果的に必要としており、中間のCoTを通して次のトークン予測を分解し、元のプロンプトとは無関係に将来のトークンを予測するよう訓練する。
論文 参考訳（メタデータ） (2024-04-29T17:36:58Z) - Pre-Trained Language-Meaning Models for Multilingual Parsing and
Generation [14.309869321407522]
談話表現構造(DRS)に基づく多言語事前学習言語意味モデルを導入する。
DRSは言語中立であるため、非英語タスクの性能向上のために言語間移動学習が採用されている。
自動評価の結果,本手法は多言語DSS解析とDSS-to-text生成の両タスクにおいて,最高の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-05-31T19:00:33Z) - SimOAP: Improve Coherence and Consistency in Persona-based Dialogue
Generation via Over-sampling and Post-evaluation [54.66399120084227]
大規模コーパスで訓練された言語モデルは、オープンドメイン対話において驚くほど流動的な結果を生み出すことができる。
ペルソナに基づく対話生成タスクでは、一貫性と一貫性が言語モデルにとって大きな課題である。
オーバーサンプリングとポスト評価という2段階のSimOAP戦略が提案されている。
論文 参考訳（メタデータ） (2023-05-18T17:23:00Z) - Visualizing the Relationship Between Encoded Linguistic Information and
Task Performance [53.223789395577796]
本稿では,Pareto Optimalityの観点から,符号化言語情報とタスクパフォーマンスの動的関係について検討する。
我々は、機械翻訳と言語モデリングという2つの一般的なNLPタスクの実験を行い、様々な言語情報とタスクパフォーマンスの関係について検討する。
実験結果から,NLPタスクには構文情報が有用であるのに対して,より構文情報の符号化が必ずしも優れたパフォーマンスをもたらすとは限らないことが示唆された。
論文 参考訳（メタデータ） (2022-03-29T19:03:10Z) - Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。
提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。
提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文 参考訳（メタデータ） (2020-10-24T11:55:28Z) - Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。
本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。
本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文 参考訳（メタデータ） (2020-10-18T00:21:53Z) - Dynamic Data Selection and Weighting for Iterative Back-Translation [116.14378571769045]
本稿では,反復的バックトランスレーションモデルのためのカリキュラム学習戦略を提案する。
我々は、ドメイン適応、低リソース、高リソースMT設定に関するモデルを評価する。
実験の結果,提案手法は競争基準値よりも最大1.8 BLEU点の改善を達成できた。
論文 参考訳（メタデータ） (2020-04-07T19:49:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。