論文の概要: Reinforcement Learning for improving Large Language Models' Catalan text simplification capabilities

• arxiv url: http://arxiv.org/abs/2609.04823v1
• Date: Fri, 04 Sep 2026 07:23:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.960174
• Title: Reinforcement Learning for improving Large Language Models' Catalan text simplification capabilities
• Title（参考訳）: 大言語モデルのカタルーニャ文字単純化機能向上のための強化学習
• Abstract要約: 本稿では,低リソース言語における自動テキスト単純化(ATS)の品質向上のための強化学習の適用について検討する。 この報奨関数によるGRPOの有効性は、IberianLLM-7B-Instructの訓練後に証明される。
• 参考スコア（独自算出の注目度）: 1.4732668880321595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although automatic text simplification (ATS) is critical for accessibility, its progress has not matched the rapid evolution of broader natural language processing techniques. This paper investigates the application of reinforcement learning (RL) to improve the quality of ATS for low-resource languages using Large Language Models (LLMs). The paper introduces a novel reward function, designed to guide LLMs toward a targeted simplification style with Group Relative Policy Optimization (GRPO), that combines the SARI metric with specific penalty components. The effectiveness of GRPO with this reward function is motivated and demonstrated by post-training IberianLLM-7B-Instruct on the ASSET dataset. After post-training on the English ASSET, the model's ATS performance improves on two curated Catalan benchmarks while also successfully suppressing previously observed negative behaviors. Cross-lingual transfer learning is explored by translating ASSET into Catalan and Spanish and post-training the model on each version, but these fail to show a significant improvement on the out-of-domain benchmark.
• Abstract（参考訳）: アクセシビリティにはATS(Automatic Text Simplification)が重要であるが、その進歩はより広範な自然言語処理技術の急速な進化とは一致していない。 本稿では,Large Language Models (LLMs) を用いた低リソース言語におけるATSの品質向上のための強化学習(RL)の適用について検討する。 本稿では,SARIメトリックと特定のペナルティ成分を組み合わせたグループ相対政策最適化(GRPO)を用いて,LLMを目的の単純化スタイルへ導くための新たな報酬関数を提案する。 この報奨関数によるGRPOの有効性は、ASSETデータセット上でIberianLLM-7B-Instructを訓練した後で実証される。 英語のASSETでのトレーニング後、このモデルのATS性能はカタルーニャの2つのベンチマークで改善され、以前に観察された負の振る舞いを抑えることに成功した。 言語間の変換学習は、ASSETをカタルーニャ語とスペイン語に翻訳し、各バージョンでモデルをトレーニングすることで検討されている。

関連論文リスト

• Improving Low-Resource Translation with Dictionary-Guided Fine-Tuning and RL: A Spanish-to-Wayuunaiki Study [0.27998963147546146]
  本稿では、外部辞書ツールとエンドツーエンドのトレーニングモデルを統合することにより、低リソース言語への翻訳を強化する新しいアプローチを提案する。 モデルが生成中のバイリンガル辞書を選択的に参照できるツール拡張型意思決定問題として翻訳を行う。 予備的な結果から, ツール拡張モデルでは, これまでの作業よりも+3.37BLEUの改善が達成された。
  論文  参考訳（メタデータ） (2025-08-26T23:50:55Z)
• Improving Multilingual Language Models by Aligning Representations through Steering [10.159957091670883]
  本稿では,Large Language Models (LLM) が非英語トークンをどのように表現するかを検討する。 表現ステアリングを用いた軽量な介入手法を提案し、学習ベクトルを1つのモデル層における残差ストリームに追加し、多言語性能を向上させる。
  論文  参考訳（メタデータ） (2025-05-19T00:14:43Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• SMILE: Speech Meta In-Context Learning for Low-Resource Language Automatic Speech Recognition [55.2480439325792]
  音声メタインコンテキスト学習(SMILE)は、メタラーニングと音声インコンテキスト学習(SICL)を組み合わせた革新的なフレームワークである SMILEは、トレーニング不要な多言語ASRタスクにおいて、ベースライン手法よりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-09-16T16:04:16Z)
• Chain-of-Translation Prompting (CoTR): A Novel Prompting Technique for Low Resource Languages [0.4499833362998489]
  Chain of Translation Prompting (CoTR)は、低リソース言語における言語モデルの性能を高めるために設計された新しい戦略である。 CoTR再構成は、まず入力コンテキストを低リソース言語から高リソース言語に翻訳する。 本稿では,この手法の有効性を低リソースのインディア言語であるMarathiのケーススタディを通じて実証する。
  論文  参考訳（メタデータ） (2024-09-06T17:15:17Z)
• MoE-CT: A Novel Approach For Large Language Models Training With Resistance To Catastrophic Forgetting [53.77590764277568]
  ベースモデルの学習を多言語拡張プロセスから分離する新しいMoE-CTアーキテクチャを提案する。 我々の設計では、元のLLMパラメータを凍結し、高リソース言語のパフォーマンスを保護しますが、様々な言語データセットに基づいてトレーニングされたMoEモジュールは、低リソース言語の習熟度を向上します。
  論文  参考訳（メタデータ） (2024-06-25T11:03:45Z)
• From Classification to Generation: Insights into Crosslingual Retrieval Augmented ICL [8.065775937617417]
  クロスランガル検索強化インコンテキスト学習(CREA-ICL)を利用した新しい手法を提案する。 高ソース言語から意味論的に類似したプロンプトを抽出することにより、多言語事前学習言語モデル(MPLM)のゼロショット性能の向上を目指す。 我々の手法は分類タスクを着実に改善するが、生成タスクでは課題に直面している。
  論文  参考訳（メタデータ） (2023-11-11T15:40:21Z)
• Improving Translation Faithfulness of Large Language Models via Augmenting Instructions [89.76691340615848]
  SWIE(Segment-Weighted Instruction Embedding)と命令追従データセットOVERMISSを提案する。 SWIEは、以下の入力および応答表現に大域的な命令表現を追加することにより、モデル命令理解を改善する。 OVERMISSは、オーバー翻訳とミス翻訳の結果を正しい翻訳と比較することにより、モデルの忠実度を向上させる。
  論文  参考訳（メタデータ） (2023-08-24T09:32:29Z)
• Improving Language Plasticity via Pretraining with Active Forgetting [63.36484652568976]
  本稿では,新しい言語に迅速に適応可能な PLM を作成する簡単な方法として,事前学習中に能動的に忘れる機構を提案する。 RoBERTaを用いた実験では、忘れるメカニズムで事前訓練されたモデルは、言語適応中により高速な収束を示す。
  論文  参考訳（メタデータ） (2023-07-03T17:12:44Z)
• Strategies for improving low resource speech to text translation relying on pre-trained ASR models [59.90106959717875]
  本稿では,テキスト翻訳(ST)における低音源音声の性能向上のための技術と知見について述べる。 本研究は,英語とポルトガル語,タマシェク語とフランス語の2つの言語対について,シミュレーションおよび実低資源設定について実験を行った。
  論文  参考訳（メタデータ） (2023-05-31T21:58:07Z)
• Pre-Trained Language-Meaning Models for Multilingual Parsing and Generation [14.309869321407522]
  談話表現構造(DRS)に基づく多言語事前学習言語意味モデルを導入する。 DRSは言語中立であるため、非英語タスクの性能向上のために言語間移動学習が採用されている。 自動評価の結果,本手法は多言語DSS解析とDSS-to-text生成の両タスクにおいて,最高の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-05-31T19:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。