論文の概要: Grammar Control for Language Learning with Sequential Monte Carlo and Small Language Models

• arxiv url: http://arxiv.org/abs/2610.39800v1
• Date: Thu, 29 Oct 2026 10:45:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:34:46.252887
• Title: Grammar Control for Language Learning with Sequential Monte Carlo and Small Language Models
• Title（参考訳）: 連続モンテカルロモデルと小言語モデルを用いた言語学習のための文法制御
• Abstract要約: 第二言語学習者は、対話型言語使用におけるレベル適合文法への露出の恩恵を受ける。 連続モンテカルロを用いて、小さなラン言語モデルにおける対話のターン生成を目標文法構築に向けて操る。
• 参考スコア（独自算出の注目度）: 101.38416877518013
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Second language learners benefit from exposure to level-appropriate grammar in interactive language use. While prompted frontier language models can usually produce target grammar structures, less resource-intensive models that can be run on device often fail in this task. We use sequential Monte Carlo (SMC) to steer dialogue turn generation in small lan- language models toward target grammar constructions from an expert-developed pedagogical resource. With a minimal set of hand-coded potential functions, SMC achieves near-perfect coverage of target grammar, enabling small models to outperform state-of-the-art results from models 140 times larger. We also use code synthesis with frontier models to generate new potentials, showing that our method scales to hundreds of target grammar skills with no need for additional training or supervised data.
• Abstract（参考訳）: 第二言語学習者は、対話型言語使用におけるレベル適合文法への露出の恩恵を受ける。 引き起こされるフロンティア言語モデルは、通常ターゲット文法構造を生成できるが、このタスクでは、デバイス上で動作可能なリソース集約的なモデルは、しばしば失敗する。 我々はSMC (Sequence Monte Carlo) を用いて、専門家が開発した教育資源からターゲット文法構築に向けて、小さなラン言語モデルで対話のターン生成を操る。 手書きのポテンシャル関数の最小セットにより、SMCはターゲット文法のほぼ完全なカバレッジを達成し、小さなモデルでは140倍の精度で最先端の結果を達成できる。 また、フロンティアモデルを用いてコード合成を行い、新たなポテンシャルを生成することで、新たなトレーニングや教師付きデータを必要としない、数百の目標文法スキルにスケールできることを示します。

関連論文リスト

• Merge and Conquer: Instructing Multilingual Models by Adding Target Language Weights [5.014897572890602]
  LLM(Large Language Models)は、低リソース言語での性能に制限があるため、英語に重点を置いている。 モデルマージは,低リソース言語に対する従来の適応手法に代わる,実用的で効率的な代替手段であることを示す。
  論文  参考訳（メタデータ） (2026-03-30T10:46:50Z)
• Grow Up and Merge: Scaling Strategies for Efficient Language Adaptation [4.2178072320683375]
  我々は、事前学習されたモデルを新しいターゲット言語に適応するための効率的な戦略として、スケーリングについて検討する。 十分なターゲット言語データに晒されると、より大規模なモデルでは、継続的に事前訓練された小さなモデルの性能にマッチしたり、超えたりすることができる。 最後に、そのようなスケールした言語固有のモデルをマージして、モジュール化された柔軟な多言語システムを構築する方法について検討する。
  論文  参考訳（メタデータ） (2025-12-11T16:09:54Z)
• Boosting the Capabilities of Compact Models in Low-Data Contexts with Large Language Models and Retrieval-Augmented Generation [2.9921619703037274]
  本稿では,形態素解析の言語タスクにおいて,より小さなモデルの出力を補正するために,大言語モデル(LLM)を基盤とした検索拡張生成(RAG)フレームワークを提案する。 データ不足や訓練可能なパラメータの不足を補うために,言語情報を活用するとともに,LLMを通して解釈・蒸留された記述文法からの入力を許容する。 コンパクトなRAG支援モデルがデータスカース設定に極めて有効であることを示し、このタスクとターゲット言語に対する新しい最先端技術を実現する。
  論文  参考訳（メタデータ） (2024-10-01T04:20:14Z)
• Pretrained Generative Language Models as General Learning Frameworks for Sequence-Based Tasks [0.0]
  そこで本研究では,素小事前学習型生成言語モデルをシーケンスベースタスクの一般的な学習フレームワークとして利用することを提案する。 提案では,ニューラルネットワークと言語モデルをスクラッチからトレーニングする際の計算資源,スキルセット,タイムラインの課題を克服する。 125M,350M,1.3Bパラメータを事前学習した基礎言語モデルを1万から1000,000の命令例で微調整できることを実証した。
  論文  参考訳（メタデータ） (2024-02-08T12:19:32Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Language Models are General-Purpose Interfaces [109.45478241369655]
  本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:34:22Z)
• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• Injecting Text and Cross-lingual Supervision in Few-shot Learning from Self-Supervised Models [33.66135770490531]
  新しい言語への自己教師付き表現の伝達を改善するために,音声集合音響モデルが言語間監督を活用する方法を示す。 また、格子フリーの最大相互情報目標を用いた微調整を実現するために、ターゲット言語テキストをどのように利用できるかを示す。
  論文  参考訳（メタデータ） (2021-10-10T17:33:44Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。