論文の概要: Transfer of Structural Knowledge from Synthetic Languages

• arxiv url: http://arxiv.org/abs/2505.15769v1
• Date: Wed, 21 May 2025 17:18:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.796511
• Title: Transfer of Structural Knowledge from Synthetic Languages
• Title（参考訳）: 合成言語からの構造的知識の伝達
• Authors: Mikhail Budnikov, Ivan Yamshchikov,
• Abstract要約: この研究は、いくつかの合成言語から英語への変換学習を探求する。 我々は,従来の研究で使用されていた言語よりも,英語への移行に寄与する新しい合成言語を導入する。 我々はTiny-Cloze Benchmarkを使用して、いくつかのドメインで微調整されたモデルを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This work explores transfer learning from several synthetic languages to English. We investigate the structure of the embeddings in the fine-tuned models, the information they contain, and the capabilities of the fine-tuned models on simple linguistic tasks. We also introduce a new synthetic language that leads to better transfer to English than the languages used in previous research. Finally, we introduce Tiny-Cloze Benchmark - a new synthetic benchmark for natural language understanding that is more informative for less powerful models. We use Tiny-Cloze Benchmark to evaluate fine-tuned models in several domains demonstrating that fine-tuning on a new synthetic language allows for better performance on a variety of tasks.
• Abstract（参考訳）: この研究は、いくつかの合成言語から英語への変換学習を探求する。 本研究は, 微調整モデルの埋め込み構造, それらに含まれる情報, 簡単な言語課題における微調整モデルの能力について検討する。 また,従来の研究で使用されていた言語よりも,英語へのより良い翻訳につながる新しい合成言語についても紹介する。 最後に、Tiny-Cloze Benchmarkを紹介します。これは、より強力なモデルにとってより有益な自然言語理解のための新しい総合ベンチマークです。 我々はTiny-Cloze Benchmarkを使用して、いくつかのドメインで微調整されたモデルを評価する。

関連論文リスト

• Parameterized Synthetic Text Generation with SimpleStories [0.9503060186757711]
  本稿では,英語と日本語のそれぞれ200万のサンプルからなる,シンプルな言語による大規模な合成物語データセットを提案する。 複数の抽象化レベルにおけるパラメータ化プロンプトにより,大規模にストーリー特性を制御できる。 私たちは、エンド・ツー・エンドのトレーニングプロセスを研究する新しい方法を実現するために、モデル作成のすべての構成要素をオープンソースにしています。
  論文  参考訳（メタデータ） (2025-04-12T11:44:47Z)
• Infusing Prompts with Syntax and Semantics [0.0]
  本研究では,多種多様な構文情報や意味情報を大規模言語モデルに直接注入する効果を解析する。 言語分析によって言語モデルが大幅に向上し、これまでの最高のシステムを超えている点が示される。
  論文  参考訳（メタデータ） (2024-12-08T23:49:38Z)
• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• An Application of Pseudo-Log-Likelihoods to Natural Language Scoring [5.382454613390483]
  比較的少ないパラメータとトレーニングステップを持つ言語モデルは、最近の大規模なデータセットでそれを上回るパフォーマンスを得ることができる。 二項選択タスクにおける常識推論のための絶対的最先端結果を生成する。 より小さなモデルの堅牢性は、構成性の観点から理解されるべきである。
  論文  参考訳（メタデータ） (2022-01-23T22:00:54Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• Syntactic Persistence in Language Models: Priming as a Window into Abstract Language Representations [0.38498574327875945]
  本稿では,現代のニューラル言語モデルが統語的プライミングにどの程度影響するかについて検討する。 プライミング強度と相互作用する様々な言語要因を制御できる大規模コーパスであるPrime-LMを新たに導入する。 単語と意味の相違があるが,同じ構文構造を持つ複数の文をプライミングした場合,驚くほど強いプライミング効果が報告される。
  論文  参考訳（メタデータ） (2021-09-30T10:38:38Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models [27.91397366776451]
  遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。 語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
  論文  参考訳（メタデータ） (2020-04-30T06:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。