論文の概要: Learning to Learn a Language

• arxiv url: http://arxiv.org/abs/2610.05879v1
• Date: Mon, 05 Oct 2026 06:52:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 03:33:07.28937
• Title: Learning to Learn a Language
• Title（参考訳）: 言語を学ぶこと
• Abstract要約: 実際のテキストのプレフィックスが与えられた後、PFLMは凍結重み付きで文脈で言語を予測することを学ぶ。 モデルはトレーニング中に同じ言語を2度見ることはないので、継続を予測する唯一の方法は、プレフィックスから言語を推論することである。
• 参考スコア（独自算出の注目度）: 0.29465623430708904
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present the Prior-Fitted Language Model (PFLM), a 300M-parameter byte-level transformer pretrained only on samples from a synthetic non-linguistic prior. Given a prefix of real text, it learns to predict the language in context with frozen weights, having never seen a word of any real language. Every training sequence is generated by a recurrent structural causal model drawn fresh from a distribution over such models. The model never sees the same language twice during training, so the only way to predict the continuation is to infer the language from the prefix. Samples from this prior share the statistical signatures of natural text: Zipfian frequencies, slow entropy-rate convergence, and long-range dependence. On Wikipedia in six languages, bits per byte fall from the uniform eight to between 0.9 and 2.4 at one million bytes of context. Given numerals instead of text, PFLM learns to count, to compare magnitudes, and to add approximately. It predicts deterministic sequences like Rudin-Shapiro or the prime indicator, and it compresses six non-text domains, from source code to speech, below gzip and PPMd. The model has not learned a language. It has learned to learn one.
• Abstract（参考訳）: 合成非言語前のサンプルにのみ事前学習した300Mバイト単位の変圧器であるPresideed-Fitted Language Model (PFLM) を提案する。 実語の接頭辞が与えられたとき、実言語の単語を見たことがなく、凍結した重みで文脈で言語を予測することを学ぶ。 各トレーニングシーケンスは、そのようなモデル上の分布から新たに引き出された繰り返し構造因果モデルによって生成される。 モデルはトレーニング中に同じ言語を2度見ることはないので、継続を予測する唯一の方法は、プレフィックスから言語を推論することである。 この前のサンプルは、ジップフィアン周波数、エントロピーレートの緩やかな収束、長距離依存といった、自然文の統計的シグネチャを共有している。 ウィキペディアでは、6つの言語で1バイトあたりのビットは、一様の8バイトから、100万バイトのコンテキストで0.9から2.4まで減少する。 テキストの代わりに数字が与えられると、PFLMは数え、大きさを比較し、およそ加算することを学ぶ。 Rudin-Shapiro や素数インジケータのような決定論的シーケンスを予測し、gzip と PPMd の下にあるソースコードから音声まで、6つの非テキスト領域を圧縮する。 モデルは言語を学ばない。 学ぶことを学びました。

関連論文リスト

• SpidR: Learning Fast and Stable Linguistic Units for Spoken Language Models Without Supervision [25.71776883846138]
  SpidRは、高度にアクセス可能な音声情報で表現を効率的に学習する自己教師型音声表現モデルである。 自己蒸留とオンラインクラスタリングを組み合わせたマスク付き予測目標を用いて生波形を訓練する。 wav2vec 2.0, HuBERT, WavLM, DinoSRをダウンストリーム言語モデリングベンチマークで上回ります。
  論文  参考訳（メタデータ） (2025-12-23T12:22:25Z)
• From Bytes to Ideas: Language Modeling with Autoregressive U-Nets [49.16552366851748]
  トークン化は入力テキストに一定の粒度を課す。 オートレグレッシブなU-Netを導入し、トレーニング中に独自のトークンを埋め込むことを学びます。
  論文  参考訳（メタデータ） (2025-06-17T17:55:11Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Nonparametric Masked Language Modeling [113.71921977520864]
  既存の言語モデル(LM)は、有限語彙上のソフトマックスでトークンを予測する。 NPMは,このソフトマックスを参照コーパス内の各フレーズの非パラメトリック分布に置き換える最初の非パラメトリックマスク付き言語モデルである。 NPMは、コントラスト目的と全コーパス検索に対するバッチ内近似で効率的に訓練することができる。
  論文  参考訳（メタデータ） (2022-12-02T18:10:42Z)
• What do Large Language Models Learn beyond Language? [10.9650651784511]
  事前学習モデルは、非事前学習ニューラルモデルに匹敵する性能を著しく上回っていることがわかった。 実験により、多言語テキストやコンピュータコードで事前学習しても、事前学習の効果が持続することが明らかとなった。 その結果,言語モデルの事前学習能力と帰納学習能力との間には,未解明の深い関係があることが示唆された。
  論文  参考訳（メタデータ） (2022-10-21T23:43:13Z)
• Is neural language acquisition similar to natural? A chronological probing study [0.0515648410037406]
  本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。 コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。 その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
  論文  参考訳（メタデータ） (2022-07-01T17:24:11Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
  創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。 このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。 また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
  論文  参考訳（メタデータ） (2022-03-24T21:24:54Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。