論文の概要: Evaluating Tiny Recursive Models Across Training for Code Generation

• arxiv url: http://arxiv.org/abs/2608.29376v1
• Date: Sat, 29 Aug 2026 17:24:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.94692
• Title: Evaluating Tiny Recursive Models Across Training for Code Generation
• Title（参考訳）: コード生成学習におけるTiny Recursive Modelの評価
• Abstract要約: コード生成は、大規模なトランスフォーマーモデルにますます依存し、その能力はスケールによって向上する。 再帰的モデルは、独立したレイヤを積み重ねるのではなく、深さを追加するために単一のブロックを再利用することで、この問題に対処する。 自然言語-Pythonコード生成における228M-パラメータの自動回帰Tiny再帰モデルの比較を行った。
• 参考スコア（独自算出の注目度）: 2.1410799064827235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Code generation increasingly relies on large transformer models, whose capability advances with scale. Yet such a scale is costly, creating demand for small models, especially where data is limited. Recursive models address this by reusing a single block to add depth rather than stacking independent layers. Such models are typically evaluated by teacher-forced fit (next-token loss on ground-truth prefixes) or task accuracy, at a single checkpoint, whereas code is produced by free-running generation, where the model extends its own output. Whether a teacher-forced advantage survives free-running generation, and whether it holds across training, remains open. To study both, we compare a ~28M-parameter autoregressive Tiny Recursive Model (TRM-AR) on natural-language-to-Python code generation against parameter-matched and depth-matched controls, tracking fit and generation across 40 epochs and three seeds. The fit ranking between the recursive model and the depth-matched control reverses twice. Selecting each checkpoint by validation loss and examining the trajectory yields a consistent comparison. At equal parameters, TRM-AR fits, generates, and generalizes better than the parameter-matched control while recovering approximately 45% of the validation-loss gap and 57% of the generation-quality gap between the two controls, at roughly 175 times the per-step cost of the parameter-matched control. However, at equal effective depth, the larger transformer fits and generates better at its validation optimum, suggesting TRM-AR's advantage lies in resistance to overfitting, not greater capability. These findings suggest that recursive code generation models should be evaluated jointly on fit and generation across the training trajectory rather than at a single checkpoint.
• Abstract（参考訳）: コード生成は、大規模なトランスフォーマーモデルにますます依存し、その能力はスケールによって向上する。 しかし、このようなスケールはコストがかかるため、特にデータが限られている小さなモデルの需要が生まれます。 再帰的モデルは、独立したレイヤを積み重ねるのではなく、深さを追加するために単一のブロックを再利用することで、この問題に対処する。 このようなモデルは典型的には教師力の適合(直近の接頭辞での失格)と1つのチェックポイントでのタスク精度によって評価されるが、一方、コードはフリーラン生成によって生成され、そこではモデルが独自の出力を拡張する。 教師の力による優位性は、フリーランニング世代を生き残るか、トレーニング全体にわたって維持されるかは、未解決のままである。 パラメータマッチングと深度マッチングによる制御,40のエポックと3つのシードに対する自然言語からPythonのコード生成について,約28Mの自己回帰的Tiny Recursive Model(TRM-AR)を比較した。 再帰モデルと深度整合制御の適合ランキングは2回反転する。 検証損失によって各チェックポイントを選択し、軌跡を調べると、一貫した比較が得られる。 TRM-ARは、パラメータマッチング制御の約45%の検証損失ギャップと、2つの制御間の世代品質ギャップを約57%のパラメータマッチング制御の約175倍のコストで回復しながら、パラメータマッチング制御よりも適合し、生成し、一般化する。 しかし、同じ効果の深さでは、大きな変圧器は検証の最適度に適合し、より良い値を生成するため、TRM-ARの利点は過度な適合に対する抵抗であり、より大きな性能ではないことを示唆している。 これらの結果から,再帰的コード生成モデルは単一チェックポイントではなく,トレーニング軌跡全体の適合と生成を共同で評価すべきであることが示唆された。

関連論文リスト

• Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data [55.04392122319273]
  本稿では,教師モデルが生徒自身の分布から抽出した学習サンプルを選択するための逐次符号化手法を提案する。 結果として得られるコード長は、パラメータカウントとデータエントロピーとは独立しており、多くの場合、先行するコード長よりも桁違いに短い。
  論文  参考訳（メタデータ） (2026-07-13T17:58:50Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Coupling Models for One-Step Discrete Generation [50.37847093567075]
  カップリングモデル(英: Coupling Models)は、離散列とガウス列の間の直接結合を学習する一段階の離散生成モデルである。 単純なデータ間結合と手動で特定したデータ間結合による複雑な連続フローを回避する。 LM1Bテキスト生成パープレキシティを最低パープレキシティ動作ポイントで33%削減する。
  論文  参考訳（メタデータ） (2026-05-08T03:40:39Z)
• Training-Efficient Text-to-Music Generation with State-Space Modeling [8.067590027463497]
  我々は、より訓練的でデータ効率のよいオープンソースの生成モデルバックボーンを提案する。 我々はTransformerのバックボーンを新しいステートスペースモデル(SSM)に置き換える。 提案したすべてのモデルは、CCライセンス音楽の457時間からなる純粋にパブリックなデータセット上で、ゼロからトレーニングされる。
  論文  参考訳（メタデータ） (2026-01-21T09:06:55Z)
• Optimal Sparsity of Mixture-of-Experts Language Models for Reasoning Tasks [17.067788440109137]
  現在、Mixture-of-Experts (MoE)モデルは最先端システムでは標準となっている。 記憶能力と推論能力の2つの異なる能力体制にMoEがどのような影響を及ぼすかを検討する。
  論文  参考訳（メタデータ） (2025-08-26T04:31:28Z)
• Parameter-Efficient Checkpoint Merging via Metrics-Weighted Averaging [2.9761595094633435]
  チェックポイントマージ(Checkpoint merging)は、複数のモデルスナップショットを1つの優れたモデルに組み合わせるテクニックである。 本稿では,パラメータ効率のよい微調整の文脈におけるチェックポイントのマージについて検討する。 本稿では,パラメータの重み付けによるモデルチェックポイントのマージにMWA(Metrics-Weighted Averaging)を提案する。
  論文  参考訳（メタデータ） (2025-04-23T05:11:21Z)
• Marco-o1 v2: Towards Widening The Distillation Bottleneck for Reasoning Models [39.22557129190619]
  LRMの生成したデータに基づく蒸留は、より小さなモデルの推論能力を高めるための、単純かつ効果的な方法である。 このボトルネックを軽減するために,モンテカルロ木探索を用いて木に基づくCoTデータを構築することを提案する。 次に、構築したデータに基づいてSFTとRLを強化するために、Thoughts Length Balance, Fine-fine DPO, Joint Post-Training ObjectiveなどのCoT対応アプローチを利用する。
  論文  参考訳（メタデータ） (2025-03-03T12:17:36Z)
• Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
  GMLM(Generative Masked Language Models)に焦点を当てる。 我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。 我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
  論文  参考訳（メタデータ） (2024-07-22T18:00:00Z)
• RepCNN: Micro-sized, Mighty Models for Wakeword Detection [3.4888176891918654]
  常時オンの機械学習モデルは、非常に少ないメモリと計算フットプリントを必要とする。 より大規模なマルチブランチアーキテクチャへの計算によって、小さな畳み込みモデルをよりよく訓練できることが示される。 我々は、常時起動するウェイクワード検出モデルであるRepCNNが、推論中のレイテンシと精度のトレードオフを良好に提供することを示す。
  論文  参考訳（メタデータ） (2024-06-04T16:14:19Z)
• Oracle Inequalities for Model Selection in Offline Reinforcement Learning [105.74139523696284]
  本稿では,値関数近似を用いたオフラインRLにおけるモデル選択の問題について検討する。 対数係数まで最小値の速度-最適不等式を実現するオフラインRLの最初のモデル選択アルゴリズムを提案する。 そこで本研究では,優れたモデルクラスを確実に選択できることを示す数値シミュレーションを行った。
  論文  参考訳（メタデータ） (2022-11-03T17:32:34Z)
• DSEE: Dually Sparsity-embedded Efficient Tuning of Pre-trained Language Models [152.29364079385635]
  事前訓練されたモデルが大きくなればなるほど、微調整のプロセスは時間がかかり、計算コストがかかる可能性がある。 本稿では,重み更新と最終モデルの重み付けに先立って,疎度を活用することで,資源・パラメータ効率の微調整を行うフレームワークを提案する。 提案するフレームワークは,Dually Sparsity-Embeded Efficient Tuning (DSEE)と呼ばれ,パラメータ効率のよい微調整とリソース効率の推論という2つの重要な目標を達成することを目的としている。
  論文  参考訳（メタデータ） (2021-10-30T03:29:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。