論文の概要: Learn the Interface, Not the Implementation: Output Representation Dominates Training Regime in LLM-Based RTL Generation
- arxiv url: http://arxiv.org/abs/2610.25881v1
- Date: Mon, 19 Oct 2026 06:38:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 03:57:34.246592
- Title: Learn the Interface, Not the Implementation: Output Representation Dominates Training Regime in LLM-Based RTL Generation
- Title（参考訳）: LLMベースのRTL生成における出力表現がトレーニングレギュムを支配している
- Abstract要約: 我々は、単一エラー訂正、二重エラー検出ECCメモリラッパーを生成する。
参照生成器が存在するため、約1000万点の設計空間上の形式的等価性によって正確性が決定される。
5000万パラメータ未満のスクラッチからトレーニングされたモデルと、検証されたジェネレータを組み合わせると、0.89の形式的等価性が得られる。
- 参考スコア（独自算出の注目度）: 0.6066775336291516
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large-language-model register-transfer-level (RTL) generation has concentrated on how to train the model: fine-tuning, continued pre-training, and reinforcement learning from a verifier. We argue this is the second-order question. On a bounded, formally specifiable task of generating single-error-correcting, double-error-detecting (SECDED) ECC memory wrappers, we hold the task, data, and correctness oracle fixed and vary two axes independently: the training regime (seven settings) and the output representation (four levels, from fully expanded flat Verilog to an eight-field configuration expanded by a deterministic generator). Because a reference generator exists, correctness is decided by formal equivalence over a design space of approximately ten million points, rather than sampled from a hand-written testbench. Two results follow. First, representation dominates: every representation close to raw RTL reaches a pass rate of at most 0.17, while the configuration reaches 0.83 with no training at all. Once the model emits the configuration, every training regime achieves a pass rate between 0.89 and 1.00. Second, raw RTL hits a hard output-length limit: a 512-bit design requires 44,237 tokens of flat Verilog compared with just 69 tokens for the configuration. Consequently, raw generation becomes infeasible above 32-bit data words rather than merely inaccurate. A model trained from scratch with fewer than 50 million parameters, combined with the verified generator, achieves 0.89 formal equivalence, compared with 1.00 for a 32-billion-parameter fine-tuned model, while using approximately 1600 times less inference energy per correct design. Inference energy also dominates amortized training energy. The lesson is to learn the interface, not the implementation.
- Abstract（参考訳）: 大規模言語モデルレジスタ-トランスファーレベル(RTL)生成は、微調整、継続事前学習、検証器からの強化学習など、モデルのトレーニング方法に集中している。
これは二階の質問だ、と私たちは主張する。
単一エラー訂正、二重エラー検出(SECDED)のECCメモリラッパーを生成するための、有界で形式化されたタスクでは、タスク、データ、正確性、オラクルを独立に保持し、2つの軸を独立して変更する: トレーニングレシシ(7つの設定)と出力表現(4レベル、完全に拡張されたフラットなVerilogから決定論的ジェネレータによって拡張される8フィールド構成)。
参照生成器が存在するため、手書きテストベンチからサンプリングされるのではなく、およそ1000万点の設計空間上の形式的等価性によって正確性が決定される。
2つの結果が続く。
まず、表現が支配的であり、生のRTLに近いすべての表現は、最低でも0.17のパスレートに達し、一方構成はトレーニングなしで0.83に達する。
モデルが設定を出力すると、各トレーニング体制は0.89から1.00のパスレートを達成する。
第二に、生のRTLは出力の限界に達し、512ビットの設計では平らなVerilogのトークンが44,237個必要で、構成には69個のトークンしか必要としない。
これにより、生成は単に不正確なだけでなく、32ビットのデータワードよりも不正確なものになる。
スクラッチからトレーニングされたパラメータが5000万未満で、検証されたジェネレータと組み合わせて0.89の正式な等価性を達成し、32ビリオンパラメータの微調整モデルでは1.00と、正しい設計ではおよそ1600倍の推論エネルギーを使用する。
推論エネルギーは、償却された訓練エネルギーも支配する。
教訓は、実装ではなく、インターフェースを学ぶことです。
関連論文リスト
- Correctness Is a Direction: Geometric Answer Selection in Language Models [37.52103844741668]
スコアリング方向がゼロショットログ確率スコアよりも優れていることを示す。
事実推論、ドメイン知識、真性に対する正当性方向は表現空間においてほぼ直交である。
論文 参考訳（メタデータ） (2026-10-03T13:21:04Z) - Kathleen Writes: Autoregressive Generation and Data Scaling Without Attention [0.0]
我々は, 事前学習をせずに, 450-700Kパラメータの分類に基づく強いベースラインと, バイトレベルのアテンションフリーアーキテクチャを一致させることができることを示した。
我々は「テキストのように読む」ための非パラメトリックなゲーム抵抗楽器FORM DISTANCEを紹介する。
また,4つのアーキテクチャ追加が役に立たないことを報告し,その5分の1のパラメータで,学習テーブルのトップ1の精度の94%に達する計算辞書を作成した。
論文 参考訳（メタデータ） (2026-08-05T10:44:26Z) - Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。
このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。
Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
論文 参考訳（メタデータ） (2026-07-08T05:48:57Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - Universal Transformers Need Memory: Depth-State Trade-offs in Adaptive Recursive Reasoning [0.0]
本研究では,SudokuExtreme上の単一ブロックユニバーサルトランス (UT) のスクラッチパッドとして学習したメモリトークンについて検討した。
メモリトークンは、テストされたすべての構成で、メモリトークンのない構成は、非自明なパフォーマンスです。
論文 参考訳（メタデータ） (2026-04-23T18:30:01Z) - Self-Adversarial One Step Generation via Condition Shifting [11.426065945265647]
APEXは、フローモデルから不均一に抽出された逆補正信号のフレームワークである。
私たちの0.6BモデルはFLUX-Schnell 12B(20$times$ more parameters)を1ステップ品質で上回ります。
Qwen-Image 20BのLoRAチューニングにより、APEXは6時間でNFE=1のGenEvalスコア0.89に達し、最初の50ステップの教師(0.87)を超え、15.33$times$推論スピードアップを提供する。
論文 参考訳（メタデータ） (2026-04-14T05:54:33Z) - Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。
d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。
因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
論文 参考訳（メタデータ） (2026-03-23T17:57:24Z) - Diffusion Language Models are Super Data Learners [61.721441061210896]
ユニークなデータが限られている場合、拡散言語モデル(DLM)は、よりエポックなトレーニングによって、常に自己回帰モデル(AR)を上回ります。
本研究の目的は,(1) 任意の次数モデリング,(2) 反復的双方向 denoising からの超高次計算,(3) モンテカルロ増分という3つの複合的要因に起因する。
論文 参考訳（メタデータ） (2025-11-05T08:17:42Z) - OverFill: Two-Stage Models for Efficient Language Model Decoding [68.68408155020568]
大規模言語モデル(LLM)は多様なタスクにまたがって優れていますが、高い推論コストのため、デプロイメント上の大きな課題に直面しています。
プリフィルとデコードステージを分離し,精度と効率のトレードオフを最適化するOverFillを提案する。
我々の3B-to-1B OverFill構成は1Bプルーニングモデルを83.2%上回り、8B-to-3B構成は3Bプルーニングモデルを79.2%上回った。
論文 参考訳（メタデータ） (2025-08-11T20:07:34Z) - EfficientQAT: Efficient Quantization-Aware Training for Large Language Models [50.525259103219256]
量子化対応トレーニング(QAT)は、低ビット表現によるメモリ消費を最小限の精度で削減することで、ソリューションを提供する。
より有効なQATアルゴリズムであるEfficient QAT(Efficient Quantization-Aware Training)を提案する。
効率的なQATは、全てのパラメータのブロックワイドトレーニング(Block-AP)と量子化パラメータのエンドツーエンドトレーニング(E2E-QP)の2つのフェーズを含む。
論文 参考訳（メタデータ） (2024-07-10T17:53:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。