論文の概要: LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling

• arxiv url: http://arxiv.org/abs/2606.18023v1
• Date: Tue, 16 Jun 2026 15:03:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.501433
• Title: LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling
• Title（参考訳）: LoopCoder-v2: 効率的なテスト時間計算スケーリングのために1回だけループする
• Authors: Jian Yang, Shawn Guo, Wei Zhang, Tianyu Zheng, Yaxin Du, Haau-Sing Li, Jiajun Wu, Yue Song, Yan Xing, Qingsong Cai, Zelong Huang, Chuan Hao, Ran Tao, Xianglong Liu, Wayne Xin Zhao, Mingjie Tang, Weifeng Lv, Ming Zhou, Bryan Dai,
• Abstract要約: 本研究では,ゲインコストの観点から,ループ数選択について検討する。 この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。 実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
• 参考スコア（独自算出の注目度）: 72.71005779366162
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Looped Transformers scale latent computation by repeatedly applying shared blocks, but sequential looping increases latency and KV-cache memory with the loop count. Parallel loop Transformers (PLT) alleviate this cost through cross-loop position offsets (CLP) and shared-KV gated sliding-window attention, making loop count a practical design choice. We therefore study PLT loop-count selection through a gain--cost view: an extra loop may refine representations, but CLP also introduces a positional mismatch at each loop boundary. We instantiate this study by training LoopCoder-v2, a family of 7B PLT coders with different loop counts, from scratch on 18T tokens, followed by matched instruction tuning and evaluation. Empirically, the two-loop variant delivers broad gains over the non-looped baseline across code generation, code reasoning, agentic software engineering, and tool-use benchmarks, improving SWE-bench Verified from 43.0 to 64.4 points and Multi-SWE from 14.0 to 31.0 points. In contrast, variants with three or more loops regress, revealing a strongly non-monotonic loop-count effect. Our diagnostics show that loop 2 provides the main productive refinement, while later loops yield diminishing, oscillatory updates and reduced representational diversity. Because the CLP-induced mismatch remains roughly fixed as refinement gains shrink, the offset cost increasingly dominates. This gain--cost trade-off explains PLT's saturation at two loops and provides diagnostics for loop-count selection.
• Abstract（参考訳）: Looped Transformerは、繰り返し共有ブロックを適用することで遅延計算をスケールするが、シーケンシャルループはループ数でレイテンシとKVキャッシュメモリを増大させる。 並列ループ変換器(PLT)はこのコストを、クロスループ位置オフセット(CLP)と共有KVゲートのスライディングウインドウの注意によって軽減し、ループカウントを実用的な設計選択とした。 そこで我々はPLTループ数選択をゲインコストの観点から検討し、余剰ループは表現を洗練させるが、CLPは各ループ境界における位置ミスマッチも導入する。 この研究は、ループ数が異なる7B PLTコーダのファミリーであるLoopCoder-v2を18Tトークンのスクラッチからトレーニングし、その後、一致した命令チューニングと評価を行う。 2ループ版は、コード生成、コード推論、エージェント・ソフトウェア工学、ツール・ユース・ベンチマーク、SWE-bench Verifiedを43.0から64.4ポイントに改善し、Multi-SWEを14.0から31.0ポイントに改善した。 対照的に、3つ以上のループを持つ変種は回帰し、強い非単調なループ数効果を示す。 我々の診断では、ループ2が主な生産的改善を提供する一方で、後続のループは減少、振動的更新、表現の多様性の低下をもたらす。 CLPによって引き起こされるミスマッチは、精製が減少するにつれて大まかに固定されているため、オフセットコストはますます支配的になる。 このゲインコストトレードオフは、PLTの飽和を2ループで説明し、ループ数選択の診断を提供する。

関連論文リスト

• Test-Time Compute Scaling for ASR with Depth-Conditioned Looped Transformers [13.254740124473935]
  我々は、再帰エンコーダ深さを制御可能なテスト時間計算軸に変換する、深さ条件付きループ変換器 LARM を導入する。 LibriSpeechでは、推論ループの数が増加するにつれて、LARMはWERを改善している。 この結果から, 自動回帰言語モデル推論から連続非自己回帰音声認識まで, テストタイムの計算スケーリングが拡張できることが示唆された。
  論文  参考訳（メタデータ） (2026-06-03T10:01:45Z)
• Simply Stabilizing the Loop via Fully Looped Transformer [41.240805541680395]
  Looped Transformerは、ループイテレーションの数が増えると、トレーニングの不安定性に悩まされる。 実験により、フルループ変換器はトレーニングの安定性を改善し、下流の性能を高め、異なるテスト時間計算予算の下で予備的適応性を提供することを示した。
  論文  参考訳（メタデータ） (2026-05-11T07:21:53Z)
• LoopQ: Quantization for Recursive Transformers [14.001192614503807]
  本稿では,LoopLMにおける量子化に関する最初の体系的研究について述べる。 ループ対応のPTQフレームワークであるLoopQを提案する。 実験によると、W4A4量子化の下では、LoopQは平均下流の精度を68.8%改善し、最強の静的PTQベースラインと比較して平均パープレキシティを87.7%低減している。
  論文  参考訳（メタデータ） (2026-05-08T01:45:28Z)
• LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction [30.25338458512745]
  より多くのパラメータを積み重ねることで、Transformerベースのクリックスルーレート(CTR)モデルをスケールすることで、計算とストレージのオーバーヘッドが増大する。 学習時間の計算量を増加させるループスケーリングパラダイムを導入したLoopCTRを提案する。 3つの公開ベンチマークと1つの産業データセットの実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-04-21T15:06:59Z)
• Parallel Loop Transformer for Efficient Test-Time Computation Scaling [34.8255648599522]
  大規模言語モデル(LLM)は強力だが、推論中に現実世界で使うには遅すぎるしコストもかかる。 ループ変換器は、複数の計算ステップで同じ重みを再利用することでパラメータを節約する。 ループが次々と実行され、各追加ループで推論遅延とメモリ要求が増大する。
  論文  参考訳（メタデータ） (2025-10-28T15:35:50Z)
• On the Constant Depth Implementation of Pauli Exponentials [49.48516314472825]
  任意の長さの $Zotimes n$指数を$mathcalO(n)$ ancillae と 2体 XX と ZZ の相互作用を用いて一定深さの回路に分解する。 クビットリサイクルの恩恵を受ける回路の書き直し規則を導入し,本手法の正しさを実証する。
  論文  参考訳（メタデータ） (2024-08-15T17:09:08Z)
• Will Bilevel Optimizers Benefit from Loops [63.22466953441521]
  AID-BiOとITD-BiOの2つの一般的な双レベルマトリクスは、自然に1つまたは2つのサブプロブレムを解決する。 AID-BiO と ITD-BiO の両ループ実装選択に適用可能な統合収束解析をまず確立する。
  論文  参考訳（メタデータ） (2022-05-27T20:28:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。