論文の概要: LoopICL: Looping a single transformer block to solve tabular tasks

• arxiv url: http://arxiv.org/abs/2609.36108v1
• Date: Mon, 28 Sep 2026 18:46:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:46.957189
• Title: LoopICL: Looping a single transformer block to solve tabular tasks
• Title（参考訳）: LoopICL: 表のタスクを解決するために単一のトランスバータブロックをループする
• Abstract要約: LoopICLは、コア設計がパラメータ数を計算深度から切り離すループ変換器である。 標準設定では、LoopICLはTabArena上のTabICLv2と同じ計算コストでTALENTと競合する。 そのリカレント設計により、ユーザは推論コストとパフォーマンスをトレードオフでき、リソースを意識したFMを提供する。
• 参考スコア（独自算出の注目度）: 2.3407064646685956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Tabular foundation models using in-context learning have recently surpassed gradient-boosted trees on predictive tabular tasks. However, recent mechanistic insights suggest that parameters in these models are largely redundant. We introduce LoopICL, a looped transformer whose core design decouples parameter count from computational depth. LoopICL consists of a single block, processing data through two coupled streams: a cell stream capturing per-cell feature representations and a row stream capturing in-context example representations, jointly refined through within-column and cross-column attention. During pre-training, we vary loop counts, allowing the block to be unrolled for a varying number of iterations at test-time and use a learned exit-gate to automatically exit. In its standard setting, LoopICL performs competitively with TabICLv2 on TabArena and TALENT at the same computational cost (FLOPs), while using nearly 90% fewer parameters. Furthermore, its recurrent design enables users to also trade off inference cost and performance, providing a resource-aware TFM.
• Abstract（参考訳）: 文脈内学習を用いたタブラル基礎モデルは、最近、予測表のタスクにおいて勾配木を超えた。 しかし、最近の力学的な洞察から、これらのモデルのパラメータは大部分が冗長であることが示唆されている。 計算深度からパラメータ数を分離するループ変換器であるLoopICLを導入する。 LoopICLは単一のブロックで構成され、セル単位の特徴表現をキャプチャするセルストリームと、列内のサンプル表現をキャプチャする行ストリームである。 事前トレーニングの間、ループ数を変えて、テスト時にさまざまなイテレーションでブロックをアンロールできるようにし、学習したエグジットゲートを使用して自動的に終了する。 標準設定では、LoopICLはTabArena上のTabICLv2と、同じ計算コスト(FLOP)でTALENTと競合し、約90%のパラメータを使用する。 さらに、リカレント設計により、ユーザは推論コストとパフォーマンスをトレードオフすることができ、リソースを意識したFMを提供する。

関連論文リスト

• T-LoopFormer: Token-Level Elastic-Depth Looped Transformers for Latent Reasoning With Dynamic Routing [31.346695540393657]
  Looped Transformersは最近、推論と言語タスクの両方で強力なパフォーマンスを示している。 本研究では,ループ変換器のためのtextbfdynamic token-choice ルーティングを提案する。 動的ルータを使用してトークンの再帰を継続するか、早期に終了するかを決定し、単純なトークンが不要な計算をバイパスすることを可能にする。
  論文  参考訳（メタデータ） (2026-09-14T07:41:37Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• LoopCoder-v2: Only Loop Once for Efficient Test-Time Computation Scaling [72.71005779366162]
  本研究では,ゲインコストの観点から,ループ数選択について検討する。 この研究は18Tトークンのスクラッチからループ数が異なるループ数でLoopCoder-v2をトレーニングし、それにマッチした命令チューニングと評価を行う。 実証的には、この2ループ版はコード生成、コード推論、エージェントソフトウェアエンジニアリング、ツールスベンチマークなど、非ループベースラインよりも幅広い利益をもたらしている。
  論文  参考訳（メタデータ） (2026-06-16T15:03:05Z)
• A Dual-Path Architecture for Scaling Compute and Capacity in LLMs [1.7347918181145063]
  本稿では、フレキシブルにスケールできる新しいデュアルパスブロック、隠れ状態に適用されるシーケンシャルな演算数、キャパシティを提案する。 2つのFLOP予算において、我々のデュアルパスモデルは、言語モデリングと下流評価において一致した同型FLOPモデルを上回っていることを示す。
  論文  参考訳（メタデータ） (2026-05-28T16:41:36Z)
• Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior [107.2098567818173]
  Latent Recurrent Transformer (LRT) は自己回帰変換器の軽量化である。 LRTは、次のトークンのリカレントメモリとして、前のトークンから高レベルなソース層隠れステートを再利用する。
  論文  参考訳（メタデータ） (2026-05-26T10:10:26Z)
• LoopCTR: Unlocking the Loop Scaling Power for Click-Through Rate Prediction [30.25338458512745]
  より多くのパラメータを積み重ねることで、Transformerベースのクリックスルーレート(CTR)モデルをスケールすることで、計算とストレージのオーバーヘッドが増大する。 学習時間の計算量を増加させるループスケーリングパラダイムを導入したLoopCTRを提案する。 3つの公開ベンチマークと1つの産業データセットの実験は、最先端のパフォーマンスを示している。
  論文  参考訳（メタデータ） (2026-04-21T15:06:59Z)
• Parallel Loop Transformer for Efficient Test-Time Computation Scaling [34.8255648599522]
  大規模言語モデル(LLM)は強力だが、推論中に現実世界で使うには遅すぎるしコストもかかる。 ループ変換器は、複数の計算ステップで同じ重みを再利用することでパラメータを節約する。 ループが次々と実行され、各追加ループで推論遅延とメモリ要求が増大する。
  論文  参考訳（メタデータ） (2025-10-28T15:35:50Z)
• Latent Iterative Refinement for Modular Source Separation [44.78689915209527]
  従来のソース分離アプローチは、すべてのデータを一度に利用できるように、ディープニューラルネットワークモデルをエンドツーエンドにトレーニングする。 我々は、トレーニングと推論の段階において、リソース効率を著しく向上させることができると論じる。
  論文  参考訳（メタデータ） (2022-11-22T00:02:57Z)
• Block-Recurrent Transformers [49.07682696216708]
  本稿では,逐次的にトランス層を適用するBlock-Recurrent Transformerを提案する。 我々のリカレントセルはシングルトークンではなくトークンブロック上で動作し、アクセルハードウェアを効率的に活用するためにブロック内の並列計算を利用する。
  論文  参考訳（メタデータ） (2022-03-11T23:44:33Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。