論文の概要: Loop Before You Leap: What Recurrent Depth Can and Cannot Buy in Data-Limited Pretraining

• arxiv url: http://arxiv.org/abs/2611.06206v1
• Date: Wed, 04 Nov 2026 09:21:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:58.041117
• Title: Loop Before You Leap: What Recurrent Depth Can and Cannot Buy in Data-Limited Pretraining
• Title（参考訳）: Leapの前のループ:データ制限付き事前トレーニングでリカレントな深さと購入できないもの
• Abstract要約: マルチモーダルモデルは、BabyLM Challengeでテキストのみのベースライン以下でしばしば得点される。 追加の繰り返し計算がこのギャップを埋めるかどうかを検証する。
• 参考スコア（独自算出の注目度）: 40.83470651369914
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal models have often scored below text-only baselines in the BabyLM Challenge (Klerings et al., 2024; Takmaz et al., 2025). We test whether additional recurrent computation helps close this gap. Recurrence increases computation by reusing layers without adding parameters or training data. Using a single implementation, we compare standard and looped Transformers under a 100M-word budget, with three seeds per main condition. Each image is represented by one feature vector from a frozen DINOv2 encoder, used as a prefix token. Caption words count toward the budget, so multimodal training also changes the language data. In a pre-registered text-only comparison, a 12-layer stack repeated four times exceeds a standard 48-layer Transformer by 5.4 BLiMP percentage points at matched inference compute. However, multimodal training lowers BLiMP accuracy by about 3.8 points in both architectures, with no clear mitigation from recurrence. An exploratory loop-side no-image control, trained with the multimodal language data and batching schedule, scores 5.7 points below the text-only baseline. Adding the visual prefix raises accuracy by 1.85 points on average, but this contrast is uncertain with three seeds. These results suggest that changes in language data and its presentation are a major source of the drop. Diagnostic tests show that the models use visual information; its contribution to grammatical generalization remains uncertain under this single-vector interface.
• Abstract（参考訳）: マルチモーダルモデルはしばしば、BabyLM Challenge (Klerings et al , 2024; Takmaz et al , 2025) においてテキストのみのベースライン以下にスコア付けされている。 追加の繰り返し計算がこのギャップを埋めるかどうかを検証する。 再帰性は、パラメータやトレーニングデータを追加せずにレイヤを再利用することで計算量を増加させる。 1つの実装を用いて、100Mワードの予算で標準トランスフォーマーとループトランスフォーマーを比較し、メイン条件毎に3つのシードを比較した。 各画像は、プレフィックストークンとして使用される凍結DINOv2エンコーダの1つの特徴ベクトルで表現される。 キャプションワードは予算に向けてカウントされるので、マルチモーダルトレーニングは言語データも変更する。 事前登録されたテキストのみの比較では、12層のスタックが4回繰り返し、標準の48層のトランスフォーマーを5.4BLiMPのパーセンテージで上回っている。 しかし、マルチモーダルトレーニングは両方のアーキテクチャでBLiMPの精度を約3.8ポイント下げる。 マルチモーダル言語データとバッチスケジュールで訓練された探索ループ側のノーイメージコントロールは、テキストのみのベースラインより5.7ポイント低い。 視覚的接頭辞を追加すると、平均で1.85ポイントの精度が上がるが、このコントラストは3つの種で不明瞭である。 これらの結果は,言語データの変化とそのプレゼンテーションが,この減少の主な原因であることを示唆している。 診断テストでは、モデルが視覚情報を使用することが示されたが、文法的一般化への寄与は、この単一ベクトルインタフェースの下では不確実である。

関連論文リスト

• Benchmarking Self-Supervised 3D Medical Vision Foundation Models and Transferability Estimation [57.65266782182578]
  セルフ教師付き事前トレーニングは、3D医療基盤モデルのプールを拡張したが、異なるデータセット、エンドポイント、微調整プロトコルを使用した評価を公表した。 14のセグメンテーション、分類、回帰タスク、複数の解剖学とモダリティにまたがる23の候補をベンチマークした。 3モデルショートリストは、7つのセグメンテーションタスクで記録された抜粋+訓練ジョブ時間を85.8%削減した。
  論文  参考訳（メタデータ） (2026-10-13T01:52:19Z)
• REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation [64.84437332310516]
  我々は,Reverse-Engineered Reasoning (REER) を生の事前学習データに拡張するスケーラブルなフレームワークである textbfREER-PT を紹介する。 REER-PTは予測が難しいが、それ以前のコンテキストから推論できる継続を識別し、コンテキストと継続の間の欠落した接続を再構築する簡潔な推論アノテーションを挿入する。 このスパース変換は、ソーステキストを保存し、トレーニング前のオンライン推論ロールアウトを避けることで、標準的な次世代の予測と互換性を維持します。
  論文  参考訳（メタデータ） (2026-08-31T11:34:19Z)
• Squeezing More from Limited Data with Recursive Transformers [50.00473320123697]
  限られたデータの下で事前トレーニングを行うには、Webスケールの言語モデリングとは異なるスケーリングのビューが必要である。 本研究では,10M-100Mワードの事前学習予算と2つのコーパス,複数の下流評価について検討した。
  論文  参考訳（メタデータ） (2026-08-27T11:18:27Z)
• Which Negatives Matter? Ask Your Text Encoder: Adaptive Similarity Margins for Dense-Caption Retrieval [20.130842837418726]
  本稿では,HN-CLIPを導入し,テキストエンコーダのテキスト・テキスト・ジオメトリを用いてアダプティブ・アダプティブ・類似性マージンを構築する。 結果として得られた目的は、トレーニング中に1つのキャプション類似性マトリックスとマスク付きロジットの追加のみを必要とする。 実験の結果、HN-CLIPは最強のライバルに対して+2.5から+4.0 R@1に改善され、GOALより2.4倍、StructXLIPより5.4倍高速にトレーニングされた。
  論文  参考訳（メタデータ） (2026-08-19T04:16:46Z)
• Decoupling Perception from Description: Computation-Grounded Representation Alignment between Multivariate Time Series and Language [16.343638992747533]
  時系列を言語に合わせるためのマルチモーダルモデルのトレーニングは、セルフスーパービジョントラップに実行される。 データは、ラベル付け者が既に知っている以上のものを教えることはできない。 我々は認識を記述から切り離すことでこれを解決する。
  論文  参考訳（メタデータ） (2026-08-05T13:57:08Z)
• When Prompts Become Pixels: Prompt-Region Grounding for Multimodal Reasoning [73.56343820592399]
  本稿では,視覚的タスクセマンティックス(VTS, Visualized Task Semantics)について紹介する。 6つのMLLMと4つのベンチマークで、24のモデルとタスクのペアの精度は平均17.8ポイント低下した。 本稿では,質問領域を型付きセマンティクスと整合させ,そのクリーンな表現をマスクビューから復元するプロンプト領域グラウンドを提案する。
  論文  参考訳（メタデータ） (2026-08-05T11:46:15Z)
• Accelerating Attention through Gradient-Based Learned Runtime Pruning [9.109136535767478]
  自己認識は、トランスフォーマーベースの自然言語処理モデルにおいて、最先端の精度を実現する重要な手段である。 本稿では、学習の損失関数に組み込まれたソフトな微分可能正規化器による探索を定式化する。 我々は、ビットレベルの早期終了マイクロアーキテクチャ機構を持つトランスフォーマー言語モデルに対して、LeOPArdと呼ばれるビットシリアルアーキテクチャを考案した。
  論文  参考訳（メタデータ） (2022-04-07T05:31:13Z)
• TransCrowd: Weakly-Supervised Crowd Counting with Transformer [56.84516562735186]
  今回提案するTransCrowdは、Transformerに基づくシーケンス・ツー・カウントの観点から、監視の弱い群衆カウント問題を再構成する。 5つのベンチマークデータセットの実験は、提案されたTransCrowdが、弱い監視されたCNNベースのカウント方法すべてと比較して優れたパフォーマンスを達成することを示しています。
  論文  参考訳（メタデータ） (2021-04-19T08:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。