論文の概要: Small Models Scout Bottleneck Order for Large-Model Data Control

• arxiv url: http://arxiv.org/abs/2608.14936v1
• Date: Fri, 14 Aug 2026 23:24:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.129504
• Title: Small Models Scout Bottleneck Order for Large-Model Data Control
• Title（参考訳）: 大規模モデルデータ制御のための小型モデルスカウトボトルネック順序
• Abstract要約: クローズドループコントローラであるLogFloorを導入し、各ラウンドを現在のボトルネックに向けて誘導する。 Qwen2.5-1.5Bの5つのbAbIスキルスライスで、LogFloorはトークンコストを平均56.2%削減した。 70M-to-12B転送では、70Mスカウトパスの3ラウンドのリプレイが8つのターゲットランのすべてのフロアに到達する。
• 参考スコア（独自算出の注目度）: 25.285253224551706
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Small proxy models are commonly used to identify data mixtures for larger-scale training. We ask whether their training trajectories reveal another transferable structure: the order in which larger models should resolve skill bottlenecks. We formulate first-passage skill training, where each monitored skill has a target floor and the objective is to minimize the tokens required to reach all floors. We introduce LogFloor, a closed-loop controller that directs each round toward current bottlenecks, producing phase-ordered resolution trajectories. Across five bAbI skill slices on Qwen2.5-1.5B, LogFloor reduces token cost by 56.2% on average. In 70M-to-12B transfer, three-round replay of a 70M scout path reaches every floor in all eight target runs, saving 30.9% by pair mean, 39.4% in pooled training tokens, and 37.6% under source-cost accounting. On MMLU-control, a frozen scout path succeeds across all eight 12B runs. Collapsing a path to its static marginal mixture or reversing its phase order removes most benefits, while bottleneck labels alone remain partially useful. These results identify phase-ordered bottleneck resolution as a transferable curriculum structure for monitored skill-targeted training.
• Abstract（参考訳）: 小さなプロキシモデルは、大規模トレーニングのためのデータミックスを識別するために一般的に使用される。 より大規模なモデルがスキルボトルネックを解決すべき順序である、別の伝達可能な構造が示されるかどうかを問う。 我々は,各監視スキルに目標フロアがあり,すべてのフロアに到達するために必要なトークンを最小限にすることを目的とした,ファーストパススキルトレーニングを定式化する。 我々は,各ラウンドを現在のボトルネックに向けて誘導する閉ループコントローラであるLogFloorを導入し,位相秩序付き解像度トラジェクトリを生成する。 Qwen2.5-1.5Bの5つのbAbIスキルスライスで、LogFloorはトークンコストを平均56.2%削減した。 70M-to-12B転送では、70Mのスカウトパスの3ラウンドのリプレイが全8回の目標ランで全フロアに到達し、ペア平均で30.9%、プールされたトレーニングトークンで39.4%、ソースコストで37.6%の節約となった。 MMLU制御では、フリーズスカウトパスが8つの12Bランで成功している。 静的な境界混合への経路の衝突や位相秩序の逆転は、ほとんどの利点を排除し、ボトルネックラベルだけでも部分的に有用である。 これらの結果から, 位相整合型ボトルネック分解能は, 監視型スキルターゲットトレーニングのための伝達可能なカリキュラム構造であることがわかった。

関連論文リスト

• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• ForeTime-VLA: Causal Future-Token Distillation from a World Action Model for Conveyor-Belt Manipulation [6.874305530359895]
  本稿では,凍ったFast-WAMをベースとした教師から,未来を意識した行動等価表現を蒸留する高密度pi0.5ポリシーであるForeTime-VLAを紹介する。 オンラインでは、8フレームの履歴エンコーダが操作フェーズと正規化された時間-遷移とともにこのターゲットを予測する。 テストMAEは0.134119から0.130593 (2.63%)に減少し、ペアリングブートストラップ95%CI:0.82-4.48%の改善、テストL2は2.46-2.93%の遅延コストで3.02%減少する。
  論文  参考訳（メタデータ） (2026-08-21T04:40:41Z)
• Mach-Mind-4-Flash Technical Report [0.0]
  Mach-Mind-4-Flashは3Bアクティベートパラメータを持つMixture-of-Experts (MoE)エージェントモデルである。 トレーニング後の最適化は、事前学習計算をスケーリングすることなく、100B-パラメータクラスのモデルと同等かそれ以上のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-10T12:57:08Z)
• SAM3-Assisted Training of Lightweight YOLO Models for Precision Pig Farming [0.3044748118797888]
  本研究は、効率の良いYOLOv8検出器を訓練するためのゼロショット擬似ラベルを生成するための完全自動知識蒸留パイプラインを提案する。 SAM 3をオフライン自動アノテーションとして扱うことにより,手作業によるラベル付けのボトルネックを解消し,リソース制約のあるハードウェア上でリアルタイムな推論が可能なモデルを生成する。 その結果、SAM 3 トレーニングされた YOLOv8m が平均平均平均精度 79.4% を人間の介入なしに達成し、推論遅延を教師モデルと比較して約200$times$に削減した。
  論文  参考訳（メタデータ） (2026-05-25T13:50:24Z)
• Revisiting DAgger in the Era of LLM-Agents [35.615579397673166]
  ロングホライゾン LM エージェントはマルチターン相互作用から学習し、1つの早期誤りがその後の状態分布を変化させ、全軌道を脱線させる。 教師の微調整によって教師の監督が密集し、検証可能な報酬による強化学習は、この非政治的なミスマッチを避ける。 マルチターンLMエージェントのデータセットアグリゲーション(DAgger)を再検討することにより,このジレンマに対処する。
  論文  参考訳（メタデータ） (2026-05-13T02:40:28Z)
• Trajectory as the Teacher: Few-Step Discrete Flow Matching via Energy-Navigated Distillation [8.736935937857192]
  Trajectory-Shaped Discrete Flow Matchingは、ブラインドジャンプをガイドナビゲーションに置き換える。 170M-024言語モデリングでは、8ステップの形状の学生は1,024ステップの教師よりも32%低い難易度を達成する。
  論文  参考訳（メタデータ） (2026-05-08T15:58:22Z)
• Every Step Evolves: Scaling Reinforcement Learning for Trillion-Scale Thinking Model [100.86587937568832]
  Ring-1Tは、数兆のパラメータを持つ最初のオープンソースの最先端の思考モデルである。 総パラメータは1兆で、1トークンあたり約500億を活性化する。
  論文  参考訳（メタデータ） (2025-10-21T17:46:14Z)
• Pretraining Large Language Models with NVFP4 [53.235038214986865]
  我々は,NVFP4フォーマットを用いた大規模言語モデル(LLM)の安定かつ高精度な学習手法を提案する。 本手法は,前方と後方の両方で一貫した表現のための2次元量子化方式を統合する。 以上の結果から,NVFP4をベースとしたプレトレーニング技術を用いてトレーニングしたモデルは,FP8ベースラインに匹敵するトレーニング損失とダウンストリームタスクアキュラシーを達成できることが示唆された。
  論文  参考訳（メタデータ） (2025-09-29T17:53:17Z)
• STELAR-VISION: Self-Topology-Aware Efficient Learning for Aligned Reasoning in Vision [24.162895928364062]
  トポロジを意識した推論のためのトレーニングフレームワークSTELAR-Visionを紹介する。 コアとなるTopoAugは、さまざまなトポロジカルな構造でトレーニングを充実させる合成データパイプラインだ。 MATH-VとVLM-S2Hでは、STELAR-Visionはベースモデルの精度を9.7%向上し、より大型のQwen2VL-72B-インストラクションを7.3%上回っている。
  論文  参考訳（メタデータ） (2025-08-12T07:27:50Z)
• MiMo: Unlocking the Reasoning Potential of Language Model -- From Pretraining to Posttraining [60.02032710118597]
  提案するMiMo-7Bは,学習前の段階と学習後の段階にまたがって最適化された,推論タスクのための大規模言語モデルである。 MiMo-7B-Baseは25兆のトークンで事前訓練されており、性能の向上と推論速度の高速化を目標としている。 最後のRLチューニングモデルであるMiMo-7B-RLは、OpenAI o1-miniの性能を上回り、数学、コード、一般的な推論タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-05-12T14:30:11Z)
• Compact Language Models via Pruning and Knowledge Distillation [61.56557874432008]
  ミニトロンモデルでは、スクラッチからのトレーニングに比べてMMLUスコアが最大16%改善している。 すでにトレーニング済みの15Bモデルから8Bと4Bモデルを抽出するには、スクラッチからトレーニングするよりも、モデル毎のトレーニングトークンを最大40倍少なくする必要があります。
  論文  参考訳（メタデータ） (2024-07-19T21:47:57Z)
• GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection [133.45193150403537]
  LLM(Large Language Models)のトレーニングは、重み付けやGPU状態の増大によって、メモリ上の重大な問題が発生する。 本研究では,メモリ効率のトレーニング戦略としてグラディエント・ローランド・プロジェクション(GaLore)を提案する。 私たちの8ビットのGaLoreは、BF16ベースラインと比較して、メモリを82.5%、トレーニング総メモリを63.3%削減します。
  論文  参考訳（メタデータ） (2024-03-06T07:29:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。