論文の概要: daVinci-LLM:Towards the Science of Pretraining

• arxiv url: http://arxiv.org/abs/2603.27164v1
• Date: Sat, 28 Mar 2026 07:00:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-31 23:18:44.82303
• Title: daVinci-LLM:Towards the Science of Pretraining
• Title（参考訳）: daVinci-LLM: プレトレーニングの科学へ向けて
• Authors: Yiwei Qin, Yixiu Liu, Tiantian Mi, Muhang Xie, Zhen Huang, Weiye Si, Pengrui Lu, Siyuan Feng, Xia Wu, Liming Liu, Ye Luo, Jinlong Hou, Qipeng Guo, Yu Qiao, Pengfei Liu,
• Abstract要約: daVinci-LLMは、産業規模の資源と完全な研究自由を組み合わせて、事前訓練の科学を前進させる。 完全なデータ処理パイプライン、完全なトレーニングプロセス、体系的な調査結果をリリースしています。
• 参考スコア（独自算出の注目度）: 58.6458452580545
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The foundational pretraining phase determines a model's capability ceiling, as post-training struggles to overcome capability foundations established during pretraining, yet it remains critically under-explored. This stems from a structural paradox: organizations with computational resources operate under commercial pressures that inhibit transparent disclosure, while academic institutions possess research freedom but lack pretraining-scale computational resources. daVinci-LLM occupies this unexplored intersection, combining industrial-scale resources with full research freedom to advance the science of pretraining. We adopt a fully-open paradigm that treats openness as scientific methodology, releasing complete data processing pipelines, full training processes, and systematic exploration results. Recognizing that the field lacks systematic methodology for data processing, we employ the Data Darwinism framework, a principled L0-L9 taxonomy from filtering to synthesis. We train a 3B-parameter model from random initialization across 8T tokens using a two-stage adaptive curriculum that progressively shifts from foundational capabilities to reasoning-intensive enhancement. Through 200+ controlled ablations, we establish that: processing depth systematically enhances capabilities, establishing it as a critical dimension alongside volume scaling; different domains exhibit distinct saturation dynamics, necessitating adaptive strategies from proportion adjustments to format shifts; compositional balance enables targeted intensification while preventing performance collapse; how evaluation protocol choices shape our understanding of pretraining progress. By releasing the complete exploration process, we enable the community to build upon our findings and systematic methodologies to form accumulative scientific knowledge in pretraining.
• Abstract（参考訳）: 基礎的な事前訓練フェーズは、事前訓練中に確立された能力基盤を克服するために後訓練が苦労しているため、モデルの能力天井を決定する。 計算資源を持つ組織は、透明な開示を妨げる商業的な圧力の下で活動し、学術機関は研究の自由を持っているが、事前訓練されたスケールの計算資源が欠けている。 daVinci-LLMはこの未調査の交差点を占有し、工業規模の資源と完全な研究自由を組み合わせて、事前訓練の科学を前進させる。 オープン性を科学的方法論として扱い、完全なデータ処理パイプライン、完全なトレーニングプロセス、体系的な探索結果をリリースする、完全にオープンなパラダイムを採用しています。 データ処理の体系的な方法論が欠如していることを認識し、フィルタリングから合成までのL0-L9分類法であるデータダーウィン主義フレームワークを採用する。 本研究では,基本能力から推論集約的な拡張へと段階的にシフトする2段階適応カリキュラムを用いて,ランダム初期化から8Tトークン間の3Bパラメータモデルを訓練する。 処理深度は、ボリュームスケーリングと並んで重要な次元として機能を強化し、異なる領域で異なる飽和ダイナミクスを示し、比例調整からフォーマットシフトまで適応戦略を必要とする。 完全な調査プロセスをリリースすることにより、コミュニティは、我々の発見と体系的な方法論に基づいて、事前学習において蓄積的な科学的知識を形成することができる。

関連論文リスト

• On the Value of Tokeniser Pretraining in Physics Foundation Models [7.911638286054963]
  物理エミュレーションシミュレーションの精度と効率に及ぼすトークンプリトレーニングの影響について検討する。 本研究では,物理エミュレーションの計算効率を高めるために,動的モデルのトレーニングに先立って,自動符号化の目標でトークンを事前学習することを示す。
  論文  参考訳（メタデータ） (2026-03-05T19:00:22Z)
• LLM-Inspired Pretrain-Then-Finetune for Small-Data, Large-Scale Optimization [7.8639568562295965]
  我々は、企業が同時に多くの運用上の決定をしなければならない、小規模で大規模な意思決定問題を考える。 本稿では,この課題に対処するために,設計したトランスフォーマーモデル上に構築したプレトレイン-then-finetuneアプローチを提案する。
  論文  参考訳（メタデータ） (2026-02-03T16:08:33Z)
• How to Set the Learning Rate for Large-Scale Pre-training? [73.03133634525635]
  我々はこの調査を2つの異なる研究パラダイムであるフィッティングとトランスファーに定式化する。 フィッティングパラダイムでは,探索係数のスケーリング法則を導入し,O(n3) から O(n*C_D*C_) への探索複雑性を予測モデルにより効果的に低減する。 我々は、$Transferの原則をMixture of Experts (MoE)アーキテクチャに拡張し、モデル深さ、重量減衰、トークン水平線を含む適用範囲を広げる。
  論文  参考訳（メタデータ） (2026-01-08T15:55:13Z)
• Sample-Efficient Neurosymbolic Deep Reinforcement Learning [49.60927398960061]
  本稿では,背景記号知識を統合し,サンプル効率を向上させるニューロシンボリックディープRL手法を提案する。 オンライン推論は2つのメカニズムを通じてトレーニングプロセスのガイドを行う。 我々は、最先端の報奨機ベースラインよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2026-01-06T09:28:53Z)
• From Physics to Machine Learning and Back: Part II - Learning and Observational Bias in PHM [52.64097278841485]
  物理インフォームドモデリングとデータストラテジーによる学習と観察バイアスの導入は、モデルを物理的に一貫した信頼性のある予測へと導くことができるかを検討する。 メタラーニングや少数ショットラーニングなどの高速適応手法をドメイン一般化手法とともに検討する。
  論文  参考訳（メタデータ） (2025-09-25T14:15:43Z)
• Neuro-Symbolic Predictive Process Monitoring [7.295472411867107]
  本稿では,データ駆動学習と時間論理に基づく事前知識を統合したニューロシンボリック予測プロセスモニタリング(PPM)手法を提案する。 本稿では,有限トレース(LTLf)上の線形時間論理を自己回帰列予測器のトレーニングプロセスに組み込む新しい手法を提案する。 実世界の3つのデータセットを実験的に評価したところ,本手法は接尾辞予測精度と時間的制約の遵守を改善した。
  論文  参考訳（メタデータ） (2025-08-31T13:07:17Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• Streamflow Prediction with Uncertainty Quantification for Water Management: A Constrained Reasoning and Learning Approach [27.984958596544278]
  本稿では、論理的制約として表される物理法則を、ディープニューラルネットワークの層として統合する制約付き推論と学習(CRL)アプローチについて検討する。 そこで本研究では,深層モデルの一般化精度を向上させるため,理論的に基礎的なトレーニング手法を開発した。
  論文  参考訳（メタデータ） (2024-05-31T18:53:53Z)
• Rethinking Resource Management in Edge Learning: A Joint Pre-training and Fine-tuning Design Paradigm [87.47506806135746]
  一部のアプリケーションでは、エッジラーニングは、スクラッチから新しい2段階ラーニングへと焦点を移している。 本稿では,2段階のエッジ学習システムにおける共同コミュニケーションと計算資源管理の問題について考察する。 事前学習および微調整段階に対する共同資源管理の提案は,システム性能のトレードオフをうまくバランスさせることが示されている。
  論文  参考訳（メタデータ） (2024-04-01T00:21:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。