論文の概要: stable-pretraining-v1: Foundation Model Research Made Simple
- arxiv url: http://arxiv.org/abs/2511.19484v1
- Date: Sun, 23 Nov 2025 04:39:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-26 17:37:04.030778
- Title: stable-pretraining-v1: Foundation Model Research Made Simple
- Title（参考訳）: stable-pretraining-v1: Foundation Model Research Made Simple
- Authors: Randall Balestriero, Hugues Van Assel, Sami BuGhanem, Lucas Maes,
- Abstract要約: 我々は、PyTorch、Lightning、Hugging Face、TorchMetrics上に構築された、安定した事前トレーニング、モジュラーおよびパフォーマンス最適化ライブラリを提供する。
従来のツールキットが最先端の結果に焦点を絞ったのとは異なり、安定した事前訓練は柔軟性とスピードのために設計されている。
最小限のオーバーヘッドで新たな研究結果を生成する能力を示すことで,図書館の検証を行う。
- 参考スコア（独自算出の注目度）: 17.10240529611107
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Foundation models and self-supervised learning (SSL) have become central to modern AI, yet research in this area remains hindered by complex codebases, redundant re-implementations, and the heavy engineering burden of scaling experiments. We present stable-pretraining, a modular, extensible, and performance-optimized library built on top of PyTorch, Lightning, Hugging Face, and TorchMetrics. Unlike prior toolkits focused narrowly on reproducing state-of-the-art results, stable-pretraining is designed for flexibility and iteration speed: it unifies essential SSL utilities--including probes, collapse detection metrics, augmentation pipelines, and extensible evaluation routines--within a coherent and reliable framework. A central design principle is logging everything, enabling fine-grained visibility into training dynamics that makes debugging, monitoring, and reproducibility seamless. We validate the library by demonstrating its ability to generate new research insights with minimal overhead, including depthwise representation probing and the analysis of CLIP degradation under synthetic data finetuning. By lowering barriers to entry while remaining scalable to large experiments, stable-pretraining aims to accelerate discovery and expand the possibilities of foundation model research.
- Abstract（参考訳）: ファンデーションモデルと自己教師型学習(SSL)は、現代のAIの中心となっているが、この分野の研究は、複雑なコードベース、冗長な再実装、実験のスケーリングにおけるエンジニアリングの重荷によって妨げられている。
我々はPyTorch, Lightning, Hugging Face, TorchMetrics上に構築された,モジュール式で拡張性があり,パフォーマンスに最適化されたライブラリである,安定した事前トレーニングを提供する。
従来のツールキットとは違い、安定した事前トレーニングは柔軟性とイテレーションのスピードのために設計されており、プローブ、崩壊検出メトリクス、拡張パイプライン、拡張可能な評価ルーチンを含むSSLユーティリティを統一する。
中心となる設計原則は、すべてをロギングすることであり、デバッグ、監視、再現性をシームレスにするトレーニングのダイナミックスに、きめ細かい視認を可能にする。
筆者らは,合成データの微調整による深部表現探索やCLIP劣化解析など,最小限のオーバーヘッドで新たな研究知見を生成できることを実証し,その妥当性を検証した。
大規模な実験に拡張性を維持しながら参入障壁を低くすることで、安定した事前訓練は発見を加速し、基礎モデル研究の可能性を拡張することを目的としている。
関連論文リスト
- AdversariaLLM: A Unified and Modular Toolbox for LLM Robustness Research [42.296088824743684]
AdversariaLLMは、ジェイルブレイク堅牢性研究を行うためのツールボックスである。
12の敵攻撃アルゴリズムを実装し、有害性、過剰な拒絶、ユーティリティ評価にまたがる7つのベンチマークデータセットを統合し、Hugging Faceを通じて幅広いオープンウェイトLLMへのアクセスを提供する。
name は、コンパニオンパッケージの judgeZoo を通じて判断も統合しており、独立して使用することもできる。
論文 参考訳（メタデータ） (2025-11-06T12:38:09Z) - Feedback-Driven Tool-Use Improvements in Large Language Models via Automated Build Environments [70.42705564227548]
大規模言語モデル(LLM)のための環境自動構築パイプラインを提案する。
これにより、外部ツールに頼ることなく、詳細な測定可能なフィードバックを提供する高品質なトレーニング環境の作成が可能になる。
また、ツール使用の精度とタスク実行の完全性の両方を評価する検証可能な報酬機構も導入する。
論文 参考訳（メタデータ） (2025-08-12T09:45:19Z) - Boosting All-in-One Image Restoration via Self-Improved Privilege Learning [72.35265021054471]
SIPL(Self-Improved Privilege Learning)は、トレーニング以外の特権情報(PI)を推論段階に拡張することで制限を克服する新しいパラダイムである。
SIPLの中心は、学習可能なPrivleged Dictionaryを組み込んだ軽量モジュールであるProxy Fusionである。
大規模な実験により、SIPLは様々なオールインワン画像復元ベンチマークの最先端性を著しく向上することが示された。
論文 参考訳（メタデータ） (2025-05-30T04:36:52Z) - Seek in the Dark: Reasoning via Test-Time Instance-Level Policy Gradient in Latent Space [92.6187727249868]
テスト時間インスタンスレベルの適応(TTIA)を通じて推論を強化するフレームワークであるLatentSeekを紹介した。
LatentSeekは、GSM8K、MATH-500、AIME2024など、さまざまな推論ベンチマークで評価されている。
結果は、LatentSeekが一貫して強力なベースラインを上回っていることを示している。
論文 参考訳（メタデータ） (2025-05-19T16:26:02Z) - Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。
ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。
実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
論文 参考訳（メタデータ） (2025-03-16T00:25:13Z) - LIBMoE: A Library for comprehensive benchmarking Mixture of Experts in Large Language Models [7.724874639022896]
本稿では,再現性,効率,MoE研究のための統合フレームワークであるLibMoEを紹介する。
i) ルーティングのダイナミクス、専門家の選択パターン、ルーティングの安定性と最適性、そしてルーティングのエントロピーがタスクの特殊化とエキスパートの多様性を明らかにする方法について、包括的な分析を行う。
導入障壁を低くし、評価を標準化し、包括的な分析とともに、LibMoEはMoE研究へのアクセスを拡大し、将来のイノベーションを導くための信頼性の高いベンチマークを確立します。
論文 参考訳（メタデータ） (2024-11-01T14:04:36Z) - Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
そこで本研究では,リトレーニングを繰り返して安定なモデル列を見つけるためのモデルに依存しないフレームワークを提案する。
最適モデルの復元が保証される混合整数最適化の定式化を開発する。
平均的に、予測力の2%の低下は、安定性の30%の改善につながることが判明した。
論文 参考訳（メタデータ） (2024-03-28T22:45:38Z) - Branch-Tuning: Balancing Stability and Plasticity for Continual Self-Supervised Learning [33.560003528712414]
自己教師付き学習(SSL)は、膨大な量のラベルのないデータから一般的な表現を導出するための効果的なパラダイムとして登場した。
これは、新しい情報に適応する際の安定性と可塑性のバランスを崩すことに挑戦する。
本稿では,SSLの安定性と可塑性のバランスを両立させる手法であるブランチチューニングを提案する。
論文 参考訳（メタデータ） (2024-03-27T05:38:48Z) - Self-Supervised Learning with Generative Adversarial Networks for Electron Microscopy [0.0]
本稿では,自己教師付き事前学習が,下流タスクの高精度な微調整をいかに促進するかを示す。
我々は、電子顕微鏡の文脈において、下流の様々なタスクにまたがる自己教師型事前学習の汎用性を実証する。
論文 参考訳（メタデータ） (2024-02-28T12:25:01Z) - Toward Fast, Flexible, and Robust Low-Light Image Enhancement [87.27326390675155]
我々は、現実の低照度シナリオにおいて、高速でフレキシブルで頑健な鮮明化のための新しい自己校正イルミネーション(SCI)学習フレームワークを開発した。
カスケードパターンの計算負担を考慮すると、各ステージの結果の収束を実現する自己校正モジュールを構築する。
我々は,SCI固有の特性について,操作不感適応性やモデル非関係の一般性を含む包括的探索を行う。
論文 参考訳（メタデータ） (2022-04-21T14:40:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。