論文の概要: ArchSpace: Recording, Reviewing, and Referencing LLM Architecture Research
- arxiv url: http://arxiv.org/abs/2611.17332v1
- Date: Thu, 12 Nov 2026 18:59:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.603573
- Title: ArchSpace: Recording, Reviewing, and Referencing LLM Architecture Research
- Title(参考訳): ArchSpace: LLMアーキテクチャ研究の記録、レビュー、参照
- Abstract要約: 業界では、DeepSeek、Qwen、Kimなどのチームがアーキテクチャ革新を定期的に導入している。
アカデミアでは、限定された計算と一貫性のないベースラインは、しばしば小規模で単点比較に限定する。
ArchSpaceは、両方のギャップを、記録、レビュー、参照アーキテクチャResearcのためのパブリックプラットフォームとして扱う
Qwen3.5とOLMo3のベースライン、スケーリング法則の適合、再利用可能なトレーニングレシピ。
- 参考スコア(独自算出の注目度): 32.35727462649763
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Model architecture shapes the scaling behavior, training efficiency, and inference cost of LLMs, making it a central focus of both industry and academia. In industry, teams such as those behind DeepSeek, Qwen, and Kimi routinely introduce architectural innovations, yet public reports rarely document which ideas succeeded, which were abandoned, and why. In academia, limited compute and inconsistent baselines often restrict evaluations to small-scale, single-point comparisons, making it difficult to establish whether improvements hold at larger scales or translate into broader impact. ArchSpace addresses both gaps as a public platform for Recording, Reviewing, and Referencing Architecture Researc}: each proposal is recorded with its experiments and reasoning, reviewed by the community, and referenced by later work. To evaluate ideas before costly large-scale training, ArchSpace leverages scaling laws to predict model loss at larger scales from smaller experiments, a practice widely adopted in industry. We provide initial references that make the platform usable: Qwen3.5 and OLMo3 baselines, fitted scaling laws, and a reusable training recipe. Ideas validated through this review can in turn become new baselines, and ArchSpace thereby aims to broaden the range of ideas that shape the next generation of models.
- Abstract(参考訳): モデルアーキテクチャは、LLMのスケーリング行動、トレーニング効率、推論コストを形作り、産業とアカデミックの両方の中心となる。
業界では、DeepSeek、Qwen、Kimなどのチームがアーキテクチャの革新を定期的に導入しているが、どのアイデアが成功したか、それは放棄されたのか、なぜかは、公表されていない。
アカデミアでは、限定された計算と一貫性のないベースラインは、しばしば小規模で単一点の比較に評価を制限し、改善がより大きなスケールで維持されるか、より広範な影響に変換されるかを確認するのが困難である。
ArchSpaceは、両方のギャップを、記録、レビュー、参照アーキテクチャのResearc}の公開プラットフォームとして解決している。
コストのかかる大規模なトレーニングの前にアイデアを評価するために、ArchSpaceはスケーリング法則を活用して、より小さな実験から大規模なモデル損失を予測する。
Qwen3.5とOLMo3のベースライン、スケーリング法則の適合、再利用可能なトレーニングレシピ。
このレビューを通じて検証されたアイデアは、新たなベースラインとなり、ArchSpaceは、次世代モデルを形成するアイデアの範囲を広げることを目指している。
関連論文リスト
- Learning to Ideate for Scientific Impact [4.702729080310267]
我々は、引用正規化による影響を、学術的獲得のためのうるさいがスケーラブルなプロキシとして利用する。
100万以上のコンピュータサイエンス論文から大規模なデータセットを構築する。
本研究は,科学的な影響を,オープンエンドな科学的発見におけるLCMの整合性を示す実用的なフィードバック信号として位置づけた。
論文 参考訳(メタデータ) (2026-09-24T13:37:59Z) - Multimodal Spatial Reasoning in the Large Model Era: A Survey and Benchmarks [108.15756345836901]
大規模モデルを用いたマルチモーダル空間推論タスクの包括的レビューを行う。
我々は、視覚言語ナビゲーションやアクションモデルを含む、具体的AIの進歩についてレビューする。
我々は,新しいセンサによる空間的理解に寄与する音声やエゴセントリックビデオなどの新たなモダリティを考察する。
論文 参考訳(メタデータ) (2025-10-29T17:55:43Z) - Unlocking Scaling Law in Industrial Recommendation Systems with a Three-step Paradigm based Large User Model [37.58316550920225]
我々は,大規模ユーザモデル(LUM)を導入し,産業環境の厳しい要件を満たすとともに,スケーラブルなレコメンデーションの可能性を開放する。
LUMは優れたスケーラビリティを示し、モデルが70億のパラメータにスケールするにつれてパフォーマンスが向上する。
我々はLUMを産業用アプリケーションに導入し、A/Bテストで大きな成果を上げ、その有効性と実用性を検証した。
論文 参考訳(メタデータ) (2025-02-12T11:23:46Z) - Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in
Dense Encoders [63.28408887247742]
得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。
我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
論文 参考訳(メタデータ) (2023-11-16T10:42:58Z) - nanoLM: an Affordable LLM Pre-training Benchmark via Accurate Loss Prediction across Scales [65.01417261415833]
我々は,最大更新パラメトリゼーション(muP)がスケーリング法則の正確な適合を可能にするという観測に基づいて,事前学習損失を予測する手法を提案する。
トレーニング前コストの約14%で、52Bまでのモデルの損失を正確に予測できる。
NanoLMのゴールは、限られた資源を持つ研究者が大きなモデルで有意義な結論に達することを可能にすることです。
論文 参考訳(メタデータ) (2023-04-14T00:45:01Z) - Deconstructing Self-Supervised Monocular Reconstruction: The Design
Decisions that Matter [63.5550818034739]
本稿では,自己教師付き単分子深度推定への最先端の貢献を評価するための枠組みを提案する。
事前トレーニング、バックボーン、アーキテクチャ設計の選択、損失関数が含まれる。
我々は16の最先端コントリビューションを再実装し、検証し、再評価し、新しいデータセットを導入します。
論文 参考訳(メタデータ) (2022-08-02T14:38:53Z) - Scaling Laws for Deep Learning [1.90365714903665]
この論文では、これらのコストの根底にあるアルゴリズム的および方法論的制約に対処する体系的なアプローチを採っている。
まず、ディープラーニングトレーニングとプルーニングが、スケーリング法則によって予測可能であり、管理されていることを実証する。
そして、ノイズのない実現可能なケースの探索を通して、DLは実際、低いエラー限界からかなり離れた誤差源によって支配されていることを示す。
論文 参考訳(メタデータ) (2021-08-17T15:37:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。