論文の概要: Everything in Moderation: Per-Domain Coverage Optima and Alignment-Resistant Domain Gaps in Multi-Domain Mid-Training
- arxiv url: http://arxiv.org/abs/2609.09081v1
- Date: Tue, 08 Sep 2026 17:31:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.704586
- Title: Everything in Moderation: Per-Domain Coverage Optima and Alignment-Resistant Domain Gaps in Multi-Domain Mid-Training
- Title（参考訳）: 調整のすべて:マルチドメイン中級トレーニングにおけるドメインごとのカバーオプティマスとアライメント抵抗性ドメインギャップ
- Abstract要約: 5つのドメインにまたがる30のアロケーションをトレーニングし、24のスイープ構成と6つのアロケーションをフィットから保持します。
どのドメインも内部カバレッジが最適である。
訓練中のみの精度でカバーが崩壊することはない。
- 参考スコア（独自算出の注目度）: 2.5954303305216095
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mid-training, the stage between pre-training and alignment, is where a model's per-domain data composition is typically set by data availability rather than principled design. We ask what that decision buys, and whether a later alignment pass can undo it. In a controlled logical-reasoning setting (Qwen3-8B-Base, with a 4B replication; five semantically rule-disjoint KOR-Bench domains) we train 30 allocations spanning the five-domain simplex, 24 sweep configurations plus six withheld from the fit, at five seeds each. Three findings emerge. First, every domain has an interior coverage optimum: the moderate band ($10\%$-$40\%$) is best for all five domains, and a calibrated permutation test for quadratic interiority gives $P\approx0.010$; the fitted mid-training-only curves, with 8B peaks between $9.9\%$ and $35.1\%$, reproduce for curve shape but not peak location. Second, the gaps survive a fixed-budget alignment pass: compensatory SFT raises 116/120 cells (mean $+4.32\%$) yet bridges $0/240$ pairs at a $5\%$ threshold and $30/240$ at a $10\%$ ratio, an equal-budget uniform control behaves almost identically, and a permutation null would bridge $13.8\pm3.3$ and $77.9\pm8.5$ pairs ($P<0.001$). Third, zero coverage collapses mid-training-only accuracy, though a FineWeb-Edu-only control shows the collapse is commingled with generic drift. An exploratory $θ^*$ allocation attains the largest full-pipeline gain ($+4.36\%$ vs. $+0.80\%$/$+0.64\%$\,pp) but is marginal under Welch test.
- Abstract（参考訳）: トレーニングの途中、事前トレーニングとアライメントの間のステージでは、ドメイン単位のデータ構成が原則設計ではなく、データ可用性によって設定されるのが一般的である。
私たちは、その決定が何を買うのか、そして後続のアライメントパスがそれを解除できるかどうかを尋ねます。
制御された論理推論設定(Qwen3-8B-Base、レプリケーション4B、セマンティックに規則に反する5つのKOR-Benchドメイン)では、5ドメインの単純な5つの領域にまたがるアロケーションを、24のスイープ構成と6つのアロケーションをそれぞれ5つのシードでトレーニングします。
3つの発見がある。
適度なバンド(10 %$-40 %$)は5つのドメインすべてに最適であり、二次的な内部性に対する校正された置換テストはP\approx0.010$を与え、8Bピークは9.9 %$から35.1 %$で、曲線の形状は再現するが、ピーク位置は再現しない。
補償 SFT は 116/120 セル (平均$+4.32\%$) を上昇するが、0/240$ペアを5\%$閾値で、30/240$ペアを10\%$比で橋渡しし、等予算の統一制御はほぼ同じ振る舞いをし、置換 null は13.8\pm3.3$と7.9\pm8.5$ペアを橋渡しする(P<0.001$)。
第三に、ゼロカバレッジはトレーニングのみの精度で崩壊するが、FineWeb-Eduのみの制御では、崩壊はジェネリックドリフトによって開始されることを示している。
探索的な$θ^*$アロケーションは、最大のフルピペリンゲイン(+4.36\%$対$+0.80\%$/$+0.64\%$\,pp)に達するが、ウェルチテストでは限界である。
関連論文リスト
- A Sub-4 Approximation for Fair $k$-Means [18.61347737579578]
ユークリッド空間における公平な$k$-meansクラスタリングについて検討し、各クラスタにおける保護群の割合は、指定された下限と上限内にある必要がある。
本稿では,線形プログラミング緩和と入力の幾何学変換を組み合わせた近似アルゴリズムを提案する。
論文 参考訳（メタデータ） (2026-09-07T20:54:36Z) - Round-Trip Consistency: Bidirectional Diffusion Models Can Predict Their Own Rollout Errors [51.56484100374058]
自動回帰モデルは、長時間のロールアウトでエラーを蓄積しますが、デプロイ時には、それを測定するための基本的な真実はありません。
我々は、方向フラグを介して動的システムを前方または後方にステップする単一の条件付き潜在拡散モデルを訓練する。
この双方向性は測定不要なテスト時間誤差信号を提供することを示す。
論文 参考訳（メタデータ） (2026-08-01T13:49:46Z) - Exact equivariance, kept through training, buys zero-shot generalisation across the symmetry group [6.230579198456525]
等変エンコーダ$E$と等変予測器$f$から構築された潜在世界モデルは、トレーニング損失の証明可能な対称性を継承する。
このエンドツーエンドをラップトップスケール(CPU/MPS、完全シード)で検証する。
論文 参考訳（メタデータ） (2026-06-02T01:20:24Z) - Pruning Deep Neural Networks via the Marchenko--Pastur Distribution [0.0]
提案手法は,超小型の切削後微調整予算を持つ深層ニューラルネットワークにおけるランダム・マトリクス手法である。
主な実用的貢献は、短いキャリブレーションと微調整スケジュールの下での精度維持である。
論文 参考訳（メタデータ） (2026-05-23T19:44:02Z) - ChainzRule: Sample-Efficient, Robust Deep Learning Across Tabular, NLP, and Vision Tasks [0.0]
エンタープライズドメイン全体にわたるディープラーニングシステムは、学術ベンチマークが不明瞭な制約の下で運用される。
本稿では、典型的なアクティベーションを微分正規化(DREG)によって制御される学習可能な層に置き換えるニューラルネットワークChainzRule(CR)を提案する。
CRは、ピマ糖尿病で85.71% pm 2.01%$、凍結エンコーダでSST-5の感情分類で46.20% pm 0.37%$、パラメータが3.2Mの完全順序回帰で70.17%$を達成している。
論文 参考訳（メタデータ） (2026-05-23T01:52:50Z) - Hidden-State Privacy Has an Empty Middle [51.56484100374058]
すべてのフルランクガウス解放を$O(1)$ Fisher utility で表すと、マハラノビス信号が隠れた幅で直線的に成長する方向を認める。
スクラッチからトレーニングされたスプリットメモリトランスフォーマーは、[20, 33]$90MでG_mathrmMahに達し、固定言語損失ペナルティにおいて、30Mから1Bまでの同じ予算のGPTベースラインに対して6ドル～24ドルという優位性を維持する。
論文 参考訳（メタデータ） (2026-05-21T20:12:09Z) - Do Post-Training Algorithms Actually Differ? A Controlled Study Across Model Scales Uncovers Scale-Dependent Ranking Inversions [1.6498361958317636]
51のポストトレーニングアルゴリズムを同一のインフラで実装した統合フレームワークを提案する。
本研究では,4つのモデルスケール(0.5B--7B),3つの評価領域,20種類のDPO分類にまたがる8つのアルゴリズムについて検討した。
20種類のDPOはボンフェロニ補正後にバニラDPOを著しく上回りませんが、唯一の重要な異常値であるSimPOはより悪くなります。
論文 参考訳（メタデータ） (2026-03-19T04:10:38Z) - Proving the Limited Scalability of Centralized Distributed Optimization via a New Lower Bound Construction [57.93371273485736]
我々は、すべての労働者が同一の分布にアクセスする均質な(すなわちd.d.)場合であっても、すべての労働者が非バイアス付き境界 LDeltaepsilon2,$$$$$ のポリ対数的により良いポリ対数を求める集中型分散学習環境を考える。
論文 参考訳（メタデータ） (2025-06-30T13:27:39Z) - Ensemble of Averages: Improving Model Selection and Boosting Performance
in Domain Generalization [63.28279815753543]
ドメイン一般化(Domain Generalization, DG)設定では、特定のトレーニングドメインセットでトレーニングされたモデルが、シフトしたテストドメイン上でのカオスなパフォーマンスで悪名高い。
まず、モデルパラメータを最適化パスに沿って平均化する単純なプロトコルが、トレーニングの初期段階から始まって、ドメインの一般化性を大幅に向上させることを示す。
独立に訓練されたモデルのアンサンブルもまた、DG設定においてカオスな振る舞いを持つことを示す。
論文 参考訳（メタデータ） (2021-10-21T00:08:17Z) - Fine-Grained Gap-Dependent Bounds for Tabular MDPs via Adaptive
Multi-Step Bootstrap [84.66885506098724]
本稿では,アダプティブ・マルチステップ・ブートストラップ (AMB) を用いた表層有限水平マルコフ決定過程 (MDP) のモデルフリーアルゴリズムを提案する。
AMBは,部分最適ギャップの逆の和でのみスケールする,ギャップ依存的後悔境界を達成できることを示す。
また、AMB は $frac|Z_mul|Delta_min$ regret という追加の $frac|Z_mul|Delta_min$ を被っていることも示しています。
論文 参考訳（メタデータ） (2021-02-09T07:46:34Z) - Deep Learning Meets Projective Clustering [66.726500395069]
NLPネットワークを圧縮するための一般的なアプローチは、埋め込み層を行列 $AinmathbbRntimes d$ としてエンコードすることである。
計算幾何学から遠射的クラスタリングに着想を得て、この部分空間を$k$部分空間の集合で置き換えることを提案する。
論文 参考訳（メタデータ） (2020-10-08T22:47:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。