論文の概要: Conditional Transfer from Controlled Pretraining Mixtures to Code
- arxiv url: http://arxiv.org/abs/2610.11548v1
- Date: Thu, 08 Oct 2026 09:12:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.916009
- Title: Conditional Transfer from Controlled Pretraining Mixtures to Code
- Title（参考訳）: 制御された事前学習混合体からコードへの条件伝達
- Abstract要約: 合成タスクは、言語モデル能力のプローブや事前学習データとしての利用が増えている。
タスクは、その損失が世界的な事前訓練の進捗を追跡するときに診断され、その損失が自身のトークン予算に応答した時に教えられる。
損失ベース適応スケジューラは、残留損失再現性と下流転送とのミスマッチを露呈する。
- 参考スコア（独自算出の注目度）: 2.030567625639093
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Synthetic tasks are increasingly used both as probes of language-model capability and as pretraining data. Both uses are often justified by loss reduction: falling loss is treated as informative, and faster loss reduction with more sampling as evidence that a task is worth sampling. We separate three signals. A task is diagnostic when its loss tracks global pretraining progress; it is teachable when its loss responds to its own token budget; and a data source transfers when including it improves a downstream target. We study controlled pretraining in which 70% of the corpus is fixed general Python and the remaining 30% is a simplex over three source families: OpenCodeInstruct, a curated suite of 12 code-adjacent synthetic tasks, and 15 literature-derived probe tasks. Across a task-budget sweep we detect teachability for 14 of 27 tasks, with a sharp asymmetry between the two synthetic families (10/12 curated versus 4/15 literature-derived). Teachability and downstream transfer give different rankings. On the mixture-simplex edge between the curated suite and OpenCodeInstruct, HumanEval pass@20 after a fixed fine-tuning stage rises from 15.9 at pure curated data to its highest observed value, 22.6, at a mixture that is 75% OpenCodeInstruct, then falls to 19.5 at pure OpenCodeInstruct. Curated synthetic data therefore has conditional value: it contributes as a limited share of a mixture that a target-aligned source still dominates. Finally, a loss-based adaptive scheduler exposes the mismatch between residual loss reducibility and downstream transfer. Across three 60k-step free-ratio runs, Ado drives the OpenCodeInstruct share below 5% within the first 5k steps and to 1.2--1.4% by the end of training, and underperforms its matched fixed-mixture controls by 2.4--11.0 percentage points. Optimizing near-term task-loss reduction moves the mixture away from the region that transfers.
- Abstract（参考訳）: 合成タスクは、言語モデル能力のプローブや事前学習データとしての利用が増えている。
損失の減少は情報として扱われ、より多くのサンプリングで損失の減少は、あるタスクがサンプリングに値する証拠として扱われる。
我々は3つの信号を分離する。
タスクは、その損失がグローバルな事前トレーニングの進捗を追跡するとき、その損失が自身のトークン予算に応答したとき、そしてデータソースがダウンストリームターゲットを改善するとき、転送されるときに診断される。
コーパスの70%がPythonで固定され、残りの30%が3つのソースファミリ上で単純なものである制御事前トレーニングについて検討した。
タスク予算の全体にわたって,27タスク中14タスクに対して,2つの合成ファミリー間(10/12キュレート)の鋭い非対称性(4/15文献由来)を検知する。
教育性やダウンストリーム・トランスファーは異なるランキングを与える。
キュレートされたスイートとOpenCodeInstructの混合複雑なエッジでは、HumanEval pass@20は、純粋なキュレートされたデータで15.9から最高値22.6に上昇し、75%のOpenCodeInstructで混合され、純粋なOpenCodeInstructで19.5に低下する。
したがって、キュレートされた合成データは条件付き値を持ち、ターゲットアライメントされたソースが依然として支配する混合物の限られたシェアとして寄与する。
最後に、損失ベースの適応スケジューラは、残留損失再現性と下流転送とのミスマッチを露呈する。
3回の60kステップのフリー比で、Adoは最初の5kステップでOpenCodeInstructのシェアを5%以下にし、トレーニング終了後に1.2--1.4%に減らし、マッチした固定混合制御を2.4--11.0ポイント下回った。
短期タスクロス削減の最適化は、混合物を転送する領域から遠ざける。
関連論文リスト
- LARC: Low-Rank Adaptive Residual Connections for Learning in Frozen Models [0.5371337604556311]
本稿では,メモリ・メディア・ラーニング・アーキテクチャにおける数値ポリシ・キャリアの入力側実現について述べる。
凍結したMiniCPM5-1B-SFT基板上で12,288個のトレーニング可能なパラメータを持つランク4入力残基について検討した。
論文 参考訳（メタデータ） (2026-09-30T16:21:39Z) - Threshold Choice, Not Sample Size, Bounds Trustless Verification of Nondeterministic Compound AI Workflows [0.0]
複合AIパイプライン LLMコール、レトリバー、ツールは非決定論的である。
各ステージのインプット、アウトプット、コンテキストのダイジェストをコミットします。
合成HotpotQAパイプラインでは、校正された固定しきい値が45個の正直な複製のうち44個を受け入れ、105個の発散ペアのうち104個を拒絶する。
論文 参考訳（メタデータ） (2026-09-07T22:10:54Z) - SWE-Test: Benchmarking LLM Vulnerability Discovery via Input Prediction [13.719725391379276]
脆弱性発見は、大規模言語モデル(LLM)エージェントの重要な機能である。
我々は、その測定を、クローズドな決定論的基底真理を持つ入力予測タスクとして再放送する。
これにより、発見は15ドメインにまたがる22の現実世界のC/C++プログラムで3つのタスクモードに分解される。
論文 参考訳（メタデータ） (2026-09-05T19:04:41Z) - ABAI at COLIEE 2026 Task 1: Multi-Stage Retrieval with GraphRAG-Enhanced Meta-Learning, and a Post-Hoc Study of the Cross-Validation-to-Test Gap [7.5681086280820615]
我々は,ABAI 申請を COLIEE 2026 Task 1 に提示する。
このタスクは引用されたパス自体を抑圧し、レトリバーが依存する語彙の重複の多くを取り除く。
私たちのパイプラインは、4つの独立して訓練されたステージでこれに答えます。
論文 参考訳（メタデータ） (2026-08-12T13:05:09Z) - Zero2Skill: Bootstrapping Robot Skills through Autonomous Data Collection, Training, and Deployment [53.913175773174636]
既存のパイプラインは、自己リセット、VLM検証、言語指導による修正を通じて、人間の労力を減らす。
Zero2Skill(ゼロ2スキル)は、人ロボットの共生型エージェントシステムで、丸ごとの修正を維持・再利用する。
論文 参考訳（メタデータ） (2026-07-15T17:16:24Z) - Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。
我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。
全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
論文 参考訳（メタデータ） (2025-08-28T04:13:51Z) - Peeling the Onion: Hierarchical Reduction of Data Redundancy for
Efficient Vision Transformer Training [110.79400526706081]
ビジョントランス (ViT) は近年多くのアプリケーションで成功を収めているが、その計算量とメモリ使用量によって一般化が制限されている。
従来の圧縮アルゴリズムは通常、事前訓練された高密度モデルから始まり、効率的な推論のみに焦点を当てる。
本稿では,3つのスパースの観点から,Tri-Level E-ViTと呼ばれるエンドツーエンドの効率的なトレーニングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-19T21:15:47Z) - Identifying Suitable Tasks for Inductive Transfer Through the Analysis
of Feature Attributions [78.55044112903148]
我々は、単一タスクモデル間のニューラルネットワークアクティベーションの比較を通じて、タスクペアが相補的になるかどうかを予測するために、説明可能性技術を使用する。
提案手法により,TREC-IS 2020-Aデータセットでは,正のクラスF1の0.034の削減に留まらず,最大83.5%のトレーニング時間を短縮することが可能である。
論文 参考訳（メタデータ） (2022-02-02T15:51:07Z) - Mixing between the Cross Entropy and the Expectation Loss Terms [89.30385901335323]
クロスエントロピー損失は、トレーニング中にサンプルを分類するのが難しくなる傾向にある。
最適化目標に期待損失を加えることで,ネットワークの精度が向上することを示す。
実験により,新しいトレーニングプロトコルにより,多様な分類領域における性能が向上することが示された。
論文 参考訳（メタデータ） (2021-09-12T23:14:06Z) - A Unified Framework of Surrogate Loss by Refactoring and Interpolation [65.60014616444623]
勾配勾配を有する深層ネットワークのトレーニングにおいて,サロゲート損失を発生させる統一フレームワークUniLossを導入する。
3つのタスクと4つのデータセットに対するUniLossの有効性を検証する。
論文 参考訳（メタデータ） (2020-07-27T21:16:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。