論文の概要: Decomposing Evolutionary Mixture-of-LoRA Architectures: The Routing Lever, the Lifecycle Penalty, and a Substrate-Conditional Boundary
- arxiv url: http://arxiv.org/abs/2605.11153v1
- Date: Mon, 11 May 2026 18:59:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.372718
- Title: Decomposing Evolutionary Mixture-of-LoRA Architectures: The Routing Lever, the Lifecycle Penalty, and a Substrate-Conditional Boundary
- Title（参考訳）: LoRAアーキテクチャの進化的混合を分解する - ルーティングレバー、ライフサイクルペナルティ、サブストラクタ-コンディション境界
- Authors: Ramchand Kumaresan,
- Abstract要約: 我々は、LoRAシステムの進化的混合を、ルータの書き換え、ドメイン単位の離脱評価スコープ、死のライフサイクル、アルファブレンド継承、SVD突然変異、スロット再配置の3つの要因に分解する。
合成サンドボックスは、制御チャネル上の進化的探索は、タスクに予め整列している場合にのみ負荷を受ける。
- 参考スコア（独自算出の注目度）: 3.151184728006369
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We decompose an evolutionary mixture-of-LoRA system on a from-scratch ~150M-parameter widened-D substrate (D=1536, V=32000; D/V approx 0.048; the "widened-1536" substrate) into three factors -- a router rewrite (parallel sigmoid gate with learnable per-adapter floor and bounded temperature anneal, fed post-stack hidden states rather than token-embedding means), a per-domain leave-one-out evaluation scope, and a lifecycle of death plus alpha-blend inheritance plus SVD mutation plus slot reallocation -- and report a 5-of-8 partial 2^3 factorial run at n=3 seeds and 25000 adaptation steps per cell. The attribution chain is sharp on this substrate: the router rewrite carries the entire +0.0426 nat balanced log-PPL improvement (Delta = log PPL_ref - log PPL_test, positive = improvement; t=12.86, p=0.006) attributed to "the full evolutionary system vs the static B3 baseline"; the headline full-system-vs-B3 balanced contrast itself is +0.015 nats, t=1.94, p=0.19 at n=3 and does not clear alpha=0.05. The per-domain evaluation scope is null at seed-resolution, and the lifecycle is a net drag of approx -0.028 nats (t=-4.46,p=0.047 in the primary chain). An auxiliary alpha=0 inheritance counterfactual at n=3 seeds is sign-inconsistent at the headline metric and underpowered for either an equivalence or load-bearing conclusion (corrected from an earlier arithmetic-mean aggregator that erroneously cleared inheritance; see Appendix B.11). A base-perturbation probe directionally refutes a "genomic-context" reframe of the lifecycle role. A controllable synthetic sandbox locates a substrate-conditional regime boundary: evolutionary search on the routing channel is load-bearing only when adapters are pre-aligned to the task; in every other regime tested it underperforms, ties, or actively degrades the gradient solution.
- Abstract（参考訳）: 本研究は,LRA系を3つの因子に分解し, ルータリライト(パラレルシグモノイドゲート, 学習可能なパーアダプタフロア, 境界温度アンネアル, トークン埋め込み手段よりも隠れた状態の供給), ドメイン単位の残差評価範囲, 死のライフサイクル, アルファブレンド継承+SVD変異+スロット再配置) と, n=3 シードでの5-of-8 部分2^3 因子実行, セル毎の適応を報告した。
ルータのリライトは、+0.0426ナットバランスのログ-PPLの改善(Delta = log PPL_ref - log PPL_test, positive = improve; t=12.86, p=0.006)を「完全な進化系対静的B3ベースライン」とみなし、ヘッドラインのフルシステム-vs-B3バランスのコントラスト自体が+0.015ナット、t=1.94, p=0.19で、n=3でアルファ=0.05をクリアしない。
ドメイン単位の評価範囲はシード解像度ではヌルであり、ライフサイクルはアポックス-0.028ナット(プライマリチェーンではt=-4.46,p=0.047)のネットドラッグである。
n=3の種子における補助α=0の継承反事実は、見出し計量において符号不一致であり、等価性または負荷を含む結論(誤って継承をクリアした以前の算術平均アグリゲータから修正された、アペンディックスB.11を参照)に不一致である。
ベース摂動プローブは、ライフサイクルロールの「ゲノムコンテキスト」リフレームを方向転換する。
制御可能な合成サンドボックスは、基板条件付き状態境界を見つける: ルーティングチャネル上の進化的探索は、アダプタがタスクに事前アライメントされたときにのみ負荷を受ける。
関連論文リスト
- EqOD: Symmetry-Informed Stability Selection for PDE Identification [3.1861308132183375]
EqOD(Equivariant Operator Discovery)は,2つのライブラリリダクション機構を組み合わせた完全自動手法である。
弱形式構造試験によって軌道データからガリレオ不変性が検出されると、EqOD は対称性が還元されたライブラリを使用し、ガリレオ排除結果が支配方程式から欠落していることの条件を排除した。
全32細胞において、EqODは32細胞のうち23細胞でPySINDy 2.0.0を上回り、反応PDEでは5つのPySINDyが勝利する。
論文 参考訳（メタデータ） (2026-05-12T04:48:38Z) - Signal Reshaping for GRPO in Weak-Feedback Agentic Code Repair [36.31472731207028]
このようなフィードバックの下で,標準GRPOの信号再構成について検討する。
完全な信号整形GRPOは、厳密なコンパイルとシーケンスの精度を改善する。
論文 参考訳（メタデータ） (2026-05-08T05:41:25Z) - Decodable but Not Corrected by Fixed Residual-Stream Linear Steering: Evidence from Medical LLM Failure Regimes [4.738949927143789]
隠れ状態における線形デオード可能な故障信号が、それらの故障を修正するために活用できるかどうかを検討する。
固定されたリニアステアリングファミリーが修正に利用できない場合でも、デオード可能な故障構造がポストジェネレーションの信頼性評価をサポートすることがわかった。
論文 参考訳（メタデータ） (2026-05-07T05:58:38Z) - Revisiting Auxiliary Losses for Conditional Depth Routing: An Empirical Study [31.968379218484746]
ゲート決定は、言語モデリング(LM)の損失に影響を与える前に、多くのレイヤを通して伝播しなければならない。
補助的な損失はトレーニングを安定させるために積み重ねられることが多いが、それらの間の相互作用、特に予測的な補助的なスコアと明示的なスコアの監督の間の相互作用は、制御された条件下で体系的に比較されていない。
これは、後続のすべてのレイヤがフルに実行されると仮定する、オフポリティのオラクルラベルにトレースしますが、ゲートされた実行ルートはフルに1分しかありません。
論文 参考訳（メタデータ） (2026-04-19T03:20:40Z) - Auxiliary Finite-Difference Residual-Gradient Regularization for PINNs [0.0]
本研究では,PDE残差が保たれるハイブリッド設計について検討するが,有限差分は弱い補助項にのみ現れる。
FD項は、PDE残基自体を置き換えることなく残留体を正則化する。
種子0-5と100kのエポック全体で、最も信頼性の高い試験はクルコウタス・ベタ政権下での固定殻重量5e-4である。
論文 参考訳（メタデータ） (2026-04-15T23:09:19Z) - The Coordinate System Problem in Persistent Structural Memory for Neural Architectures [0.0]
そこで我々はDual-View Pheromone Pathway Network (DPPN)を紹介した。
永続メモリは安定した座標系を必要とする。
コントラスト的な更新,マルチソース蒸留,ハンガリーのアライメント,セマンティックな分解は,スクラッチから埋め込みが学習された場合の不安定性を解消しないことを示す。
論文 参考訳（メタデータ） (2026-03-24T06:51:59Z) - Scaling DoRA: High-Rank Adaptation via Factored Norms and Fused Kernels [83.99688944263843]
DoRA(Weight-De Low-Rank Adaptation)は、LoRAを方向から分離することで拡張する。
d_in = 8192 とランク r = 384 では、単一のモジュールのノルムは bf16 で512MB の過渡的なワーキングメモリを必要とする。
因子ノルムは、二乗ノルムを O(d_out r + r2) 中間体を通して計算可能な基底、交差、およびグラマー項に分解し、密積を除去する。
論文 参考訳（メタデータ） (2026-03-23T17:57:24Z) - Self-supervised Domain Adaptation for Visual 3D Pose Estimation of Nano-drone Racing Gates by Enforcing Geometric Consistency [43.497514957094275]
シミュレーションデータに基づいて事前学習した畳み込みニューラルネットワークを用いて,ナノクワッドロータの前方のドローンレースゲートの相対的なポーズを視覚的に推定する作業を検討する。
ゲートの前方に任意の軌道を飛行するドローンによって収集された実画像のみを用いた教師なし領域適応(UDA)手法を提案する。
論文 参考訳（メタデータ） (2026-03-03T12:46:25Z) - Quantile Advantage Estimation for Entropy-Safe Reasoning [44.192277495613695]
RLVRによる強化学習はLLM推論を強化するが、エントロピー崩壊とエントロピー爆発の間のトレーニングはしばしば振動する
いずれのハザードも値のないRLで使われる平均ベースラインに辿り着くが、これは不適切に報酬のアウトリージの下で負のアドバンテージサンプルをペナルティ化する。
本稿では,平均値をグループ単位のK量子基底線に置き換えた量子アドバンテージ推定(QAE)を提案する。
論文 参考訳（メタデータ） (2025-09-26T17:37:52Z) - Probabilistic Contrastive Learning for Domain Adaptation [42.33633916857581]
コントラスト学習は、様々な視覚的タスクにおいて、自己指導的な方法で特徴識別性を高めることに顕著な成功を収めた。
標準コントラッシブパラダイム (Features+$ell_2$ normalization) は、ドメイン適応に適用した場合の利点に制限がある。
本稿では,標準パラダイムを超える確率論的コントラスト学習(PCL)を提案する。
PCLは、確率分布を1ホット構成に導くことができ、特徴とクラス重みの差を最小限に抑えることができる。
論文 参考訳（メタデータ） (2021-11-11T02:08:07Z) - Stratified Rule-Aware Network for Abstract Visual Reasoning [46.015682319351676]
Raven's Progressive Matrices (RPM) テストは一般的に抽象的推論の能力を調べるために使用される。
畳み込みニューラルネットワーク(CNN)を利用した最近の研究は、RPMテストを達成するための奨励的な進歩を達成している。
本稿では,2つの入力シーケンスに対するルール埋め込みを生成するためのSRAN(Stratified Rule-Aware Network)を提案する。
論文 参考訳（メタデータ） (2020-02-17T08:44:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。