論文の概要: From Transfer Probes to Expert Grouping: Evidence from LoRA Post-Training
- arxiv url: http://arxiv.org/abs/2610.14437v1
- Date: Sat, 10 Oct 2026 01:07:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 21:32:28.571755
- Title: From Transfer Probes to Expert Grouping: Evidence from LoRA Post-Training
- Title（参考訳）: トランスファープローブからエキスパートグループへ - LoRAポストトライニングからの証拠
- Abstract要約: 転送プローブが標準値が不明なときにグループ化を発見できるかどうかを問う。
固定予算のLoRAポストトレーニングでは、初期状態の単一ソースプローブで構築されたグループ化は、後に訓練状態に移行したプローブから予測される利点を得られなかった。
- 参考スコア（独自算出の注目度）: 2.4536025476472383
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A platform that post-trains one base model for many business lines often has more lines than experts it can maintain, so lines must share experts, yet lines seldom come with a taxonomy saying which should share. We ask whether transfer probes (train on one source, measure paired changes on all sources) can discover a grouping when the standard one is unknown. To test probes against a reference, we use seven public sources that do have a label tree (five mathematics subfields and two kinds of programming, standing in for business lines) and treat the tree's grouping as a label reference that the evaluator holds and the method does not. With four LoRA experts under fixed per-source exposure and per-expert budgets, we compare a purely probe-derived grouping and an uninformed uniform default (whose tied routing serves every line from one expert) against this reference. Trained once for one interval from a shared warm-up state and routed by a rule fixed by each allocation, neither reached the prespecified practical gain of 2 percentage points, and both had lower overall utility than the reference ($-2.43$ and $-2.54$ pp; 95\% intervals below zero). In a post hoc comparison, the probe-derived grouping was indistinguishable from the uniform default ($+0.11$ pp, $[-1.25,+1.54]$). In fixed-budget LoRA post-training, a grouping built from initial-state single-source probes thus did not deliver the advantage predicted from the probes once carried to a later training state, a finite budget, and specified routing.
- Abstract（参考訳）: 多くのビジネスラインで1つのベースモデルを訓練した後のプラットフォームは、専門家よりも多くのラインを持つことが多いため、ラインは専門家を共有する必要がある。
転送プローブ(1つのソースでトレーニングし、すべてのソースでペアの変更を計測する)が、標準値が不明なときにグループ化を発見できるかどうかを問う。
基準に対してプローブを検証するために、ラベルツリー(5つの数学サブフィールドと2種類のプログラミング、ビジネスライン)を持つ7つの公開ソースを使用し、評価者が保持するラベル参照としてツリーのグルーピングを扱う。
4人のLoRA専門家が、ソース当たりの固定露出と専門家ごとの予算の下で、純粋にプローブから派生したグループ化と、インフォームされていない統一的なデフォルト(それぞれが1人の専門家からすべての行に紐付けされたルーティング)を、この基準と比較する。
共有ウォームアップ状態から1インターバルに1回訓練され、各アロケーションによって固定されたルールによってルートされるが、いずれも予め規定された2ポイントの実用的ゲインに達しておらず、どちらも基準値(2.43$と2.54$ pp; 95\%)よりも全体的な実用性は低くなかった。
ポストホック比較では、プローブ由来のグルーピングは、均一なデフォルト(+0.11$ pp, $[-1.25,+1.54]$)と区別できない。
固定予算のLoRAポストトレーニングでは、初期状態の単一ソースプローブから構築されたグループ化は、後続のトレーニング状態、有限予算、特定ルーティングに転送されたプローブから予測される利点を得られなかった。
関連論文リスト
- Sparsity Saves Compute, Not Samples: Oracle Inequalities for Dense and Sparse Mixture of Experts [57.07359479446759]
Mixture-of-Experts (MoE)モデルは、入力依存のルーティング機構を通じて専門の専門家を結合する。
専門家とゲーティングネットワークの両方がリプシッツである場合、最小二乗MoE推定器の推定誤差について検討する。
論文 参考訳（メタデータ） (2026-10-10T16:24:04Z) - SquidAgent: Parallelize Wisely, Coordinate Efficiently [66.64544354706031]
LLMベースのエージェントは複雑なマルチステップタスクを解決するが、シーケンシャルな実行にはかなりの遅延が発生する。
クリティカルパスコストに加えて、再探索とアライメントオーバーヘッドが対応するシリアルコストよりも低い場合にのみ、レイヤを並列化すべきである。
SquidAgentは平均スループット2.2$times$、平均スループット2.6$times$、最強のマルチエージェントベースラインよりも2.0$times$のスループット改善を実現している。
論文 参考訳（メタデータ） (2026-10-06T16:35:28Z) - RAPTOR: Role-Aware Private Training for Mixture-of-Experts [68.5626338219096]
RAPTORはRole-Aware Private Trainingフレームワークである。
RAPTORは共有と専門家の最適化を交互に行い、各障害を直接ターゲットする。
GLUEタスク間でのSwitch TransformerとOLMoEの微調整およびDeepSeek-VL2-Tinyの実験では、標準のDPベースラインよりも一貫した利得を示している。
論文 参考訳（メタデータ） (2026-09-04T23:16:12Z) - MSA-CITE: A Co-Adapted LoRA Specialist Ecology for Fixed-Budget Small-Model Inference [11.215813718564283]
複数の廃棄されたチェックポイントを、デプロイのための構成可能な資産として扱います。
4パスのポートフォリオは、200のホールドアウト数学アイテムに対して65.5%の精度を達成している。
論文 参考訳（メタデータ） (2026-08-11T10:26:06Z) - ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。
この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。
ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
論文 参考訳（メタデータ） (2026-06-02T06:58:54Z) - Collaborative Yet Personalized Policy Training: Single-Timescale Federated Actor-Critic [13.674509321097311]
エージェントが共通の線形部分空間表現を共有する,連合型アクター批判フレームワークについて考察する。
エージェントは、共通部分空間、地域批評家の頭、および地域政策(アクター)を反復的に見積もる。
批判誤差は $tildemathcalO (1/()6sqrtTK)$ で 0 に収束し、ポリシー勾配ノルムは $tildemathcalO (1/()6sqrtTK) で 0 に収束することを示す。
論文 参考訳（メタデータ） (2026-05-14T06:10:31Z) - Online Learning-to-Defer with Varying Experts [6.097236291317658]
バンディットフィードバックと動的に変化する専門家のプールを備えた,マルチクラス分類のための最初のオンラインL2Dアルゴリズムを導入する。
本手法は, 一般には$O((n+n_e)T2/3)$, $O((n+n_e)sqrtT)$を低雑音条件下で後悔保証する。
合成および実世界のデータセットの実験により、我々のアプローチは、標準的なLearning-to-Deferを、専門家の可用性と信頼性の異なる設定に効果的に拡張することを示した。
論文 参考訳（メタデータ） (2026-05-12T16:19:44Z) - Why Ask One When You Can Ask $k$? Learning-to-Defer to the Top-$k$ Experts [6.792743621449621]
我々は、Top-k$ Learning-to-Deferの最初のフレームワークを紹介します。
クエリを$k$のコスト効率の高いエンティティに割り当てる。
また、クエリ毎に最適な専門家数を学ぶ適応型変種であるTop-$k(x)$ Learning-to-Deferを提案する。
論文 参考訳（メタデータ） (2025-04-17T14:50:40Z) - Federated Combinatorial Multi-Agent Multi-Armed Bandits [79.1700188160944]
本稿では,Banditを用いたオンライン最適化に適したフェデレーション学習フレームワークを提案する。
この設定では、エージェントのアームサブセットは、個々のアーム情報にアクセスせずにこれらのサブセットに対するノイズの多い報酬を観察し、特定の間隔で協力して情報を共有することができる。
論文 参考訳（メタデータ） (2024-05-09T17:40:09Z) - Partial and Asymmetric Contrastive Learning for Out-of-Distribution
Detection in Long-Tailed Recognition [80.07843757970923]
既存のOOD検出手法は,トレーニングセットが長距離分布している場合,大幅な性能劣化に悩まされていることを示す。
本稿では,部分的および非対称的な教師付きコントラスト学習(PASCL)を提案する。
我々の手法は従来の最先端の手法を1.29%$, $1.45%$, $0.69%$異常検出偽陽性率(FPR)と$3.24%$, 4,.06%$, 7,89%$in-distributionで上回ります。
論文 参考訳（メタデータ） (2022-07-04T01:53:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。