論文の概要: FARO: Function-Space Adaptive Return-to-Risk Optimization via Cross-Block Equal-Risk-Contribution Budget Allocation
- arxiv url: http://arxiv.org/abs/2610.40858v1
- Date: Thu, 29 Oct 2026 18:37:04 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-02 22:05:31.472099
- Title: FARO: Function-Space Adaptive Return-to-Risk Optimization via Cross-Block Equal-Risk-Contribution Budget Allocation
- Title（参考訳）: FARO:クロスブロック平等貢献予算配分による関数空間適応型リターン・ツー・リスク最適化
- Abstract要約: FAROは、パラメータを分割して決定単位をブロックする関数空間適応型である。
FineWebでトレーニングされたGPTスタイルのモデルでは、2つの結果が得られる。まず、FARO適応アームがフルスケジュールで3.2780ナットに達し、NorMuonAndAdam (3.2794)と一致する。
第2に、FARO-ERCは腕を改良し、6つの種子のうち1つでクリーンデータの損失を平均0.0136ナット減らします。
- 参考スコア（独自算出の注目度）: 29.529521635401295
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training a large language model is compute-bound, and current recipes divide the work between optimizers by hand: orthogonalized momentum for attention and MLP matrices, Adam-style updates for the rest. This division rests on human priors about which layer type deserves which geometry, and it fixes a single global update budget that every parameter block shares. We introduce FARO, a function-space adaptive optimizer that makes the partition of parameters into blocks the unit of decision. FARO gives each block a geometry by its realized counterfactual return, then freezes the routes and reallocates the frozen per-block budget by cross-block equal risk contribution (ERC), the risk-parity principle from portfolio theory. On a GPT-style model trained on FineWeb, the framework gives two results. First, its FARO-Adaptive arm reaches 3.2780 nats at the full schedule, matching NorMuonAndAdam (3.2794), the best hand-designed recipe: it recovers the human prior without hand-setting per-layer geometry. Second, FARO-ERC improves on that arm: it lowers the clean-data loss at every one of 6 seeds, by 0.0136 nats on average, a modest but robust gain. Its sign test, paired test, and confidence interval all agree, and it exceeds the measured run-to-run noise at no added time or memory. It works by trimming the riskiest blocks rather than expanding the safest, and it holds up under a corrupted stream, still lowering the mean loss and winning the seed majority. The source code is available at https://github.com/wxj630/FARO.
- Abstract（参考訳）: 大規模言語モデルのトレーニングは計算バウンドであり、現在のレシピではオプティマイザ間で作業が分割されている。
この分割は、どのレイヤタイプがどのジオメトリにふさわしいかについての人間の優先順位に基づいており、すべてのパラメータブロックが共有する単一のグローバルアップデート予算を修正している。
FAROは,パラメータの分割を決定単位に分割する関数空間適応最適化器である。
FAROは各ブロックに実効的な逆戻りによる幾何を与え、その後ルートを凍結し、ポートフォリオ理論のリスク・パリティ原理であるクロスブロック等リスク貢献(ERC)によってブロックごとの凍結予算を再配置する。
FineWebでトレーニングされたGPTスタイルのモデルでは、このフレームワークは2つの結果を与える。
まず、FARO適応アームはフルスケジュールで3.2780ナットに達し、NorMuonAndAdam (3.2794)と一致する。
第2に、FARO-ERCは腕を改良し、6つの種子のうち1つでクリーンデータの損失を平均0.0136ナット減らします。
サインテスト、ペアテスト、信頼区間はすべて一致し、加算時間やメモリ無しで計測されたラン・トゥ・ランノイズを超える。
最も安全なブロックを広げるのではなく、最も危険なブロックをトリミングし、壊れたストリームの下に保持し、平均的な損失を下げ、シードの多数を勝ち取る。
ソースコードはhttps://github.com/wxj630/FAROで公開されている。
関連論文リスト
- ExecuGraph: A Multi-Agent, Execution-Grounded Framework for Reliable Backend Code Synthesis with Large Language Models [2.3004655342211078]
大規模言語モデルは、もっともらしいバックエンドコードを生成するが、シングルパスパラダイムは、正確性や実行時の信頼性を保証するものではない。
バックエンドコードの中心に実行ベースのバリデーションを置くマルチエージェントフレームワークであるExecuGraphを紹介します。
エージェントごとのアブレーション、再試行予算の掃除、エラークラス分類、およびテストソース監査が報告されている。
論文 参考訳（メタデータ） (2026-06-18T05:58:17Z) - SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。
textbfSpectrum textbfModulation textbfAdapterを提案する。
論文 参考訳（メタデータ） (2026-05-20T13:19:28Z) - AdaPaD: Adaptive Parallel Deflation for PEFT with Self-Correcting Rank Discovery [10.176501817419371]
本稿では,AdaPaD(Adaptive Parallel Deflation)について述べる。
我々は、各成分の誤差がウォームアップ期間後に指数関数的に崩壊することを証明する。
AdaPaDは、GLUE上の適応ランクのLoRAベースラインとDeBERTaV3ベースとの整合パラメータ予算で競合する。
論文 参考訳（メタデータ） (2026-05-11T15:44:13Z) - Label-Free Cross-Task LoRA Merging with Null-Space Compression [50.63908869296697]
我々は,ラベルフリーで出力に依存しない手法であるNull-Space Compression (NSC) Mergingを紹介した。
NSCは、従来のメソッドがタスクのサブセットに収まるバランスの取れたゲインを持つ20の異種視覚タスクに対して、最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2026-03-27T11:34:41Z) - SVG-EAR: Parameter-Free Linear Compensation for Sparse Video Generation via Error-aware Routing [77.91660464664615]
Diffusion Transformers (DiTs) はビデオ生成において主要なバックボーンとなっているが、その二次的注意コストは依然として大きなボトルネックとなっている。
本稿では,不足しているコントリビューションをトレーニングなしで回収できることを示す。
パラメータフリーな線形補償分岐であるSVG-EARを導入する。
論文 参考訳（メタデータ） (2026-03-09T22:15:31Z) - From Next-Token to Next-Block: A Principled Adaptation Path for Diffusion LLMs [58.640039233470766]
原理的AR-to-block-diffusion適応は,DLMをスクラッチからトレーニングする上で,有効かつ効率的な代替手段であることを示す。
NBDiff-7B(BaseとInstruct)は、長文のモデリングと推論機能を継承し、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2025-12-07T10:28:21Z) - Aggregation on Learnable Manifolds for Asynchronous Federated Optimization [3.8208848658169763]
曲線学習としてアグリゲーションを取り入れた幾何学的枠組みを導入する。
そこで我々は,線形アグリゲーションを低次曲率成分に置き換えたAsyncBezierを提案する。
これらの利得は、他の方法がより高いローカルな計算予算に割り当てられた場合でも維持されることを示す。
論文 参考訳（メタデータ） (2025-03-18T16:36:59Z) - A Whole-Process Certifiably Robust Aggregation Method Against Backdoor Attacks in Federated Learning [11.239604882889498]
フェデレートラーニング(FL)は、金融、医療、サイバーセキュリティなど、さまざまな領域で広く採用されている。
FLは、悪意のあるアクターが訓練されたモデルにトリガーを挿入するバックドア攻撃による重大な脅威を受け続けている。
本稿では,バックドアアタックに対するロバスト性を向上するFLのための,新しいプロセス全体のロバストアグリゲーション(WPCRA)手法を提案する。
論文 参考訳（メタデータ） (2024-06-30T15:00:49Z) - Towards Robust Model-Based Reinforcement Learning Against Adversarial Corruption [60.958746600254884]
本研究は、モデルベース強化学習(RL)における敵対的腐敗の課題に取り組む。
本稿では,MLE に対する不確実性重みとして全変量 (TV) に基づく情報比を利用する,汚損楽観的 MLE (CR-OMLE) アルゴリズムを提案する。
我々は、重み付け手法をオフライン設定にまで拡張し、汚損性悲観的MLE (CR-PMLE) というアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-02-14T07:27:30Z) - Bandit Linear Optimization for Sequential Decision Making and
Extensive-Form Games [102.23975166536326]
tree-form sequential decision making (tfsdm) は、エージェントと潜在的に敵対的な環境の間のツリー形式の相互作用をモデル化することで、古典的なワンショット意思決定を拡張する。
これは、各プレイヤーが幅広い形式のゲームで直面するオンライン意思決定問題、およびマルコフ決定プロセス、およびエージェントが観測された履歴を条件とする部分観察可能なマルコフ決定プロセスをキャプチャする。
本稿では, (i) 線形時間損失と (ii) $o(sqrtt)$ cumulative regret の両方を提供する拡張dmのバンディット線形最適化問題に対する最初のアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-03-08T05:00:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。