論文の概要: SABLE: Scalable Affine Bayesian Latent-space Exploration
- arxiv url: http://arxiv.org/abs/2610.31495v2
- Date: Fri, 23 Oct 2026 09:18:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.240551
- Title: SABLE: Scalable Affine Bayesian Latent-space Exploration
- Title(参考訳): SABLE: スケーラブルなアフィンベイズラテントスペース探索
- Abstract要約: 等方分布と限られた予算を持つ高次元潜在空間に対するベイズ最適化手法であるSABLEを導入する。
SABLEは高いサンプリング効率を実現し、大規模な予算で決定時間を桁違いに削減する。
- 参考スコア(独自算出の注目度): 9.283421275354625
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Complex objects such as engineering designs and proteins are often difficult to optimise because their design spaces exhibit high-dimensional structure and objective evaluations are expensive. Generative models provide continuous latent representations, but their latent spaces can have thousands to tens of thousands of dimensions, creating a regime where the latent dimension $D$ greatly exceeds the evaluation budget. We introduce SABLE, a Bayesian optimisation method for high-dimensional latent spaces with an isotropic distribution and limited budget. SABLE uses a Bayesian affine surrogate for prediction and acquisition, treating higher-order structure as surrogate discrepancy. After $N$ observations, the slope update has dimension at most $N-1$, yielding a decomposition of each query into an in-span component optimised by expected improvement (EI) in at most $N$ dimensions and an off-span component governed by a scalar norm. We show that the off-span norm implicitly selected by affine EI can lead to underexploration, and SABLE instead prescribes it using a finite-horizon schedule, without restricting search to a learned subspace. A recompression scheme reduces information to $\mathcal O(M)$ pseudo-observations, bounding refitting cost by $\mathcal O(M^2D+M^3)$ while keeping parameter inference, prediction, and acquisition decisions to tens of milliseconds. Across synthetic benchmarks and latent-space optimisation tasks, SABLE achieves high sample efficiency and reduces decision time by several orders of magnitude at large budgets.
- Abstract(参考訳): 工学設計やタンパク質のような複雑なオブジェクトは、その設計空間が高次元構造を示し、客観的評価が高価であるため、最適化が難しいことが多い。
生成モデルは連続的な潜伏表現を提供するが、それらの潜伏空間は数千から数千の次元を持つことができ、潜伏次元$D$が評価予算を大幅に上回る体制を形成する。
等方分布と限られた予算を持つ高次元潜在空間に対するベイズ最適化手法であるSABLEを導入する。
SABLEはベイジアン・アフィン・サロゲートを用いて予測と取得を行い、高次構造をサロゲートの相違として扱う。
N$の観測の後、スロープ更新は少なくとも$N-1$の次元を持ち、予想される改善(EI)によって最適化された各クエリの分解を、少なくとも$N$の次元で最適化し、スカラーノルムで管理されるオフスパンコンポーネントに生成する。
Affine EIによって暗黙的に選択されたオフスパンノルムは、探索不足につながる可能性を示し、代わりにSABLEは、学習した部分空間への探索を制限することなく、有限水平スケジュールを用いてそれを処方する。
再圧縮スキームは、パラメータ推論、予測、取得決定を数ミリ秒に保ちながら、情報を$\mathcal O(M^2D+M^3)$に制限し、リフィットコストを$\mathcal O(M^2D+M^3)$に制限する。
合成ベンチマークと潜時空間最適化タスク全体で、SABLEは高いサンプリング効率を達成し、大規模な予算で決定時間を数桁削減する。
関連論文リスト
- Dimension-free regimes for unadjusted Langevin in ridge-separable models: A subspace robust Wasserstein analysis [1.2043574473965317]
我々は、平均と任意の低次元の辺りを制御する部分空間ロバストなワッサーシュタイン距離のバイアスを分析する。
I.d.データで形成される隆起分離電位について,ベル形状の混合プロファイルを示す高確率境界を証明した。
論文 参考訳(メタデータ) (2026-10-22T15:30:22Z) - StructZO: Structured Zeroth-Order Optimization for Memory-Efficient LLM Fine-Tuning [51.80103056601843]
StructZOは、メモリ効率の良い微調整のための構造化ゼロ階最適化フレームワークである。
StructZOはZOベースラインを平均8.7%、個別タスクで最大26.9%改善している。
これらの結果から,ZO と FO 最適化のギャップは,構造化およびスペクトル制御されたZO 更新によって著しく狭まることが示唆された。
論文 参考訳(メタデータ) (2026-10-12T09:16:30Z) - SSTQ:Privacy-Preserving Vector Quantization via Subsampled Stochastic TurboQuant [79.24089819400126]
Subsampled TurboQuant (SSTQ) は、オーバーコンプリートな等幅のタイトフレーム、座標サブサンプリング、プライバシ対応量子化を組み合わせたフレームワークである。
SSTQは平均2乗誤差スケーリングを実現し、クライアントあたり$lceil log N il + b$ bitsを使用する。
また、コードブックに依存したMSEスケーリングを$O(4b)$から$O(2b)$に削減する、プライバシを意識したコードブックの目的も導出します。
論文 参考訳(メタデータ) (2026-08-05T17:51:25Z) - Model Compression with Exact Budget Constraints via Riemannian Manifolds [39.54576236079211]
トータルコスト予算の下で各NグループにKオプションの1つを割り当てることは、効率的なAIにおいて繰り返し発生する問題である。
我々は、ソフトマックス緩和の下で、予算制約がロジット空間における滑らかなリーマン多様体を異常に単純な幾何学で定義することを示す新しいアプローチを示す。
これらの特性に基づいて、接射影、二分探索リトラクション、運動量輸送を標準とするリーマン制約最適化(RCO)を提案する。
論文 参考訳(メタデータ) (2026-05-01T13:30:23Z) - Stochastic Dimension-Free Zeroth-Order Estimator for High-Dimensional and High-Order PINNs [5.601252185916962]
本稿では,空間とメモリの両方において次元に依存しない複雑性を実現する統一的なフレームワークを提案する。
textbfSDZEは、単一のNVIDIA A100 GPU上で1000万次元PINNのトレーニングを可能にし、最先端のベースラインよりもメモリ効率が大幅に向上した。
論文 参考訳(メタデータ) (2026-03-25T07:02:34Z) - Neural Nonmyopic Bayesian Optimization in Dynamic Cost Settings [73.44599934855067]
LookaHESは、動的で履歴に依存したコスト環境のために設計された非心筋BOフレームワークである。
LookaHESは、$H$-Entropy Searchのマルチステップ版と、パスワイズサンプリングとニューラルポリシー最適化を組み合わせたものだ。
私たちの革新は、構造化されたドメイン固有のアクションスペースを効果的にナビゲートするために、大きな言語モデルを含むニューラルポリシーの統合です。
論文 参考訳(メタデータ) (2026-01-10T09:49:45Z) - Statistical Inference for Linear Functionals of Online Least-squares SGD when $t \gtrsim d^{1+δ}$ [7.884611719110979]
グラディエント・Descent (SGD) は、現代のデータ科学における基礎的な手法となっている。
本研究では,オンライン最小二乗 SGD の線型汎函数に対して,非漸近的ベリー-エッセイン境界を確立する。
論文 参考訳(メタデータ) (2025-10-22T16:25:49Z) - Breaking the Sample Complexity Barrier to Regret-Optimal Model-Free
Reinforcement Learning [52.76230802067506]
漸進的強化学習における後悔を最小限に抑えるために,新しいモデルフリーアルゴリズムを提案する。
提案アルゴリズムは、2つのQ-ラーニングシーケンスの助けを借りて、初期設定された参照更新ルールを用いる。
初期の分散還元法の設計原理は、他のRL設定とは独立した関心を持つかもしれない。
論文 参考訳(メタデータ) (2021-10-09T21:13:48Z) - High-Dimensional Experimental Design and Kernel Bandits [9.401375475860561]
最適な線形実験設計の手法を利用して、線形バンディットの最先端の結果を得ています。
G$-optimal designのような目的から返される設計は、実際に潜在的な測定ベクトルのプール上の確率分布である。
我々は、次元 $d$ に対する任意の依存から$n$ を解放する丸め手順を提案する。
論文 参考訳(メタデータ) (2021-05-12T17:10:56Z) - Stochastic Linear Bandits with Protected Subspace [51.43660657268171]
線形目的関数を最適化するが、報酬は未知の部分空間にのみ得られる線形帯域問題の変種について検討する。
特に、各ラウンドでは、学習者は、目的または保護されたサブスペースを、アクションの選択とともにクエリするかどうかを選択する必要がある。
提案アルゴリズムはOFULの原理から導かれるもので,保護された空間を推定するためにクエリのいくつかを利用する。
論文 参考訳(メタデータ) (2020-11-02T14:59:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。