Fugu-MT 論文翻訳(概要): $α$-PFN: Fast Entropy Search via In-Context Learning

論文の概要: $α$-PFN: Fast Entropy Search via In-Context Learning

arxiv url: http://arxiv.org/abs/2606.07134v1
Date: Fri, 05 Jun 2026 10:45:49 GMT
ステータス: 翻訳完了
システム内更新日: 2026-06-08 14:33:29.696762
Title: $α$-PFN: Fast Entropy Search via In-Context Learning
Title（参考訳）: $α$-PFN: In-Context Learningによる高速エントロピー検索
Abstract要約: 本稿では,エントロピー検索に基づく獲得関数を近似する2段階のアモータイズ戦略を提案する。柔軟な学習近似は、複雑な近似を1つの前方通過に置き換える。我々のアプローチは、合成および実世界のベンチマークにおける最先端のエントロピー検索実装と競合する。
参考スコア（独自算出の注目度）: 46.25710203537494
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Information-theoretic acquisition functions such as Entropy Search (ES) offer a principled exploration-exploitation framework for Bayesian optimization (BO). However, their practical implementation relies on complicated and slow approximations, i.e., a Monte Carlo estimation of the information gain. This complexity can introduce numerical errors and requires specialized, hand-crafted implementations. We propose a two-stage amortization strategy that learns to approximate entropy search-based acquisition functions using Prior-data Fitted Networks (PFNs) in a single forward pass. A first PFN is trained to be conditioned on information about the optima; second, the $α$-PFN is trained to predict the expected information gain by training on information gains measured with the first PFN. The $α$-PFN offers a flexible learned approximation, which replaces the complex heuristic approximations with a single forward pass per candidate, enabling rapid and extensible acquisition evaluation. Empirically, our approach is competitive with state-of-the-art entropy search implementations on synthetic and real-world benchmarks, while accelerating the different entropy search variants across all our experiments, with speed ups over 50x. Source code: https://github.com/automl/AlphaPFN.
Abstract（参考訳）: エントロピー探索(ES)のような情報理論の獲得関数は、ベイズ最適化(BO)のための原理的な探索探索フレームワークを提供する。しかし、その実践的な実装は複雑で遅い近似、すなわちモンテカルロによる情報ゲインの推定に依存している。この複雑さは数値誤差を導入し、特殊で手作業による実装を必要とする。本稿では,PFN(Presideed-data Fitted Networks)を1つのフォワードパスで利用して,エントロピー検索に基づく取得関数の近似を学習する2段階のアモータイズ戦略を提案する。第1のPFNは、最適情報に基づいて条件付けされるように訓練され、第2のPFNで測定された情報ゲインのトレーニングにより、予想される情報ゲインを予測するために$α$-PFNが訓練される。 α$-PFNは柔軟な学習近似を提供し、複雑なヒューリスティック近似を候補ごとに1つのフォワードパスに置き換え、迅速で拡張可能な取得評価を可能にする。経験的に、我々のアプローチは、合成および実世界のベンチマークにおける最先端のエントロピー検索実装と競合する一方で、全ての実験において異なるエントロピー検索変種を加速し、速度は50倍以上に向上する。ソースコードはhttps://github.com/automl/AlphaPFN。

関連論文リスト

L-SR1: Learned Symmetric-Rank-One Preconditioning [5.421390145168128]
エンドツーエンドのディープラーニングは目覚ましい結果を得たが、大きなラベル付きデータセットに依存しているため、依然として制限されている。対照的に、古典最適化法はデータ効率が高く軽量であるが、しばしば収束が遅い。そこで本研究では,古典的シンメトリー・ランクワンアルゴリズムを強化するために,トレーニング可能なプレコンディショニングユニットを導入した新しい2次ベクトルを提案する。
論文参考訳（メタデータ） (2025-08-17T07:37:29Z)
Offline Constrained Reinforcement Learning under Partial Data Coverage [18.449996575976993]
一般関数近似を用いたオフライン拘束強化学習(RL)について検討した。線形プログラミング(LP)の定式化に基づくオラクル効率の原始双対アルゴリズムを提案する。
論文参考訳（メタデータ） (2025-05-23T06:00:01Z)
Momentum-Based Federated Reinforcement Learning with Interaction and Communication Efficiency [16.002770483584694]
フェデレート強化学習(FRL)が注目を集めている。本稿では,新しいFRLアルゴリズムである$texttMFPO$を紹介する。運動量パラメータと相互作用周波数の適切な選択により、$texttMFPO$は$tildemathcalO(H-1Nepsilon-3/2N)$および$tmathcalO(ilon-1N)$を達成することができる。
論文参考訳（メタデータ） (2024-05-24T03:23:37Z)
OptEx: Expediting First-Order Optimization with Approximately Parallelized Iterations [12.696136981847438]
ほぼ並列化されたイテレーション (OptEx) で高速化された一階最適化を導入する。 OptExは、並列コンピューティングを活用して、その反復的ボトルネックを軽減することで、FOOの効率を高める最初のフレームワークである。我々は、カーネル化された勾配推定の信頼性とSGDベースのOpsExの複雑さを理論的に保証する。
論文参考訳（メタデータ） (2024-02-18T02:19:02Z)
Representation Learning with Multi-Step Inverse Kinematics: An Efficient and Optimal Approach to Rich-Observation RL [106.82295532402335]
既存の強化学習アルゴリズムは、計算的難易度、強い統計的仮定、最適なサンプルの複雑さに悩まされている。所望の精度レベルに対して、レート最適サンプル複雑性を実現するための、最初の計算効率の良いアルゴリズムを提供する。我々のアルゴリズムMusIKは、多段階の逆運動学に基づく表現学習と体系的な探索を組み合わせる。
論文参考訳（メタデータ） (2023-04-12T14:51:47Z)
Faster Adaptive Federated Learning [84.38913517122619]
フェデレートラーニングは分散データの出現に伴って注目を集めている。本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
論文参考訳（メタデータ） (2022-12-02T05:07:50Z)
Joint Entropy Search For Maximally-Informed Bayesian Optimization [38.10887297038352]
本稿では,入力空間と出力空間の両面における最適確率密度のエントロピーを考慮した情報理論獲得関数を提案する。 Joint Entropy Search (JES) は優れた意思決定能力を示し、幅広いタスクにまたがる情報理論的アプローチの最先端のパフォーマンスをもたらす。
論文参考訳（メタデータ） (2022-06-09T21:19:07Z)
Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文参考訳（メタデータ） (2022-05-26T12:51:32Z)
On Reward-Free RL with Kernel and Neural Function Approximations: Single-Agent MDP and Markov Game [140.19656665344917]
エージェントが事前に特定された報酬関数を使わずに環境を徹底的に探索することを目的とした報酬のないRL問題について検討する。関数近似の文脈でこの問題に取り組み、強力な関数近似器を活用する。我々は、カーネルとニューラルファンクション近似器を用いた、証明可能な効率の良い報酬なしRLアルゴリズムを確立した。
論文参考訳（メタデータ） (2021-10-19T07:26:33Z)
User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
論文参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。