論文の概要: Kernel Autoresearch for Open-Ended Model Discovery
- arxiv url: http://arxiv.org/abs/2610.10394v1
- Date: Wed, 07 Oct 2026 16:48:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.058518
- Title: Kernel Autoresearch for Open-Ended Model Discovery
- Title（参考訳）: Kernel Autoresearch for Open-Ended Model Discovery (特集:情報ネットワーク)
- Abstract要約: カーネルは、幅広い機械学習モデルの帰納バイアスを符号化する。
我々はカーネル設計をオープンなモデル発見として扱うKernel Autoresearchを提案する。
- 参考スコア（独自算出の注目度）: 11.108088647304156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Kernels encode the inductive bias of a wide range of machine learning models, yet automated kernel design faces a fundamental dilemma. A fixed grammar of base kernels and operators guarantees validity but limits the search to structures expressible by those building blocks. Conversely, unrestricted programs remove this limitation but no longer guarantee validity. In our stress tests, 22-58% of LLM-generated kernels that pass numerical checks on random inputs fail when evaluated at different scales or dimensions. We propose Kernel Autoresearch (Kernaut), which treats kernel design as open-ended model discovery. Coding agents write kernels as programs, while construction contracts ensure that every accepted kernel is valid. A quality-diversity archive retains high-performing kernels with distinct behaviors, and novelty screening steers agents toward functionally new candidates. Our experiments demonstrate that the discovered kernels encode reusable inductive biases that generalize to unseen tasks. On held-out black-box optimization families, a discovered kernel outperforms a meta-learned deep kernel trained on the same episodes. Furthermore, kernels discovered from ten enzyme-kinetic rate laws achieve lower error than tuned ARD and deep kernel baselines on five unseen mechanisms. The discovered kernels are also interpretable programs that human researchers can refine: a human-refined version of one further reduces the held-out predictive error by 5.7% and optimization regret by 7.8%.
- Abstract（参考訳）: カーネルは幅広い機械学習モデルの帰納バイアスを符号化するが、自動化されたカーネル設計は基本的なジレンマに直面している。
基本カーネルと演算子の固定文法は、妥当性を保証するが、これらのビルディングブロックで表現可能な構造に探索を制限する。
逆に、制限のないプログラムは、この制限を取り除くが、もはや妥当性を保証しない。
ストレステストでは、ランダム入力の数値チェックをパスするLLM生成カーネルの22～58%が、異なるスケールや次元で評価すると失敗する。
我々はカーネル設計をオープンなモデル発見として扱うKernel Autoresearch (Kernaut)を提案する。
コーディングエージェントはカーネルをプログラムとして記述し、建設契約は全てのカーネルが有効であることを保証する。
品質多様性アーカイブは、異なる振る舞いを持つ高性能カーネルを保持し、機能的に新しい候補に対する新規なスタイアエージェントをスクリーニングする。
我々の実験は、発見されたカーネルが未確認タスクに一般化する再利用可能な帰納バイアスを符号化していることを示した。
ホールドアウトされたブラックボックス最適化ファミリでは、発見されたカーネルは同じエピソードでトレーニングされたメタ学習されたディープカーネルよりも優れている。
さらに、10の酵素速度法則から発見されたカーネルは、調整されたARDや5つの未知のメカニズムに基づくディープカーネルベースラインよりも低い誤差を達成している。
発見されたカーネルは、人間の研究者が洗練できる解釈可能なプログラムでもある:人間の修正されたバージョンのカーネルは、保持された予測エラーをさらに5.7%減らし、最適化の後悔を7.8%減らした。
関連論文リスト
- GPU Forecasters: Language Models as Selective Surrogates for Kernel Runtime Optimization [73.92934811090163]
カーネル評価のための選択的なGPUサロゲートとしてLLMがどのように機能するかを検討する。
限られたGPU測定予算下での高速カーネルの復旧に,その予測が正確で校正され,実用的に有用であるかどうかを計測する。
実験により,LLMは相対的なカーネル性能を正確に予測し,強化学習により性能を向上できることを示した。
論文 参考訳（メタデータ） (2026-05-29T15:56:08Z) - Kernel Foundry: A Diagnosis-driven Evolutionary Kernel Optimizer with Multi-Experts [29.878782850560132]
Kernel Foundryは、自動GPUカーネル最適化のための診断駆動の進化的フレームワークである。
KernelBenchの実験では、強いベースラインよりも精度と性能が一貫して向上していることが示されている。
論文 参考訳（メタデータ） (2026-05-08T03:41:54Z) - Scalable Gaussian Processes with Low-Rank Deep Kernel Decomposition [7.532273334759435]
カーネルはガウス過程(GP)モデルにおいて、事前の信念とデータ構造を符号化する鍵である。
ディープカーネル学習は、標準的なパラメトリック形式を適用する前に、ニューラルネットワークを介して入力を入力することで、カーネルの柔軟性を向上させる。
我々は、ニューラルネットワークが直接低ランクカーネルを表現する、完全にデータ駆動でスケーラブルなディープカーネル表現を導入する。
論文 参考訳（メタデータ） (2025-05-24T05:42:11Z) - Spectral Truncation Kernels: Noncommutativity in $C^*$-algebraic Kernel Machines [12.11705128358537]
スペクトルトランケーションに基づく正定値カーネルの新しいクラスを提案する。
提案するカーネルは,既存の分離可能カーネルと可換カーネルのギャップを埋めることを示す。
提案されたカーネルクラスの柔軟性により、以前の分離可能で可換なカーネルを超えることができる。
論文 参考訳（メタデータ） (2024-05-28T04:47:12Z) - Learning "best" kernels from data in Gaussian process regression. With
application to aerodynamics [0.4588028371034406]
本稿では,ガウス過程の回帰/クリギングサロゲートモデリング手法におけるカーネルの選択/設計アルゴリズムを紹介する。
アルゴリズムの最初のクラスはカーネルフローであり、機械学習の分類の文脈で導入された。
アルゴリズムの第2のクラスはスペクトル核リッジ回帰と呼ばれ、近似される関数のノルムが最小となるような「最良の」カーネルを選択することを目的としている。
論文 参考訳（メタデータ） (2022-06-03T07:50:54Z) - Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。
穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。
また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
論文 参考訳（メタデータ） (2022-02-01T17:46:51Z) - Kernel Continual Learning [117.79080100313722]
カーネル連続学習は、破滅的な忘れ事に取り組むための、シンプルだが効果的な連続学習の変種である。
エピソードメモリユニットは、カーネルリッジ回帰に基づいてタスク固有の分類器を学ぶために、各タスクのサンプルのサブセットを格納する。
タスク毎にデータ駆動カーネルを学ぶための変動ランダム機能。
論文 参考訳（メタデータ） (2021-07-12T22:09:30Z) - Kernel Identification Through Transformers [54.3795894579111]
カーネル選択はガウス過程(GP)モデルの性能決定において中心的な役割を果たす。
この研究は、高次元GP回帰モデルのためのカスタムカーネル関数を構築するという課題に対処する。
KITT: Kernel Identification through Transformersを提案する。
論文 参考訳（メタデータ） (2021-06-15T14:32:38Z) - Learning Deep Kernels for Non-Parametric Two-Sample Tests [50.92621794426821]
2組のサンプルが同じ分布から引き出されるかどうかを判定するカーネルベースの2サンプルテストのクラスを提案する。
私たちのテストは、テストパワーを最大化するためにトレーニングされたディープニューラルネットワークによってパラメータ化されたカーネルから構築されます。
論文 参考訳（メタデータ） (2020-02-21T03:54:23Z) - Face Verification via learning the kernel matrix [9.414572104591027]
カーネル関数は非線形パターン認識問題を解決するために導入された。
有望なアプローチは、データからカーネルを自動的に学習することだ。
本稿では,カーネル行列の学習による非線形顔認証を提案する。
論文 参考訳（メタデータ） (2020-01-21T03:39:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。