論文の概要: Searching Latent Program Spaces

• arxiv url: http://arxiv.org/abs/2411.08706v2
• Date: Tue, 15 Jul 2025 17:04:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-16 15:29:03.758112
• Title: Searching Latent Program Spaces
• Title（参考訳）: 潜在プログラム空間の探索
• Authors: Matthew V Macfarlane, Clément Bonnet,
• Abstract要約: ニューラルモデルに直接テストタイム検索を構築する新しいアーキテクチャであるLatent Program Network (LPN)を提案する。 テスト時にコンパクトな潜在空間を探索し、事前定義されたドメイン固有言語の必要性を回避します。 ARC-AGIベンチマークを用いて、プログラム空間を学習し、新しいタスクに適応するためにテスト時に検索できることを実証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: General intelligence requires systems that acquire new skills efficiently and generalize beyond their training distributions. Although program synthesis approaches have strong generalization power, they face scaling issues due to large combinatorial spaces that quickly make them impractical and require human-generated DSLs or pre-trained priors to narrow this search space. On the other hand, deep learning methods have had high successes, but they lack structured test-time adaptation and rely on heavy stochastic sampling or expensive gradient updates for fine-tuning. In this work, we propose the Latent Program Network (LPN), a new architecture that builds in test-time search directly into neural models. LPN learns a latent space of implicit programs--neurally mapping inputs to outputs--through which it can search using gradients at test time. LPN combines the adaptability of symbolic approaches and the scalability of neural methods. It searches through a compact latent space at test time and bypasses the need for pre-defined domain-specific languages. On a range of programming-by-examples tasks, LPN either outperforms or matches performance compared to in-context learning and test-time training methods. Tested on the ARC-AGI benchmark, we demonstrate that LPN can both learn a compact program space and search through it at test time to adapt to novel tasks. LPN doubles its performance on out-of-distribution tasks when test-time search is switched on.
• Abstract（参考訳）: 一般知能は、トレーニング分布を超えて、新しいスキルを効率的に獲得し、一般化するシステムを必要とする。 プログラム合成手法は強力な一般化力を持つが、この探索空間を狭めるために、すぐに非現実的になり、人為的なDSLや事前訓練を必要とするような大きな組合せ空間のためにスケーリングの問題に直面している。 一方、ディープラーニング手法は高い成功を収めているが、構造化されたテスト時間適応が欠如しており、複雑な確率的サンプリングや、微調整のための高価な勾配更新に依存している。 本研究では、ニューラルモデルに直接テスト時間探索を構築する新しいアーキテクチャであるLatent Program Network(LPN)を提案する。 LPNは暗黙的なプログラムの潜在空間(入力を出力に神経的にマッピングする)を学習し、テスト時に勾配を使って検索する。 LPNは、シンボリックアプローチの適応性と、ニューラルメソッドのスケーラビリティを組み合わせる。 テスト時にコンパクトな潜在空間を探索し、事前定義されたドメイン固有言語の必要性を回避します。 様々なプログラミング・バイ・サンプル・タスクにおいて、LPNは、コンテキスト内学習やテストタイムのトレーニング方法と比較してパフォーマンスに優れるか、性能にマッチする。 ARC-AGIベンチマークを用いて、LPNがプログラム空間を学習し、新しいタスクに適応するためにテスト時に検索できることを実証した。 LPNは、テストタイム検索をオンにすると、アウト・オブ・ディストリビューションタスクのパフォーマンスが倍になる。

関連論文リスト

• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• Learning Semantics-aware Search Operators for Genetic Programming [0.20718016474717196]
  テストベースのプログラム合成における適合性景観は、非常に頑丈であることが知られている。 本稿では,有効な候補プログラムの探索を支援するセマンティックス・アウェア・サーチ・オペレータを提案する。
  論文  参考訳（メタデータ） (2025-02-06T23:46:04Z)
• ExpTest: Automating Learning Rate Searching and Tuning with Insights from Linearized Neural Networks [0.0]
  本稿では,初期学習率探索とその後の学習率調整のための高度な手法であるExpTestを提案する。 ExpTestを数学的に正当化し、実証的なサポートを提供します。
  論文  参考訳（メタデータ） (2024-11-25T22:58:22Z)
• Using deep learning to construct stochastic local search SAT solvers with performance bounds [0.0]
  グラフニューラルネットワークを用いてオーラクルを訓練し、2つのSLSソルバ上で、様々な難易度を持つランダムSATインスタンス上でそれらを評価する。 GNNベースのオラクルへのアクセスは,両者のパフォーマンスを著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T16:27:52Z)
• Using Machine Learning To Identify Software Weaknesses From Software Requirement Specifications [49.1574468325115]
  本研究は、要求仕様からソフトウェア弱点を特定するための効率的な機械学習アルゴリズムを見つけることに焦点を当てる。 ProMISE_exp. Naive Bayes、サポートベクターマシン(SVM)、決定木、ニューラルネットワーク、畳み込みニューラルネットワーク(CNN)アルゴリズムをテストした。
  論文  参考訳（メタデータ） (2023-08-10T13:19:10Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• CrossBeam: Learning to Search in Bottom-Up Program Synthesis [51.37514793318815]
  ボトムアップ合成のためのハンズオン検索ポリシーを学習するためのニューラルネットワークのトレーニングを提案する。 私たちのアプローチは、CrossBeamと呼ばれ、ニューラルモデルを使用して、以前に探索されたプログラムを新しいプログラムに組み合わせる方法を選択します。 我々はCrossBeamが効率的に検索することを学び、最先端技術と比較してプログラム空間のより小さな部分を探索する。
  論文  参考訳（メタデータ） (2022-03-20T04:41:05Z)
• Scaling Neural Program Synthesis with Distribution-based Search [7.137293485620867]
  本稿では,ヒープ検索とSQRTサンプリングという2つの新しい検索アルゴリズムを紹介する。 確率的およびニューラルなテクニックとどのように統合され、並列計算環境をまたいで大規模に動作可能であるかを示す。
  論文  参考訳（メタデータ） (2021-10-24T16:46:01Z)
• Searching for More Efficient Dynamic Programs [61.79535031840558]
  本稿では,プログラム変換の集合,変換プログラムの効率を評価するための単純な指標,およびこの指標を改善するための探索手順について述べる。 実際に、自動検索は初期プログラムの大幅な改善を見出すことができることを示す。
  論文  参考訳（メタデータ） (2021-09-14T20:52:55Z)
• Efficient Nearest Neighbor Language Models [114.40866461741795]
  非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。 比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
  論文  参考訳（メタデータ） (2021-09-09T12:32:28Z)
• Waypoint Planning Networks [66.72790309889432]
  本稿では,ローカルカーネル(A*のような古典的アルゴリズム)と学習アルゴリズムを用いたグローバルカーネルを用いたLSTMに基づくハイブリッドアルゴリズムを提案する。 我々は、WPNとA*を比較し、動き計画ネットワーク(MPNet)やバリューネットワーク(VIN)を含む関連する作業と比較する。 WPN の探索空間は A* よりもかなり小さいが、ほぼ最適な結果が得られることが示されている。
  論文  参考訳（メタデータ） (2021-05-01T18:02:01Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• BUSTLE: Bottom-Up Program Synthesis Through Learning-Guided Exploration [72.88493072196094]
  プログラムのボトムアップ検索に学習を活用する新しい合成手法を提案する。 特に、入力出力例のセットに基づいて、探索条件中の中間値の合成を優先順位付けするようにモデルを訓練する。 単純な教師付き学習アプローチであっても,学習とボトムアップ検索の組み合わせは極めて効果的であることを示す。
  論文  参考訳（メタデータ） (2020-07-28T17:46:18Z)
• Learning Differentiable Programs with Admissible Neural Heuristics [43.54820901841979]
  ドメイン固有言語におけるプログラムとして表現される微分可能関数の学習問題について検討する。 我々は、この最適化問題を、プログラム構文のトップダウン導出を符号化した重み付きグラフの探索として構成する。 私たちの重要なイノベーションは、さまざまなニューラルネットワークのクラスを、プログラムの空間上の連続的な緩和と見なすことです。
  論文  参考訳（メタデータ） (2020-07-23T16:07:39Z)
• CATCH: Context-based Meta Reinforcement Learning for Transferrable Architecture Search [102.67142711824748]
  CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。 メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。 また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
  論文  参考訳（メタデータ） (2020-07-18T09:35:53Z)
• Strong Generalization and Efficiency in Neural Programs [69.18742158883869]
  本稿では,ニューラルプログラム誘導の枠組みを強く一般化する効率的なアルゴリズムを学習する問題について検討する。 ニューラルネットワークの入力/出力インターフェースを慎重に設計し、模倣することで、任意の入力サイズに対して正しい結果を生成するモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2020-07-07T17:03:02Z)
• Gradient-only line searches to automatically determine learning rates for a variety of stochastic training algorithms [0.0]
  Inexact (GOLS-I) である Gradient-Only Line Search を用いて、ニューラルネットワークトレーニングアルゴリズムの選択のための学習率スケジュールを決定する。 GOLS-Iの学習率スケジュールは、手動で調整された学習率、最適化アルゴリズム7以上、ニューラルネットワークアーキテクチャ3タイプ、データセット23、損失関数2つと競合する。
  論文  参考訳（メタデータ） (2020-06-29T08:59:31Z)
• AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
  我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。 実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
  論文  参考訳（メタデータ） (2020-06-11T16:36:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。