論文の概要: Learning Computational Structure for Sample-Efficient Prediction

• arxiv url: http://arxiv.org/abs/2610.28555v1
• Date: Tue, 20 Oct 2026 17:18:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.943833
• Title: Learning Computational Structure for Sample-Efficient Prediction
• Title（参考訳）: サンプル効率予測のための学習計算構造
• Abstract要約: 構成構造を利用して高次元の学習を改善する。 LeWiは、ターゲットグラフが与えられていない最もサンプル効率のよい方法である。 デンスネットワークは、単一の高アリティ関数を持つターゲットに対してより優れた性能を発揮する。
• 参考スコア（独自算出の注目度）: 6.338108968479236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Statistical learning in high dimensions suffers from the curse of dimensionality. Fortunately, many functions of practical interest are compositionally sparse, meaning they admit a composition of local functions, each depending on only a few variables, allowing sample complexity to depend on local arity rather than ambient dimension. Yet realizing this benefit requires exploiting hidden compositional structure, which theory does not establish for practical gradient-based training. We study this gap with CSFRBench, a controlled benchmark that hides the target's compositional computation during training but retains it for diagnosis, and find that dense networks and sparsity-based baselines leave much of that benefit unrealized. Inspired by the spatial organization of biological neural circuits, we introduce Learned Wiring (LeWi): each neuron has a learned low-dimensional embedding, only nearby neurons connect, and embeddings and weights are trained jointly. LeWi improves sample efficiency on targets with hierarchical structure, intermediate reuse, or independent modules. Across 32 additional targets generated by independently sampled computation graphs, LeWi is the most sample-efficient method not given the target graph, with 27% lower mean learning-curve area than dense networks. Dense networks perform better on targets with a single high-arity function. LeWi's representations and connectivity align with the target computation. On 17 world-model prediction tasks spanning control, navigation, and manipulation, LeWi beats the dense baseline on 16 and wins 99/119 baseline comparisons. These results show that jointly learning connectivity and weights can exploit computational structure to improve sample efficiency.
• Abstract（参考訳）: 高次元における統計的学習は、次元性の呪いに苦しむ。 幸運なことに、実用的関心を持つ多くの関数は構成的に疎いため、各関数はいくつかの変数にのみ依存し、サンプルの複雑さは周囲の次元よりも局所的なアリティに依存する。 しかし、この利点を実現するには隠れた構成構造を利用する必要がある。 CSFRBenchは、トレーニング中に対象の合成計算を隠蔽するが、診断のために保持する制御されたベンチマークであり、密度の高いネットワークと疎度ベースのベースラインが、そのメリットの多くを非現実的に残している。 各ニューロンは学習された低次元の埋め込みを持ち、近傍のニューロンのみが接続され、埋め込みと重みは共同で訓練される。 LeWiは階層構造、中間再利用、独立したモジュールを持つターゲットのサンプル効率を改善する。 個別にサンプリングされた計算グラフによって生成された32以上のターゲットに対して、LeWiはターゲットグラフを考慮しない最もサンプリング効率の高い手法であり、密度の高いネットワークよりも平均学習曲線面積が27%低い。 デンスネットワークは、単一の高アリティ関数を持つターゲットに対してより優れた性能を発揮する。 LeWiの表現と接続性は、対象の計算と一致している。 制御、ナビゲーション、操作にまたがる17のワールドモデル予測タスクにおいて、LeWiは密度の高いベースラインを16で破り、99/119ベースライン比較で勝利する。 これらの結果から,コネクティビティと重みを共同で学習することで,計算構造を利用してサンプル効率を向上できることが示唆された。

関連論文リスト

• Statistical mechanics of extensive-width Bayesian neural networks near interpolation [4.976898227858662]
  総重量分布と活性化関数を持つ2層完全連結ネットワークの教師あり学習について検討した。 我々は、同じアーキテクチャを持つ別のネットワークによって生成されたデータセットを用いて、教師学生のシナリオにおけるベイズ最適学習に焦点を当てる。 分析の結果,データ数の増加に伴い,多様な学習遷移を伴う豊富な現象が明らかになった。
  論文  参考訳（メタデータ） (2025-05-30T17:46:59Z)
• Just How Flexible are Neural Networks in Practice? [89.80474583606242]
  ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。 しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
  論文  参考訳（メタデータ） (2024-06-17T12:24:45Z)
• Coordinated Multi-Neighborhood Learning on a Directed Acyclic Graph [6.727984016678534]
  因果非巡回グラフ(DAG)の構造を学習することは、機械学習や人工知能の多くの分野で有用である。 強い、しばしば制限的な仮定なしに優れた経験的、理論的結果を得ることは困難である。 本論文では,複数のユーザ特定ターゲットノードの周囲の局所構造を推定する制約に基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-24T08:49:43Z)
• Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
  SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。 密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
  論文  参考訳（メタデータ） (2023-01-22T17:12:58Z)
• Network Gradient Descent Algorithm for Decentralized Federated Learning [0.2867517731896504]
  本稿では,コミュニケーションベースネットワーク上で実行される新しい勾配勾配アルゴリズムである,完全に分散化されたフェデレーション学習アルゴリズムについて検討する。 NGD法では、統計(パラメータ推定など)のみを通信し、プライバシーのリスクを最小限に抑える必要がある。 学習速度とネットワーク構造の両方が,NGD推定器の統計的効率を決定する上で重要な役割を担っていることがわかった。
  論文  参考訳（メタデータ） (2022-05-06T02:53:31Z)
• Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
  本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。 我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。 私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
  論文  参考訳（メタデータ） (2021-05-26T18:07:19Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• LoCo: Local Contrastive Representation Learning [93.98029899866866]
  重なり合うローカルブロックが重なり合うことで、デコーダの深さを効果的に増加させ、上位ブロックが暗黙的に下位ブロックにフィードバックを送ることができることを示す。 このシンプルな設計は、ローカル学習とエンドツーエンドのコントラスト学習アルゴリズムのパフォーマンスギャップを初めて埋める。
  論文  参考訳（メタデータ） (2020-08-04T05:41:29Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。