論文の概要: Noise Sensitivity and Learning Lower Bounds for Hierarchical Functions

• arxiv url: http://arxiv.org/abs/2502.05073v2
• Date: Wed, 14 May 2025 22:45:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-16 14:06:36.029796
• Title: Noise Sensitivity and Learning Lower Bounds for Hierarchical Functions
• Title（参考訳）: 階層関数に対する雑音感度と下界学習
• Authors: Rupert Li, Elchanan Mossel,
• Abstract要約: 階層内の各関数が線型から$varepsilon$-farであれば、雑音安定性は階層の深さにおいて指数関数的に小さくなることを示す。 私たちの結果はすぐに学習に役立ちます。
• 参考スコア（独自算出の注目度）: 6.437931786032493
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent works explore deep learning's success by examining functions or data with hierarchical structure. To study the learning complexity of functions with hierarchical structure, we study the noise stability of functions with tree hierarchical structure on independent inputs. We show that if each function in the hierarchy is $\varepsilon$-far from linear, the noise stability is exponentially small in the depth of the hierarchy. Our results have immediate applications for learning. In the Boolean setting using the results of Dachman-Soled, Feldman, Tan, Wan and Wimmer (2014) our results provide Statistical Query super-polynomial lower bounds for learning classes that are based on hierarchical functions. Similarly, using the results of Diakonikolas, Kane, Pittas and Zarifis (2021) our results provide super-polynomial lower bounds for SQ learning under the Gaussian measure. Using the results of Abbe, Bengio, Cornacchiam, Kleinberg, Lotfi, Raghu and Zhang (2022) our results imply sample complexity lower bounds for learning hierarchical functions with gradient descent on fully connected neural networks.
• Abstract（参考訳）: 最近の研究は、階層構造を持つ関数やデータを調べることによって、ディープラーニングの成功を探求している。 階層構造を持つ関数の学習複雑性を調べるために,木階層構造を持つ関数の雑音安定性について検討した。 階層内の各関数が線型から$\varepsilon$-farであれば、雑音安定性は階層の深さにおいて指数関数的に小さくなることを示す。 私たちの結果はすぐに学習に役立ちます。 Dachman-Soled, Feldman, Tan, Wan, Wimmer (2014) の結果を用いたブール設定では、階層関数に基づく学習クラスに対して統計クエリー超多項式の下限が提供される。 同様に、Diakonikolas, Kane, Pittas and Zarifis (2021) の結果を用いて、ガウス測度の下でのSQ学習の超多項式的下界を与える。 Abbe, Bengio, Cornacchiam, Kleinberg, Lotfi, Raghu, Zhang (2022) の結果から, 完全連結ニューラルネットワーク上の勾配勾配による階層関数の学習において, 複雑性の低い境界をサンプリングした。

関連論文リスト

• Q-function Decomposition with Intervention Semantics with Factored Action Spaces [51.01244229483353]
  元の作用空間の低次元射影部分空間上で定義されるQ-函数を考察し、分解されたQ-函数の不偏性について考察する。 これにより、標準モデルフリー強化学習アルゴリズムにおいて、予測Q関数を用いてQ関数を近似する動作分解強化学習と呼ばれる一般的なスキームが導かれる。
  論文  参考訳（メタデータ） (2025-04-30T05:26:51Z)
• Spherical Analysis of Learning Nonlinear Functionals [10.785977740158193]
  本稿では,球面上の関数の集合上で定義される関数について考察する。 深部ReLUニューラルネットワークの近似能力をエンコーダデコーダフレームワークを用いて検討した。
  論文  参考訳（メタデータ） (2024-10-01T20:10:00Z)
• Augmented Functional Random Forests: Classifier Construction and Unbiased Functional Principal Components Importance through Ad-Hoc Conditional Permutations [0.0]
  本稿では,木に基づく手法と関数型データ解析を統合した新しい教師付き分類手法を提案する。 機能的分類木と機能的ランダム林の拡張版を提案し,機能的主成分の重要性を評価するための新しいツールを取り入れた。
  論文  参考訳（メタデータ） (2024-08-23T15:58:41Z)
• Phononic materials with effectively scale-separated hierarchical features using interpretable machine learning [57.91994916297646]
  構造的階層的な音波材料は、複数の周波数範囲にわたるエラストダイナミック波と振動の有望なチューニング性を引き起こしている。 本稿では、各長さスケールの特徴が対象周波数範囲内の帯域ギャップをもたらす階層単位セルを求める。 提案手法は,階層型設計空間における新しい領域の探索を柔軟かつ効率的に行う手法である。
  論文  参考訳（メタデータ） (2024-08-15T21:35:06Z)
• Revisiting Nearest Neighbor for Tabular Data: A Deep Tabular Baseline Two Decades Later [76.66498833720411]
  K$-nearest neighbors (KNN) はもともと,インスタンス間のセマンティックな類似性を捉えるために線形投影を学習するために設計されたものだ。 意外なことに、SGDを用いたNAAの実装と次元減少のない実装は、表データの良好な性能をすでに達成しています。 本稿では、損失関数、予測戦略、深いアーキテクチャなど、これらの改善の背景にある要因を分析して、論文を締めくくる。
  論文  参考訳（メタデータ） (2024-07-03T16:38:57Z)
• A topological description of loss surfaces based on Betti Numbers [8.539445673580252]
  多層ニューラルネットワークの場合の損失複雑性を評価するためのトポロジカル尺度を提供する。 損失関数やモデルアーキテクチャの特定のバリエーション、例えば$ell$正規化項の追加やフィードフォワードネットワークでの接続のスキップは、特定のケースにおける損失には影響しない。
  論文  参考訳（メタデータ） (2024-01-08T11:20:04Z)
• Correlated Noise Provably Beats Independent Noise for Differentially Private Learning [25.81442865194914]
  異なるプライベート学習アルゴリズムは学習プロセスにノイズを注入する。 問題パラメータの関数として,バニラ-SGDの相関ノイズがいかに改善するかを示す。
  論文  参考訳（メタデータ） (2023-10-10T16:48:18Z)
• Learning bounded-degree polytrees with known skeleton [15.137372516678143]
  有界次数ポリツリーの効率的な適切な学習のための有限サンプル保証を確立する。 基礎となる無向グラフが知られているとき、d$-polytreesを時間で学習し、任意の有界$d$のサンプル複雑性を学習する効率的なアルゴリズムを提供する。
  論文  参考訳（メタデータ） (2023-10-10T06:03:51Z)
• Neural Sculpting: Uncovering hierarchically modular task structure in neural networks through pruning and network analysis [8.080026425139708]
  階層的なモジュラーニューラルネットワークは、学習効率、一般化、マルチタスク学習、転送などの利点を提供する。 本稿では,繰り返し単位とエッジプルーニング(訓練中)に基づくアプローチと,モジュール検出と階層推論のためのネットワーク解析の組み合わせを提案する。
  論文  参考訳（メタデータ） (2023-05-28T15:12:32Z)
• Tree Learning: Optimal Algorithms and Sample Complexity [10.638365461509]
  任意の分布から抽出したラベル付きサンプルから,データの階層木表現を学習する問題について検討する。 本稿では,この問題に対する最適なサンプル境界を,学習やオンライン学習など,いくつかの学習環境において提示する。
  論文  参考訳（メタデータ） (2023-02-09T08:35:17Z)
• Offline Reinforcement Learning with Differentiable Function Approximation is Provably Efficient [65.08966446962845]
  歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。 微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。 最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
  論文  参考訳（メタデータ） (2022-10-03T07:59:42Z)
• What Can Be Learnt With Wide Convolutional Neural Networks? [69.55323565255631]
  カーネルシステムにおける無限大の深層CNNについて検討する。 我々は,深部CNNが対象関数の空間スケールに適応していることを証明する。 我々は、別の深部CNNの出力に基づいて訓練された深部CNNの一般化誤差を計算して結論付ける。
  論文  参考訳（メタデータ） (2022-08-01T17:19:32Z)
• Sample-Efficient Reinforcement Learning in the Presence of Exogenous Information [77.19830787312743]
  実世界の強化学習アプリケーションでは、学習者の観察空間は、その課題に関する関連情報と無関係情報の両方でユビキタスに高次元である。 本稿では,強化学習のための新しい問題設定法であるExogenous Decision Process (ExoMDP)を導入する。 内因性成分の大きさのサンプル複雑度で準最適ポリシーを学習するアルゴリズムであるExoRLを提案する。
  論文  参考訳（メタデータ） (2022-06-09T05:19:32Z)
• Reinforcement Learning from Partial Observation: Linear Function Approximation with Provable Sample Efficiency [111.83670279016599]
  部分観察決定過程(POMDP)の無限観測および状態空間を用いた強化学習について検討した。 線形構造をもつPOMDPのクラスに対する部分可観測性と関数近似の最初の試みを行う。
  論文  参考訳（メタデータ） (2022-04-20T21:15:38Z)
• Look-Ahead Acquisition Functions for Bernoulli Level Set Estimation [9.764638397706717]
  サブレベル設定メンバーシップのルックアヘッド後部に対する解析式を導出する。 これらがLSE獲得関数のクラスに対する解析的表現にどのように寄与するかを示す。
  論文  参考訳（メタデータ） (2022-03-18T05:25:35Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)
• The staircase property: How hierarchical structure can guide deep learning [38.713566366330326]
  本稿では,深層ニューラルネットワークが階層的に学習できるデータ分布の構造特性を明らかにする。 この特性を満たす関数は、通常のニューラルネットワーク上で階層的に座標降下を用いて時間的に学習できることを実証する。
  論文  参考訳（メタデータ） (2021-08-24T08:19:05Z)
• Towards Lower Bounds on the Depth of ReLU Neural Networks [7.355977594790584]
  より多くの層を追加することで、正確に表現可能な関数のクラスが厳密に増加するかどうかを考察する。 We settled an old conjecture about piecewise linear function by Wang and Sun (2005) in affirmative。 対数深度を持つ関数を表すのに必要なニューラルネットワークのサイズについて上限を述べる。
  論文  参考訳（メタデータ） (2021-05-31T09:49:14Z)
• Low-Complexity Probing via Finding Subnetworks [101.43611844196064]
  言語特性のニューラルネットワークを探索するための減算的プローブを提案する。 サブネットワークプローブは,事前学習モデルでは高い精度,ランダムモデルでは低い精度を実現する。 各プローブの複雑さを変化させることで、プローブの複雑さの予算を考えると、サブネットワークがプローブの精度を高くすることを示す。
  論文  参考訳（メタデータ） (2021-04-08T05:11:21Z)
• Searching for Robustness: Loss Learning for Noisy Classification Tasks [81.70914107917551]
  テイラーを用いたフレキシブルな損失関数群をパラメタライズし、この空間におけるノイズロスの探索に進化的戦略を適用する。 その結果、ホワイトボックスの損失は、さまざまな下流タスクで効果的なノイズロバスト学習を可能にするシンプルで高速な「プラグアンドプレイ」モジュールを提供します。
  論文  参考訳（メタデータ） (2021-02-27T15:27:22Z)
• Deep Reinforcement Learning of Graph Matching [63.469961545293756]
  ノードとペアの制約下でのグラフマッチング(GM)は、最適化からコンピュータビジョンまでの領域におけるビルディングブロックである。 GMのための強化学習ソルバを提案する。 rgmはペアワイズグラフ間のノード対応を求める。 本手法は,フロントエンドの特徴抽出と親和性関数学習に焦点をあてるという意味において,従来のディープグラフマッチングモデルと異なる。
  論文  参考訳（メタデータ） (2020-12-16T13:48:48Z)
• Linguistically Driven Graph Capsule Network for Visual Question Reasoning [153.76012414126643]
  我々は「言語的に駆動されるグラフカプセルネットワーク」と呼ばれる階層的構成推論モデルを提案する。 具体的には,各カプセルを最下層に結合させ,元の質問に1つの単語を埋め込んだ言語的埋め込みを視覚的証拠で橋渡しする。 CLEVRデータセット、CLEVR合成生成テスト、およびFinalQAデータセットの実験は、我々のエンドツーエンドモデルの有効性と構成一般化能力を示す。
  論文  参考訳（メタデータ） (2020-03-23T03:34:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。