論文の概要: Neural Set Function Extensions: Learning with Discrete Functions in High Dimensions

• arxiv url: http://arxiv.org/abs/2208.04055v1
• Date: Mon, 8 Aug 2022 10:58:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-09 13:49:40.528648
• Title: Neural Set Function Extensions: Learning with Discrete Functions in High Dimensions
• Title（参考訳）: 神経集合関数拡張:高次元離散関数を用いた学習
• Authors: Nikolaos Karalias, Joshua Robinson, Andreas Loukas, Stefanie Jegelka
• Abstract要約: 集合関数を低次元連続領域に拡張するためのフレームワークを開発する。 我々のフレームワークは、よく知られた拡張を特殊ケースとして仮定する。 我々は低次元ニューラルネットワークボトルネックを高次元空間における表現に変換する。
• 参考スコア（独自算出の注目度）: 63.21838830509772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Integrating functions on discrete domains into neural networks is key to developing their capability to reason about discrete objects. But, discrete domains are (1) not naturally amenable to gradient-based optimization, and (2) incompatible with deep learning architectures that rely on representations in high-dimensional vector spaces. In this work, we address both difficulties for set functions, which capture many important discrete problems. First, we develop a framework for extending set functions onto low-dimensional continuous domains, where many extensions are naturally defined. Our framework subsumes many well-known extensions as special cases. Second, to avoid undesirable low-dimensional neural network bottlenecks, we convert low-dimensional extensions into representations in high-dimensional spaces, taking inspiration from the success of semidefinite programs for combinatorial optimization. Empirically, we observe benefits of our extensions for unsupervised neural combinatorial optimization, in particular with high-dimensional representations.
• Abstract（参考訳）: 離散ドメイン上の関数をニューラルネットワークに統合することは、離散オブジェクトを推論する能力を開発する上で鍵となる。 しかし、離散領域は(1)勾配に基づく最適化に自然に適さない、(2)高次元ベクトル空間の表現に依存するディープラーニングアーキテクチャとは相容れない。 本研究では,多くの重要な離散的問題を捉える集合関数の両問題に対処する。 まず、多くの拡張が自然に定義される低次元連続領域に集合関数を拡張するフレームワークを開発する。 私たちのフレームワークは多くの有名な拡張を特別なケースとして利用します。 第二に、望ましくない低次元ニューラルネットワークボトルネックを避けるため、高次元空間における低次元拡張を表現に変換し、組合せ最適化のための半定プログラムの成功から着想を得た。 実験的に、教師なしニューラルネットワーク最適化のための拡張の利点を、特に高次元表現で観察する。

関連論文リスト

• Embedding Knowledge Graph in Function Spaces [1.90894751866253]
  本稿では,ベクトル空間ではなく有限次元の関数空間内で操作することで,従来の手法から分岐する新しい埋め込み手法を提案する。 埋め込みに関数を適用することで、より自由度が高くなり、合成や微分、プリミティブなエンティティ表現といった操作が可能になる、と我々は主張する。
  論文  参考訳（メタデータ） (2024-09-23T09:49:57Z)
• Stochastic Optimal Control for Diffusion Bridges in Function Spaces [13.544676987441441]
  無限次元空間に合わせた最適制御の理論を提案する。 我々は、Doob の $h$-transform が SOC の観点から導出され、無限次元に拡張されることを示す。 2つの無限次元分布間のブリッジの学習と、無限次元分布からの標本化のための生成モデルを提案する。
  論文  参考訳（メタデータ） (2024-05-31T05:42:47Z)
• Spectral Algorithms on Manifolds through Diffusion [1.7227952883644062]
  再生カーネル空間におけるスペクトルアルゴリズムの収束性能について検討する。 一般化ノルムに関する厳密な収束上限を導出するために積分作用素技術を用いる。 本研究は,高次元近似のより広い文脈において,スペクトルアルゴリズムが実質的に重要であることを確認した。
  論文  参考訳（メタデータ） (2024-03-06T12:43:53Z)
• Multi-Grid Tensorized Fourier Neural Operator for High-Resolution PDEs [93.82811501035569]
  本稿では,メモリ要求を低減し,より一般化したデータ効率・並列化可能な演算子学習手法を提案する。 MG-TFNOは、実世界の実世界の現象の局所的構造と大域的構造を活用することで、大規模な分解能にスケールする。 乱流ナビエ・ストークス方程式において150倍以上の圧縮で誤差の半分以下を達成できる優れた性能を示す。
  論文  参考訳（メタデータ） (2023-09-29T20:18:52Z)
• Deep neural network approximation of composite functions without the curse of dimensionality [0.0]
  本稿では,ディープニューラルネットワーク(DNN)により近似できる高次元連続関数のクラスを同定する。 クラス内の函数は、積、極大、ある平行化されたリプシッツ連続函数を含む潜在的に非有界な特殊函数として表すことができる。
  論文  参考訳（メタデータ） (2023-04-12T12:08:59Z)
• Tree ensemble kernels for Bayesian optimization with known constraints over mixed-feature spaces [54.58348769621782]
  木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。 ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。 我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-02T16:59:37Z)
• Benefits of Overparameterized Convolutional Residual Networks: Function Approximation under Smoothness Constraint [48.25573695787407]
  大規模なConvResNetは関数の値から目的関数を近似できるだけでなく、一階スムーズ性も十分に発揮できることを示す。 我々の理論は、実際にディープ・ワイド・ネットワークを使うことの利点を部分的に正当化している。
  論文  参考訳（メタデータ） (2022-06-09T15:35:22Z)
• Pure Exploration in Kernel and Neural Bandits [90.23165420559664]
  我々は、特徴表現の次元が腕の数よりもはるかに大きい帯域における純粋な探索について研究する。 そこで本研究では,各アームの特徴表現を低次元空間に適応的に埋め込む手法を提案する。
  論文  参考訳（メタデータ） (2021-06-22T19:51:59Z)
• Universal Online Convex Optimization Meets Second-order Bounds [74.0120666722487]
  ユニバーサルオンライン凸最適化のための簡単な戦略を提案する。 主要なアイデアは、オリジナルのオンライン機能を処理するための専門家のセットを構築し、線形化された損失に対してメタアルゴリズムをデプロイすることである。 このようにして、私たちはブラックボックスの専門家として、既成のオンライン問題解決者をプラグインして、問題依存の後悔の限界を提供することができます。
  論文  参考訳（メタデータ） (2021-05-08T11:43:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。