論文の概要: RedEx: Beyond Fixed Representation Methods via Convex Optimization

• arxiv url: http://arxiv.org/abs/2401.07606v1
• Date: Mon, 15 Jan 2024 11:30:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-17 17:23:49.728010
• Title: RedEx: Beyond Fixed Representation Methods via Convex Optimization
• Title（参考訳）: RedEx: 凸最適化による固定表現メソッドを超えて
• Authors: Amit Daniely, Mariano Schain and Gilad Yehudai
• Abstract要約: RedExはニューラルネットワークと同じくらい表現力があり、半確定的な制約と最適化保証を備えた凸プログラムを通じて階層的にトレーニングすることができる。 固定表現法が不可能な対象関数の族を効率的に学習できるという意味で,RedExが固定表現法を確実に上回っていることを示す。
• 参考スコア（独自算出の注目度）: 24.651151030869865
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Optimizing Neural networks is a difficult task which is still not well understood. On the other hand, fixed representation methods such as kernels and random features have provable optimization guarantees but inferior performance due to their inherent inability to learn the representations. In this paper, we aim at bridging this gap by presenting a novel architecture called RedEx (Reduced Expander Extractor) that is as expressive as neural networks and can also be trained in a layer-wise fashion via a convex program with semi-definite constraints and optimization guarantees. We also show that RedEx provably surpasses fixed representation methods, in the sense that it can efficiently learn a family of target functions which fixed representation methods cannot.
• Abstract（参考訳）: ニューラルネットワークの最適化は、まだよく理解されていない難しいタスクである。 一方で、カーネルやランダムな特徴のような固定表現メソッドは、最適化の保証はできるが、その表現を学習できないため性能が劣る。 本稿では,ニューラルネットワークと同じくらい表現力があり,半確定的な制約と最適化保証を備えた凸プログラムを通じて階層的にトレーニングできるRedEx(Reduced Expander Extractor)という新しいアーキテクチャを提案することにより,このギャップを埋めることを目的とする。 また,固定表現法が不可能な対象関数の族を効率的に学習できるという意味で,RedExが固定表現法を確実に上回ることを示す。

関連論文リスト

• GloptiNets: Scalable Non-Convex Optimization with Certificates [61.50835040805378]
  本稿では,ハイパーキューブやトーラス上のスムーズな関数を扱う証明書を用いた非キューブ最適化手法を提案する。 スペクトルの減衰に固有の対象関数の正則性を活用することにより、正確な証明を取得し、高度で強力なニューラルネットワークを活用することができる。
  論文  参考訳（メタデータ） (2023-06-26T09:42:59Z)
• Semantics-Aware Dynamic Localization and Refinement for Referring Image Segmentation [102.25240608024063]
  画像の参照は、言語表現からのイメージセグメントを参照する。 そこで我々は,局所化中心からセグメンテーション言語へ移行するアルゴリズムを開発した。 比較すると,本手法はより汎用的で有効である。
  論文  参考訳（メタデータ） (2023-03-11T08:42:40Z)
• Object Representations as Fixed Points: Training Iterative Refinement Algorithms with Implicit Differentiation [88.14365009076907]
  反復的洗練は表現学習に有用なパラダイムである。 トレーニングの安定性とトラクタビリティを向上させる暗黙の差別化アプローチを開発する。
  論文  参考訳（メタデータ） (2022-07-02T10:00:35Z)
• Local Permutation Equivariance For Graph Neural Networks [2.208242292882514]
  そこで我々は,局所置換同変グラフニューラルネットワークという新しい手法を開発した。 ローカルノード近傍で動作するグラフニューラルネットワークを構築するためのフレームワークを提供する。 提案手法を,グラフベンチマークの分類タスクの範囲で実験的に検証する。
  論文  参考訳（メタデータ） (2021-11-23T13:10:34Z)
• Proxy Convexity: A Unified Framework for the Analysis of Neural Networks Trained by Gradient Descent [95.94432031144716]
  学習ネットワークの分析のための統合された非最適化フレームワークを提案する。 既存の保証は勾配降下により統一することができることを示す。
  論文  参考訳（メタデータ） (2021-06-25T17:45:00Z)
• Efficient Inference via Universal LSH Kernel [35.22983601434134]
  本稿では,単純なハッシュ計算と集約で推論手順を近似できる数列の簡潔な集合である,数学的に証明可能なRepresenter Sketchを提案する。 Representer Sketchは、カーネル文学から人気のあるRepresenter Theoremの上に構築されている。 本研究では,Representer Sketchによるストレージ要件の最大114倍,複雑性の最大59倍を精度の低下なく達成できることを示す。
  論文  参考訳（メタデータ） (2021-06-21T22:06:32Z)
• Towards Efficient Scene Understanding via Squeeze Reasoning [71.1139549949694]
  我々はSqueeze Reasoningと呼ばれる新しいフレームワークを提案する。 空間地図上の情報を伝播するのではなく、まず入力特徴をチャネルワイドなグローバルベクトルに絞ることを学ぶ。 提案手法はエンドツーエンドのトレーニングブロックとしてモジュール化可能であり,既存のネットワークに簡単に接続可能であることを示す。
  論文  参考訳（メタデータ） (2020-11-06T12:17:01Z)
• Global Optimization of Objective Functions Represented by ReLU Networks [77.55969359556032]
  ニューラルネットワークは複雑で非敵対的な関数を学ぶことができ、安全クリティカルな文脈でそれらの正しい振る舞いを保証することは困難である。 ネットワーク内の障害を見つけるための多くのアプローチ(例えば、敵の例)があるが、これらは障害の欠如を保証できない。 本稿では,最適化プロセスを検証手順に統合し,本手法よりも優れた性能を実現する手法を提案する。
  論文  参考訳（メタデータ） (2020-10-07T08:19:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。