論文の概要: Learning to Extrapolate: A Transductive Approach
- arxiv url: http://arxiv.org/abs/2304.14329v1
- Date: Thu, 27 Apr 2023 17:00:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-28 12:31:37.794922
- Title: Learning to Extrapolate: A Transductive Approach
- Title(参考訳): 外挿する学習: トランスダクティブなアプローチ
- Authors: Aviv Netanyahu, Abhishek Gupta, Max Simchowitz, Kaiqing Zhang, Pulkit
Agrawal
- Abstract要約: パラメータ化関数近似器のパワーを保った機械学習システムを開発する際の課題に対処する。
このような一般化を実現するために,バイリニア埋め込みに基づく簡単な戦略を提案する。
様々な教師付き学習や模倣学習タスクに適用可能な,単純で実用的なアルゴリズムをインスタンス化する。
- 参考スコア(独自算出の注目度): 44.74850954809099
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine learning systems, especially with overparameterized deep neural
networks, can generalize to novel test instances drawn from the same
distribution as the training data. However, they fare poorly when evaluated on
out-of-support test points. In this work, we tackle the problem of developing
machine learning systems that retain the power of overparameterized function
approximators while enabling extrapolation to out-of-support test points when
possible. This is accomplished by noting that under certain conditions, a
"transductive" reparameterization can convert an out-of-support extrapolation
problem into a problem of within-support combinatorial generalization. We
propose a simple strategy based on bilinear embeddings to enable this type of
combinatorial generalization, thereby addressing the out-of-support
extrapolation problem under certain conditions. We instantiate a simple,
practical algorithm applicable to various supervised learning and imitation
learning tasks.
- Abstract(参考訳): 機械学習システム、特に過パラメータのディープニューラルネットワークでは、トレーニングデータと同じ分布から引き出された新しいテストインスタンスに一般化することができる。
しかし、非サポートテストポイントでの評価では不運である。
本研究では,過度にパラメータ化された関数近似器のパワーを保ちながら,可能であれば外挿を外挿できる機械学習システムの開発に取り組む。
これは、ある条件下では「帰納的」な再パラメータ化は、サポート外補間問題からサポート外補間問題への変換を可能にする。
本稿では,このような組合せ一般化を実現するためのバイリニア埋め込みに基づく簡単な戦略を提案し,特定の条件下での非サポート外挿問題に対処する。
様々な教師付き学習および模倣学習タスクに適用可能な単純で実用的なアルゴリズムをインスタンス化する。
関連論文リスト
- Regularization, early-stopping and dreaming: a Hopfield-like setup to
address generalization and overfitting [0.0]
正規化損失関数に勾配降下を適用し,最適ネットワークパラメータを求める。
この枠組みの中で、最適なニューロン相互作用行列は、繰り返し学習プロトコルによって修正されたヘビアン核に対応する。
論文 参考訳(メタデータ) (2023-08-01T15:04:30Z) - Learning Functional Transduction [9.926231893220063]
そこで本研究では,トランスダクティブ回帰の原理を勾配降下によりメタ学習し,より効率的なインコンテキスト・ニューラル近似器を構築できることを示す。
我々は、データが少ない外部要因の影響を受け、複雑な物理システムをモデル化するためのメタ学習型トランスダクティブアプローチの利点を実証する。
論文 参考訳(メタデータ) (2023-02-01T09:14:28Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳(メタデータ) (2022-06-15T19:10:35Z) - Debiased Machine Learning without Sample-Splitting for Stable Estimators [21.502538698559825]
偏りのある機械学習に関する最近の研究は、補助的な問題に対して汎用機械学習推定器をどのように使用できるかを示している。
これらの補助的推定アルゴリズムが自然に残留する安定性特性を満たす場合、サンプル分割は不要であることを示す。
論文 参考訳(メタデータ) (2022-06-03T21:31:28Z) - Transformer for Partial Differential Equations' Operator Learning [0.0]
演算子変換器(OFormer)と呼ばれるデータ駆動型演算子学習のための注意ベースのフレームワークを提案する。
我々のフレームワークは、自己注意、クロスアテンション、および一組のポイントワイド多層パーセプトロン(MLP)に基づいて構築されている。
論文 参考訳(メタデータ) (2022-05-26T23:17:53Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳(メタデータ) (2021-10-21T07:28:11Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳(メタデータ) (2021-04-29T14:31:09Z) - Model-Aware Regularization For Learning Approaches To Inverse Problems [11.314492463814817]
本稿では,逆問題に適用可能なディープラーニング手法の一般化誤差の解析を行う。
本稿では、フォワードマップの知識を活用してネットワークの一般化を改善する「プラグ・アンド・プレイ」レギュラーを提案する。
我々は,他の最先端手法に対するモデル認識型ディープラーニングアルゴリズムの有効性を実証する。
論文 参考訳(メタデータ) (2020-06-18T21:59:03Z) - Total Deep Variation: A Stable Regularizer for Inverse Problems [71.90933869570914]
本稿では,データ駆動型汎用全深度変動正規化器について紹介する。
コアでは、畳み込みニューラルネットワークが複数のスケールや連続したブロックで局所的な特徴を抽出する。
我々は多数の画像処理タスクに対して最先端の結果を得る。
論文 参考訳(メタデータ) (2020-06-15T21:54:15Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。