論文の概要: Bridging the Empirical-Theoretical Gap in Neural Network Formal Language
Learning Using Minimum Description Length
- arxiv url: http://arxiv.org/abs/2402.10013v1
- Date: Thu, 15 Feb 2024 15:25:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-16 15:11:52.875262
- Title: Bridging the Empirical-Theoretical Gap in Neural Network Formal Language
Learning Using Minimum Description Length
- Title（参考訳）: 最小記述長を用いたニューラルネットワーク形式言語学習における経験論的ギャップの橋渡し
- Authors: Nur Lan, Emmanuel Chemla, Roni Katzir
- Abstract要約: 理論的に正しい解は、実際には一般的に用いられる目的の最適化ではないことを示す。
我々は1つの単純な形式言語に注目し、理論上正しい解が実際には一般的に使用される目的の最適性ではないことを示す。
- 参考スコア（独自算出の注目度）: 3.2228025627337864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks offer good approximation to many tasks but consistently fail
to reach perfect generalization, even when theoretical work shows that such
perfect solutions can be expressed by certain architectures. Using the task of
formal language learning, we focus on one simple formal language and show that
the theoretically correct solution is in fact not an optimum of commonly used
objectives -- even with regularization techniques that according to common
wisdom should lead to simple weights and good generalization (L1, L2) or other
meta-heuristics (early-stopping, dropout). However, replacing standard targets
with the Minimum Description Length objective (MDL) results in the correct
solution being an optimum.
- Abstract（参考訳）: ニューラルネットワークは多くのタスクに良い近似を与えるが、理論的な研究がそのような完璧な解を特定のアーキテクチャで表現できることを示したとしても、常に完全な一般化に到達できない。
形式的言語学習(formal language learning)のタスクを用いて、理論上正しい解法が、実際には一般的に使用される目的の最適ではないことを示す。一般的な知識に従って、単純な重み付けと優れた一般化(l1,l2)、あるいは他のメタヒューリスティック(早期停止、ドロップアウト)につながるような正規化技術であっても。
しかし、標準目標を最小記述長目標(mdl)に置き換えることで、正しい解が最適となる。
関連論文リスト
- Autoformalization of Game Descriptions using Large Language Models [3.5083201638203154]
ゲーム理論シナリオの自動形式化のためのフレームワークを提案する。
これは、自然言語の記述を形式的解法に適した形式論理表現に変換する。
GPT-4oと自然言語問題記述のデータセットを用いたフレームワークの評価を行った。
論文 参考訳（メタデータ） (2024-09-18T20:18:53Z) - Benchmarking Neural Network Generalization for Grammar Induction [3.2228025627337864]
完全に指定された形式言語に基づくニューラルネットワークの一般化の尺度を提供する。
ベンチマークには、$anbn$, $anbncn$, $anbmcn+m$, Dyck-1, 2などの言語が含まれている。
論文 参考訳（メタデータ） (2023-08-16T09:45:06Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳（メタデータ） (2022-11-26T21:02:09Z) - Scalable PAC-Bayesian Meta-Learning via the PAC-Optimal Hyper-Posterior:
From Theory to Practice [54.03076395748459]
メタラーニング文学の中心的な疑問は、目に見えないタスクへの一般化を保証するために、いかに正規化するかである。
本稿では,Rothfussらによって最初に導かれたメタラーニングの一般化について述べる。
PAC-Bayesian per-task 学習境界におけるメタラーニングの条件と程度について,理論的解析および実証事例研究を行った。
論文 参考訳（メタデータ） (2022-11-14T08:51:04Z) - Understanding Robust Generalization in Learning Regular Languages [85.95124524975202]
我々は、リカレントニューラルネットワークを用いて正規言語を学習する文脈における堅牢な一般化について研究する。
この問題に対処するための構成戦略を提案する。
構成戦略がエンド・ツー・エンド戦略よりもはるかに優れていることを理論的に証明する。
論文 参考訳（メタデータ） (2022-02-20T02:50:09Z) - Learning Proximal Operators to Discover Multiple Optima [66.98045013486794]
非家族問題における近位演算子を学習するためのエンドツーエンド手法を提案する。
本手法は,弱い目的と穏やかな条件下では,世界規模で収束することを示す。
論文 参考訳（メタデータ） (2022-01-28T05:53:28Z) - Meta-Learning with Neural Tangent Kernels [58.06951624702086]
メタモデルのニューラルタンジェントカーネル(NTK)によって誘導される再生カーネルヒルベルト空間(RKHS)における最初のメタラーニングパラダイムを提案する。
このパラダイムでは,MAMLフレームワークのように,最適な反復内ループ適応を必要としない2つのメタ学習アルゴリズムを導入する。
本研究の目的は,1) 適応をRKHSの高速適応正則化器に置き換えること,2) NTK理論に基づいて解析的に適応を解くことである。
論文 参考訳（メタデータ） (2021-02-07T20:53:23Z) - On the Global Optimality of Model-Agnostic Meta-Learning [133.16370011229776]
モデル・ア・メタラーニング(MAML)は、メタラーニングを二段階最適化問題として定式化し、内部レベルが各サブタスクを、共有された事前に基づいて解決する。
学習と教師あり学習の両方においてMAMLが達成した定常点の最適性を特徴付ける。
論文 参考訳（メタデータ） (2020-06-23T17:33:14Z) - Parallel processor scheduling: formulation as multi-objective linguistic
optimization and solution using Perceptual Reasoning based methodology [13.548237279353408]
スケジューリングポリシの目的は、生産時間やコストなど、目標の最適な値を達成することです。
専門家は一般的に、言語用語や言葉の様々なスケジューリング基準(スケジューリングポリシーを含む)について意見を提供する。
また,PR法と2-tuple法との比較を行った。
論文 参考訳（メタデータ） (2020-04-30T17:04:49Z) - Local Nonparametric Meta-Learning [28.563015766188478]
メタ学習の主目的は、一連のタスクにまたがる迅速な適応を可能にする学習ルールを見つけることである。
グローバルな、固定サイズの表現は、ある種類のアウト・オブ・ディストリビューションタスクに直面すると、しばしば失敗する。
本稿では,メタ学習ルールを利用した非パラメトリックなメタ学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-02-09T03:28:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。