論文の概要: Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization

• arxiv url: http://arxiv.org/abs/2205.02640v1
• Date: Thu, 5 May 2022 13:40:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-06 16:00:36.850923
• Title: Model-Based Deep Learning: On the Intersection of Deep Learning and Optimization
• Title（参考訳）: モデルベースディープラーニング: ディープラーニングと最適化の交点について
• Authors: Nir Shlezinger, Yonina C. Eldar, and Stephen P. Boyd
• Abstract要約: 決定アルゴリズムは様々なアプリケーションで使われている。 数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。 モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
• 参考スコア（独自算出の注目度）: 101.32332941117271
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Decision making algorithms are used in a multitude of different applications. Conventional approaches for designing decision algorithms employ principled and simplified modelling, based on which one can determine decisions via tractable optimization. More recently, deep learning approaches that use highly parametric architectures tuned from data without relying on mathematical models, are becoming increasingly popular. Model-based optimization and data-centric deep learning are often considered to be distinct disciplines. Here, we characterize them as edges of a continuous spectrum varying in specificity and parameterization, and provide a tutorial-style presentation to the methodologies lying in the middle ground of this spectrum, referred to as model-based deep learning. We accompany our presentation with running examples in super-resolution and stochastic control, and show how they are expressed using the provided characterization and specialized in each of the detailed methodologies. The gains of combining model-based optimization and deep learning are demonstrated using experimental results in various applications, ranging from biomedical imaging to digital communications.
• Abstract（参考訳）: 意思決定アルゴリズムは、さまざまなアプリケーションで使われている。 決定アルゴリズムを設計する従来のアプローチでは、従順な最適化によって決定を決定できる原則と単純化されたモデリングを採用している。 近年,数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを用いたディープラーニングアプローチが普及している。 モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。 本稿では,特定性とパラメータ化の異なる連続スペクトルのエッジとして特徴付け,モデルベース深層学習と呼ばれる,このスペクトルの中間層に位置する方法論をチュートリアル形式で提示する。 超解像および確率制御における実例の紹介に随伴して,提案した特徴量を用いて表現し,それぞれの詳細な方法論に特化していることを示す。 モデルに基づく最適化とディープラーニングを組み合わせることで、生体画像からデジタルコミュニケーションまで様々な応用における実験結果が得られた。

関連論文リスト

• Applied Federated Model Personalisation in the Industrial Domain: A Comparative Study [5.999474111757664]
  この課題に取り組むための3つの戦略は、アクティブラーニング、知識蒸留、局所記憶である。 本研究は,これら3つのアプローチの基本原理を考察し,先進的なフェデレートラーニングシステムを提案する。 元のモデルと最適化されたモデルの結果は、比較分析を用いて局所的およびフェデレーションされた文脈で比較される。
  論文  参考訳（メタデータ） (2024-09-10T23:00:19Z)
• Supervised Fine-Tuning as Inverse Reinforcement Learning [8.044033685073003]
  LLM(Large Language Models)の整合性に対する一般的なアプローチは、一般的に人間やAIのフィードバックに依存します。 本研究では,このようなデータセットの有効性に疑問を呈し,専門家による実演との整合性がより現実的であることを証明した様々なシナリオを探索する。
  論文  参考訳（メタデータ） (2024-03-18T17:52:57Z)
• Simulation-Based Prior Knowledge Elicitation for Parametric Bayesian Models [2.9172603864294024]
  我々は、ドメインエキスパートの知識をモデルパラメータ上の対応する事前分布に変換することに注力する。 既存の適用方法における大きな課題は、モデル構造に関係なく、専門家の期待に沿う事前分布を定式化するために、これらの異なるフォーマットを効果的に活用する方法である。 本研究は,本手法が基礎となるモデル構造に大きく依存し,量子化法,モーメント法,ヒストグラム法など,様々な手法に適応可能であるという主張を裏付けるものである。
  論文  参考訳（メタデータ） (2023-08-22T10:43:05Z)
• MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning [53.90744622542961]
  数学領域における推論は、小言語モデル(LM)にとって重要な課題である。 多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。 実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-16T05:41:53Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• Planning with Diffusion for Flexible Behavior Synthesis [125.24438991142573]
  我々は、できるだけ多くの軌道最適化パイプラインをモデリング問題に折り畳むことがどう見えるか検討する。 我々の技術的アプローチの核心は、軌道を反復的にデノベーションすることで計画する拡散確率モデルにある。
  論文  参考訳（メタデータ） (2022-05-20T07:02:03Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)
• Trajectory-wise Multiple Choice Learning for Dynamics Generalization in Reinforcement Learning [137.39196753245105]
  本稿では,動的一般化のためのマルチヘッドダイナミックスモデルを学習するモデルベース強化学習アルゴリズムを提案する。 文脈学習は,過去の経験から得られる動的情報からコンテキスト潜在ベクトルにエンコードする。 提案手法は,最先端のRL法と比較して,様々な制御タスクにおいて優れたゼロショット一般化性能を示す。
  論文  参考訳（メタデータ） (2020-10-26T03:20:42Z)
• Experimental Design for Overparameterized Learning with Application to Single Shot Deep Active Learning [5.141687309207561]
  現代の機械学習モデルは、大量のラベル付きデータに基づいて訓練されている。 大量のラベル付きデータへのアクセスは、しばしば制限またはコストがかかる。 トレーニングセットをキュレートするための新しい設計戦略を提案する。
  論文  参考訳（メタデータ） (2020-09-27T11:27:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。