論文の概要: A Bayesian approach to multi-task learning with network lasso
- arxiv url: http://arxiv.org/abs/2110.09040v1
- Date: Mon, 18 Oct 2021 06:25:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 15:37:39.624853
- Title: A Bayesian approach to multi-task learning with network lasso
- Title(参考訳): ネットワークラッソを用いたマルチタスク学習へのベイズ的アプローチ
- Authors: Kaito Shimamura, Shuichi Kawano
- Abstract要約: ネットワークラッソによるマルチタスク学習問題を解決するためのベイズ的手法を提案する。
提案手法の有効性をシミュレーションと実データ解析で示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Network lasso is a method for solving a multi-task learning problem through
the regularized maximum likelihood method. A characteristic of network lasso is
setting a different model for each sample. The relationships among the models
are represented by relational coefficients. A crucial issue in network lasso is
to provide appropriate values for these relational coefficients. In this paper,
we propose a Bayesian approach to solve multi-task learning problems by network
lasso. This approach allows us to objectively determine the relational
coefficients by Bayesian estimation. The effectiveness of the proposed method
is shown in a simulation study and a real data analysis.
- Abstract(参考訳): ネットワークラッソ(Network lasso)は、正規化最大度法を用いてマルチタスク学習問題を解決する方法である。
ネットワークラッソの特徴は、サンプル毎に異なるモデルを設定することである。
モデル間の関係は関係係数によって表される。
ネットワークラッソにおける重要な問題は、これらの関係係数に対して適切な値を提供することである。
本稿では,ネットワークラッソによるマルチタスク学習問題を解決するベイズ手法を提案する。
このアプローチにより、ベイズ推定により関係係数を客観的に決定できる。
本手法の有効性はシミュレーション研究と実データ解析で示される。
関連論文リスト
- MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
モデルマージは、同じトレーニング済みモデルから細調整された複数のシングルタスクモデルをマルチタスクモデルに結合する効果的なアプローチである。
既存のモデルマージ手法は、平均的なタスク精度の向上に重点を置いている。
Amortized Pareto Front (MAP) を用いた新しい低計算アルゴリズム Model Merging を導入する。
論文 参考訳(メタデータ) (2024-06-11T17:55:25Z) - Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。
我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。
重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文 参考訳(メタデータ) (2023-10-06T16:36:08Z) - Online Learning of Network Bottlenecks via Minimax Paths [6.316693022958221]
ミニマックス経路の抽出によるネットワークのボトルネック同定について検討する。
次に、元の目的を近似した代替問題定式化を考案する。
実世界の有向・無向ネットワーク上での近似定式化によりトンプソンサンプリングの性能を実験的に評価した。
論文 参考訳(メタデータ) (2021-09-17T11:11:50Z) - Probabilistic task modelling for meta-learning [44.072592379328036]
本稿ではメタラーニングに使用されるタスクの集合に対する生成確率モデルを提案する。
提案モデルは変分オートエンコーディングと潜時ディリクレアロケーションを組み合わせて,各タスクを埋め込み空間におけるガウス分布の混合としてモデル化する。
論文 参考訳(メタデータ) (2021-06-09T04:34:12Z) - Network Estimation by Mixing: Adaptivity and More [2.3478438171452014]
我々は、利用可能な任意のモデルを利用して、個々のパフォーマンスを改善する混合戦略を提案する。
提案手法は計算効率が高く,チューニングがほとんどない。
提案手法は,真のモデルが個々の候補に含まれる場合のオラクル推定と同等に動作することを示す。
論文 参考訳(メタデータ) (2021-06-05T05:17:04Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳(メタデータ) (2020-06-12T12:23:50Z) - Simultaneous Perturbation Stochastic Approximation for Few-Shot Learning [0.5801044612920815]
本稿では, プロトタイプ型ネットワーク手法に基づく, プロトタイプライクな少数ショット学習手法を提案する。
ベンチマークデータセットを用いた実験の結果,提案手法は元のネットワークよりも優れていることが示された。
論文 参考訳(メタデータ) (2020-06-09T09:47:58Z) - Continual Learning using a Bayesian Nonparametric Dictionary of Weight
Factors [75.58555462743585]
訓練されたニューラルネットワークは、シーケンシャルなタスク設定で破滅的な忘れを経験する傾向がある。
Indian Buffet Process (IBP) に基づく原則的非パラメトリック手法を提案する。
連続学習ベンチマークにおける本手法の有効性を実証し、トレーニングを通して重み要因の配分と再利用方法を分析する。
論文 参考訳(メタデータ) (2020-04-21T15:20:19Z) - Deep Unfolding Network for Image Super-Resolution [159.50726840791697]
本稿では,学習に基づく手法とモデルに基づく手法の両方を活用する,エンドツーエンドのトレーニング可能なアンフォールディングネットワークを提案する。
提案するネットワークは, モデルベース手法の柔軟性を継承し, 一つのモデルを用いて, 異なるスケール要因に対する, 曖昧でノイズの多い画像の超解像化を行う。
論文 参考訳(メタデータ) (2020-03-23T17:55:42Z) - Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。
このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる
このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
論文 参考訳(メタデータ) (2020-03-13T13:11:35Z) - A Tutorial on Learning With Bayesian Networks [8.98526174345299]
ベイズネットワークは、興味のある変数間の確率的関係を符号化するグラフィカルモデルである。
ベイズネットワークは因果関係の学習に利用できる。
また、問題領域の理解を得、介入の結果を予測するためにも使用できる。
論文 参考訳(メタデータ) (2020-02-01T20:03:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。