論文の概要: Injective Domain Knowledge in Neural Networks for Transprecision
Computing
- arxiv url: http://arxiv.org/abs/2002.10214v1
- Date: Mon, 24 Feb 2020 12:58:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-29 02:34:30.492759
- Title: Injective Domain Knowledge in Neural Networks for Transprecision
Computing
- Title(参考訳): 翻訳計算のためのニューラルネットワークにおけるインジェクティブドメイン知識
- Authors: Andrea Borghesi, Federico Baldo, Michele Lombardi, Michela Milano
- Abstract要約: 本稿では,非自明な学習課題を扱う際に,事前知識を統合することで得られる改善について検討する。
その結果,問題固有情報を利用したMLモデルは純粋にデータ駆動のモデルよりも優れており,平均精度は約38%向上していることがわかった。
- 参考スコア(独自算出の注目度): 17.300144121921882
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Machine Learning (ML) models are very effective in many learning tasks, due
to the capability to extract meaningful information from large data sets.
Nevertheless, there are learning problems that cannot be easily solved relying
on pure data, e.g. scarce data or very complex functions to be approximated.
Fortunately, in many contexts domain knowledge is explicitly available and can
be used to train better ML models. This paper studies the improvements that can
be obtained by integrating prior knowledge when dealing with a non-trivial
learning task, namely precision tuning of transprecision computing
applications. The domain information is injected in the ML models in different
ways: I) additional features, II) ad-hoc graph-based network topology, III)
regularization schemes. The results clearly show that ML models exploiting
problem-specific information outperform the purely data-driven ones, with an
average accuracy improvement around 38%.
- Abstract(参考訳): 機械学習(ml)モデルは、大きなデータセットから意味のある情報を抽出する能力があるため、多くの学習タスクで非常に効果的です。
それでも、純粋なデータ(例えば、不足データや近似される非常に複雑な関数など)に頼って簡単には解けない学習問題が存在する。
幸いなことに、多くのコンテキストにおいて、ドメイン知識は明示的に利用可能であり、より良いMLモデルのトレーニングに使用できる。
本稿では,非自明な学習タスク,すなわち超精密計算アプリケーションの精密チューニングを扱う際に,事前知識を統合することで得られる改善について述べる。
ドメイン情報はMLモデルに異なる方法で注入される: I)追加機能, II)アドホックグラフベースのネットワークトポロジー, III)正規化スキーム。
その結果,問題固有情報を利用したMLモデルは純粋にデータ駆動モデルよりも優れており,平均精度は38%向上した。
関連論文リスト
- Learn to Unlearn for Deep Neural Networks: Minimizing Unlearning
Interference with Gradient Projection [56.292071534857946]
最近のデータプライバシ法は、機械学習への関心を喚起している。
課題は、残りのデータセットに関する知識を変更することなく、忘れたデータに関する情報を捨てることである。
我々は、プロジェクテッド・グラディエント・アンラーニング(PGU)という、プロジェクテッド・グラディエント・ベースの学習手法を採用する。
トレーニングデータセットがもはやアクセスできない場合でも、スクラッチからスクラッチで再トレーニングされたモデルと同じような振る舞いをするモデルを、我々のアンラーニング手法が生成できることを実証するための実証的な証拠を提供する。
論文 参考訳(メタデータ) (2023-12-07T07:17:24Z) - Zero-knowledge Proof Meets Machine Learning in Verifiability: A Survey [19.70499936572449]
高品質なモデルは、効率的な最適化アルゴリズムだけでなく、膨大なデータと計算能力に基づいて構築されたトレーニングと学習プロセスにも依存する。
計算リソースの制限やデータプライバシの懸念など,さまざまな課題があるため,モデルを必要とするユーザは,マシンラーニングモデルをローカルにトレーニングすることはできないことが多い。
本稿では,ゼロ知識証明に基づく検証可能な機械学習(ZKP-VML)技術について包括的に調査する。
論文 参考訳(メタデータ) (2023-10-23T12:15:23Z) - Learning to Optimize Permutation Flow Shop Scheduling via Graph-based
Imitation Learning [70.65666982566655]
置換フローショップスケジューリング(PFSS)は製造業で広く使われている。
我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。
我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
論文 参考訳(メタデータ) (2022-10-31T09:46:26Z) - Inducing Gaussian Process Networks [80.40892394020797]
本稿では,特徴空間と誘導点を同時に学習するシンプルなフレームワークであるGaussian Process Network (IGN)を提案する。
特に誘導点は特徴空間で直接学習され、複雑な構造化領域のシームレスな表現を可能にする。
実世界のデータセットに対する実験結果から,IGNは最先端の手法よりも大幅に進歩していることを示す。
論文 参考訳(メタデータ) (2022-04-21T05:27:09Z) - Leveraging Intrinsic Gradient Information for Machine Learning Model
Training [4.682734815593623]
入力に対する対象変数の微分を利用して、微分可能な機械学習モデルの精度を向上させることができる。
1)線形回帰モデルとフィードフォワードニューラルネットワーク(NN)の予測精度の向上,(2)勾配情報と非勾配情報との差を利用してNNの複雑さを調整すること,(4)勾配情報を用いて生成画像モデルを改善すること。
論文 参考訳(メタデータ) (2021-11-30T20:50:45Z) - Complementary Ensemble Learning [1.90365714903665]
我々は最先端のディープラーニングモデルの性能向上手法を考案した。
具体的には、最先端モデルの不確実性を補完できる補助モデルを訓練する。
論文 参考訳(メタデータ) (2021-11-09T03:23:05Z) - Learnability of Learning Performance and Its Application to Data
Valuation [11.78594243870616]
ほとんどの機械学習(ML)タスクでは、与えられたデータセットで学習パフォーマンスを評価するには、集中的な計算が必要である。
学習性能を効率的に推定する能力は、アクティブラーニング、データ品質管理、データバリュエーションといった幅広いアプリケーションに恩恵をもたらす可能性がある。
最近の実証研究では、多くの一般的なMLモデルに対して、少量のサンプルを用いて任意の入力データセットの学習性能を予測するパラメトリックモデルを正確に学習できることが示されている。
論文 参考訳(メタデータ) (2021-07-13T18:56:04Z) - Certifiable Machine Unlearning for Linear Models [1.484852576248587]
機械学習は、トレーニングされたトレーニングデータのサブセットが削除された後、機械学習(ML)モデルを更新するタスクである。
本稿では,線形モデルに対する3つの非学習手法について実験的に検討する。
論文 参考訳(メタデータ) (2021-06-29T05:05:58Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳(メタデータ) (2021-04-11T12:14:04Z) - A Survey on Large-scale Machine Learning [67.6997613600942]
機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。
ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。
大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
論文 参考訳(メタデータ) (2020-08-10T06:07:52Z) - Transfer Learning without Knowing: Reprogramming Black-box Machine
Learning Models with Scarce Data and Limited Resources [78.72922528736011]
そこで我々は,ブラックボックス・アタベラル・リプログラミング (BAR) という新しい手法を提案する。
ゼロオーダー最適化とマルチラベルマッピング技術を用いて、BARは入力出力応答のみに基づいてブラックボックスMLモデルをプログラムする。
BARは最先端の手法より優れ、バニラ対逆プログラミング法に匹敵する性能を得る。
論文 参考訳(メタデータ) (2020-07-17T01:52:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。