論文の概要: An information-matching approach to optimal experimental design and active learning
- arxiv url: http://arxiv.org/abs/2411.02740v1
- Date: Tue, 05 Nov 2024 02:16:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-06 14:55:01.987382
- Title: An information-matching approach to optimal experimental design and active learning
- Title（参考訳）: 最適実験設計とアクティブラーニングのための情報マッチング手法
- Authors: Yonatan Kurniawan, Tracianne B. Neilsen, Benjamin L. Francis, Alex M. Stankovic, Mingjian Wen, Ilia Nikiforov, Ellad B. Tadmor, Vasily V. Bulatov, Vincenzo Lordi, Mark K. Transtrum,
- Abstract要約: 候補プールから最も情報に富むトレーニングデータを選択するために,フィッシャー情報行列に基づく情報マッチング基準を導入する。
本稿では,電力系統や水中音響など,様々な科学分野におけるモデリング問題に対するこのアプローチの有効性を実証する。
- 参考スコア（独自算出の注目度）: 0.9362620873652918
- License:
- Abstract: The efficacy of mathematical models heavily depends on the quality of the training data, yet collecting sufficient data is often expensive and challenging. Many modeling applications require inferring parameters only as a means to predict other quantities of interest (QoI). Because models often contain many unidentifiable (sloppy) parameters, QoIs often depend on a relatively small number of parameter combinations. Therefore, we introduce an information-matching criterion based on the Fisher Information Matrix to select the most informative training data from a candidate pool. This method ensures that the selected data contain sufficient information to learn only those parameters that are needed to constrain downstream QoIs. It is formulated as a convex optimization problem, making it scalable to large models and datasets. We demonstrate the effectiveness of this approach across various modeling problems in diverse scientific fields, including power systems and underwater acoustics. Finally, we use information-matching as a query function within an Active Learning loop for material science applications. In all these applications, we find that a relatively small set of optimal training data can provide the necessary information for achieving precise predictions. These results are encouraging for diverse future applications, particularly active learning in large machine learning models.
- Abstract（参考訳）: 数学モデルの有効性は、トレーニングデータの質に大きく依存するが、十分なデータを集めることは、しばしば高価で困難である。
多くのモデリングアプリケーションは、他の量の関心(QoI)を予測する手段としてのみパラメーターを推論する必要がある。
モデルは多くの未同定(スロッピー)パラメータを含むことが多いため、QoIは比較的少数のパラメータの組み合わせに依存することが多い。
そこで本研究では,Fisher Information Matrixに基づく情報マッチング基準を導入し,候補プールから最も情報性の高いトレーニングデータを選択する。
この方法では、選択したデータに、下流のQoIを制約するために必要なパラメータのみを学習するための十分な情報が含まれていることが保証される。
凸最適化問題として定式化されており、大きなモデルやデータセットにスケーラブルである。
本稿では,電力系統や水中音響など,様々な科学分野におけるモデリング問題に対するこのアプローチの有効性を実証する。
最後に,情報マッチングを物質科学応用のためのアクティブラーニングループ内のクエリ関数として利用する。
これらすべてのアプリケーションにおいて、比較的小さな最適なトレーニングデータセットが、正確な予測を達成するために必要な情報を提供できることがわかった。
これらの結果は、様々な将来の応用、特に大規模機械学習モデルにおけるアクティブラーニングを奨励している。
関連論文リスト
- Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。
LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。
総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
論文 参考訳（メタデータ） (2024-11-12T18:57:59Z) - regAL: Python Package for Active Learning of Regression Problems [0.0]
PythonパッケージregALでは、レグレッション問題に対するさまざまなアクティブな学習戦略を評価することができる。
我々は,レグレッション問題に対する様々なアクティブ学習戦略を評価することができるPythonパッケージregALを提案する。
論文 参考訳（メタデータ） (2024-10-23T14:34:36Z) - LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。
LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。
我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
論文 参考訳（メタデータ） (2024-02-06T19:18:04Z) - Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
論文 参考訳（メタデータ） (2023-11-29T05:33:28Z) - On Inductive Biases for Machine Learning in Data Constrained Settings [0.0]
この論文は、データ制約された設定で表現力のあるモデルを学ぶという問題に対する異なる答えを探求する。
ニューラルネットワークを学ぶために、大きなデータセットに頼るのではなく、データ構造を反映した既知の関数によって、いくつかのモジュールを置き換えるつもりです。
我々のアプローチは「帰納的バイアス」のフードの下に置かれており、これは探索するモデルの空間を制限する手元にあるデータの仮説として定義することができる。
論文 参考訳（メタデータ） (2023-02-21T14:22:01Z) - Frugal Reinforcement-based Active Learning [12.18340575383456]
本稿では,ラベル効率向上のための新しい能動的学習手法を提案する。
提案手法は反復的であり,多様性,表現性,不確実性の基準を混合した制約対象関数の最小化を目的としている。
また、強化学習に基づく新たな重み付け機構を導入し、各トレーニングイテレーションでこれらの基準を適応的にバランスさせる。
論文 参考訳（メタデータ） (2022-12-09T14:17:45Z) - A Survey of Learning on Small Data: Generalization, Optimization, and
Challenge [101.27154181792567]
ビッグデータの一般化能力を近似した小さなデータについて学ぶことは、AIの究極の目的の1つである。
この調査はPACフレームワークの下でのアクティブサンプリング理論に従い、小さなデータにおける学習の一般化誤差とラベルの複雑さを分析した。
効率的な小さなデータ表現の恩恵を受けるかもしれない複数のデータアプリケーションについて調査する。
論文 参考訳（メタデータ） (2022-07-29T02:34:19Z) - Practical Active Learning with Model Selection for Small Data [13.128648437690224]
モデル選択を用いた実践的能動的学習のための簡易かつ高速な手法を開発した。
本手法は,ラジアル基底関数カーネルを用いたサポートベクトル分類を用いて,二元分類のためのプールベースアクティブラーナに基づく。
論文 参考訳（メタデータ） (2021-12-21T23:11:27Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳（メタデータ） (2021-07-07T11:17:09Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z) - Active Importance Sampling for Variational Objectives Dominated by Rare
Events: Consequences for Optimization and Generalization [12.617078020344618]
本稿では,レアイベントサンプリング手法とニューラルネットワーク最適化を組み合わせて,レアイベントに支配される目的関数を最適化する手法を提案する。
重要度サンプリングは学習問題に対する解の分散を減少させ,一般化の利点を示唆することを示す。
数値実験により,高次元データと希少データの複合化が困難である場合でも,学習を成功させることができた。
論文 参考訳（メタデータ） (2020-08-11T23:38:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。