論文の概要: ExPT: Synthetic Pretraining for Few-Shot Experimental Design
- arxiv url: http://arxiv.org/abs/2310.19961v1
- Date: Mon, 30 Oct 2023 19:25:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-01 17:49:50.769021
- Title: ExPT: Synthetic Pretraining for Few-Shot Experimental Design
- Title（参考訳）: ExPT:Few-Shot実験設計のための合成プレトレーニング
- Authors: Tung Nguyen, Sudhanshu Agrawal, Aditya Grover
- Abstract要約: 実験事前変換器(Experiment Pretrained Transformers、ExPT)は、数発の実験設計の基礎モデルである。
ExPTは、合成事前学習と文脈内学習を組み合わせた新しい組み合わせを採用している。
挑戦領域における数ショットの実験設計におけるExPTの評価を行った。
- 参考スコア（独自算出の注目度）: 33.5918976228562
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Experimental design is a fundamental problem in many science and engineering
fields. In this problem, sample efficiency is crucial due to the time, money,
and safety costs of real-world design evaluations. Existing approaches either
rely on active data collection or access to large, labeled datasets of past
experiments, making them impractical in many real-world scenarios. In this
work, we address the more challenging yet realistic setting of few-shot
experimental design, where only a few labeled data points of input designs and
their corresponding values are available. We approach this problem as a
conditional generation task, where a model conditions on a few labeled examples
and the desired output to generate an optimal input design. To this end, we
introduce Experiment Pretrained Transformers (ExPT), a foundation model for
few-shot experimental design that employs a novel combination of synthetic
pretraining with in-context learning. In ExPT, we only assume knowledge of a
finite collection of unlabelled data points from the input domain and pretrain
a transformer neural network to optimize diverse synthetic functions defined
over this domain. Unsupervised pretraining allows ExPT to adapt to any design
task at test time in an in-context fashion by conditioning on a few labeled
data points from the target task and generating the candidate optima. We
evaluate ExPT on few-shot experimental design in challenging domains and
demonstrate its superior generality and performance compared to existing
methods. The source code is available at https://github.com/tung-nd/ExPT.git.
- Abstract（参考訳）: 実験設計は多くの科学・工学分野において根本的な問題である。
この問題では,実世界の設計評価の時間,お金,安全コストなどによりサンプル効率が重要となる。
既存のアプローチでは、アクティブなデータ収集や過去の実験のラベル付き大規模データセットへのアクセスに依存しているため、現実のシナリオでは実用的ではない。
本研究では,入力設計のラベル付きデータポイントとそれに対応する値のみを使用可能な,より困難かつ現実的な数ショット実験設計の課題に対処する。
本稿では,いくつかのラベル付き例と所望の出力のモデル条件が最適入力設計を生成する条件生成タスクとしてこの問題にアプローチする。
そこで本研究では,合成前訓練とインコンテクスト学習を組み合わせた新しい実験モデルであるexperiment pretrained transformers (expt)を提案する。
ExPTでは、入力領域から有限個の非競合データ点の集まりを仮定し、この領域上で定義された多様な合成関数を最適化するためにトランスフォーマーニューラルネットワークを事前訓練する。
unsupervised pretrainingは、対象タスクからいくつかのラベル付きデータポイントを条件付けし、候補オプティマを生成することで、exptがテスト時に任意の設計タスクにインコンテキストで適応できる。
課題領域における数発実験設計のexptを評価し,その優れた汎用性と性能を示す。
ソースコードはhttps://github.com/tung-nd/ExPT.gitで入手できる。
関連論文リスト
- AExGym: Benchmarks and Environments for Adaptive Experimentation [7.948144726705323]
実世界のデータセットに基づく適応実験のためのベンチマークを提案する。
非定常性、バッチ/遅延フィードバック、複数の成果と目標、外部の妥当性。
論文 参考訳（メタデータ） (2024-08-08T15:32:12Z) - Adaptive Experimentation When You Can't Experiment [55.86593195947978]
本稿では,Emphcon founded the pure exploration transductive linear bandit (textttCPET-LB) problem。
オンラインサービスは、ユーザーを特定の治療にインセンティブを与える、適切にランダム化された励ましを利用することができる。
論文 参考訳（メタデータ） (2024-06-15T20:54:48Z) - Implicitly Guided Design with PropEn: Match your Data to Follow the Gradient [52.2669490431145]
PropEnは'matching'にインスパイアされている。
一致したデータセットによるトレーニングは、データ分布内に留まりながら、興味のある性質の勾配を近似することを示す。
論文 参考訳（メタデータ） (2024-05-28T11:30:19Z) - An Experimental Design Framework for Label-Efficient Supervised Finetuning of Large Language Models [55.01592097059969]
命令データセットの監視された微調整は、目覚ましいゼロショットの一般化能力を達成する上で重要な役割を担っている。
アクティブラーニングは、未ラベルのプールからアノテートするサンプルの有用なサブセットを特定するのに効果的である。
本研究では,能動学習の計算ボトルネックを回避するための実験設計を提案する。
論文 参考訳（メタデータ） (2024-01-12T16:56:54Z) - Task-specific experimental design for treatment effect estimation [59.879567967089145]
因果推論の標準は大規模ランダム化試験(RCT)である。
近年の研究では、RCTのよりサンプル効率の良い代替案が提案されているが、これらは因果効果を求める下流の応用には適用できない。
実験的な設計のためのタスク固有のアプローチを開発し、特定の下流アプリケーションにカスタマイズされたサンプリング戦略を導出する。
論文 参考訳（メタデータ） (2023-06-08T18:10:37Z) - Towards Efficient Fine-tuning of Pre-trained Code Models: An
Experimental Study and Beyond [52.656743602538825]
微調整された事前訓練されたコードモデルは、大きな計算コストを発生させる。
我々は、レイヤーワイドで事前訓練された表現と、微調整中に符号化されたコード知識に何が起こるのかを実験的に検討する。
本稿では,レイヤ凍結により事前学習したコードモデルを効率的に微調整するTellyを提案する。
論文 参考訳（メタデータ） (2023-04-11T13:34:13Z) - Meta Input: How to Leverage Off-the-Shelf Deep Neural Networks [29.975937981538664]
我々は、エンドユーザーがモデルを変更することなく、独自のテスト環境で事前訓練されたDNNモデルを活用できる新しいアプローチを導入する。
テストデータの分布をトレーニングデータと整合させる追加入力であるtextitmeta 入力を提案する。
その結果、エンドユーザは、トレーニング環境と異なるテスト環境で、よく訓練されたモデルを利用することができる。
論文 参考訳（メタデータ） (2022-10-21T02:11:38Z) - Domain Adaptation with Pre-trained Transformers for Query Focused
Abstractive Text Summarization [18.791701342934605]
Query Focused Text Summarization (QFTS)タスクは、与えられたクエリに基づいてテキストドキュメントの要約を生成するシステムを構築することを目的としている。
この課題に対処する上で重要な課題は、要約モデルをトレーニングするための大きなラベル付きデータの欠如である。
本稿では,一連のドメイン適応手法を探求することによって,この問題に対処する。
論文 参考訳（メタデータ） (2021-12-22T05:34:56Z) - Reinforcement Learning based Sequential Batch-sampling for Bayesian
Optimal Experimental Design [1.6249267147413522]
実験の逐次設計(SDOE)は,近年,有望な結果をもたらす手法として人気がある。
本研究では、SDOE戦略を拡張し、実験やコンピュータコードに一連の入力で問い合わせる。
提案手法のユニークな機能は、複数のタスクに適用できる能力である。
論文 参考訳（メタデータ） (2021-12-21T02:25:23Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。