論文の概要: Towards Automated Machine Learning Research
- arxiv url: http://arxiv.org/abs/2409.05258v1
- Date: Mon, 9 Sep 2024 00:47:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-10 16:22:22.947552
- Title: Towards Automated Machine Learning Research
- Title(参考訳): 機械学習研究の自動化に向けて
- Authors: Shervin Ardeshir,
- Abstract要約: 本稿では、コンポーネントレベルのイノベーションを通じて、機械学習研究における漸進的な進歩を自動化するためのトップダウンアプローチについて検討する。
本フレームワークは,新しいコンポーネントを体系的に生成し,その実現可能性を評価し,既存のベースラインに対して性能を評価する。
予測仮説の優先順位付けに報奨モデルを導入することにより,仮説生成および評価プロセスの効率化を目指す。
- 参考スコア(独自算出の注目度): 4.169915659794567
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper explores a top-down approach to automating incremental advances in machine learning research through component-level innovation, facilitated by Large Language Models (LLMs). Our framework systematically generates novel components, validates their feasibility, and evaluates their performance against existing baselines. A key distinction of this approach lies in how these novel components are generated. Unlike traditional AutoML and NAS methods, which often rely on a bottom-up combinatorial search over predefined, hardcoded base components, our method leverages the cross-domain knowledge embedded in LLMs to propose new components that may not be confined to any hard-coded predefined set. By incorporating a reward model to prioritize promising hypotheses, we aim to improve the efficiency of the hypothesis generation and evaluation process. We hope this approach offers a new avenue for exploration and contributes to the ongoing dialogue in the field.
- Abstract(参考訳): 本稿では,大規模言語モデル(LLM)によって促進されるコンポーネントレベルの革新を通じて,機械学習研究の段階的な進歩を自動化するためのトップダウンアプローチについて検討する。
本フレームワークは,新しいコンポーネントを体系的に生成し,その実現可能性を評価し,既存のベースラインに対して性能を評価する。
このアプローチの重要な違いは、これらの新しいコンポーネントの生成方法にある。
従来のAutoMLやNASメソッドと異なり、事前に定義されたハードコードされたベースコンポーネントよりもボトムアップの組合せ探索に頼っている場合が多いが、この手法はLLMに埋め込まれたクロスドメイン知識を活用して、ハードコードされた事前定義セットに制限されないかもしれない新しいコンポーネントを提案する。
予測仮説の優先順位付けに報奨モデルを導入することにより,仮説生成および評価プロセスの効率化を目指す。
このアプローチが新たな探索道を提供し、この分野における対話に貢献することを願っている。
関連論文リスト
- Benchmarks as Microscopes: A Call for Model Metrology [76.64402390208576]
現代の言語モデル(LM)は、能力評価において新たな課題を提起する。
メトリクスに自信を持つためには、モデルミアロジの新たな規律が必要です。
論文 参考訳(メタデータ) (2024-07-22T17:52:12Z) - Retrieval-Enhanced Machine Learning: Synthesis and Opportunities [60.34182805429511]
検索エンハンスメントは機械学習(ML)の幅広い範囲に拡張できる
この研究は、MLの様々な領域の文献を、現在の文献から欠落している一貫した表記で合成することで、このパラダイムの正式なフレームワークであるRetrieval-Enhanced Machine Learning (REML)を導入する。
本研究の目的は、様々な分野の研究者に対して、検索強化モデルの包括的、正式に構造化された枠組みを付与し、学際的な将来の研究を促進することである。
論文 参考訳(メタデータ) (2024-07-17T20:01:21Z) - Benchmarking Uncertainty Quantification Methods for Large Language Models with LM-Polygraph [85.51252685938564]
不確実性定量化(UQ)は、機械学習(ML)に依存するアプリケーションの重要なコンポーネントとして、ますます認識されつつある。
他のMLモデルと同様に、大きな言語モデル(LLM)は、クレームを作成することによって誤った予測をする傾向があり、あるいは与えられた入力に対して単に低品質の出力を生成する。
本稿では,最先端のUQベースラインの集合を実装した新しいベンチマークを提案し,新しいテクニックを制御可能かつ一貫した評価を行う環境を提供する。
論文 参考訳(メタデータ) (2024-06-21T20:06:31Z) - Simple Techniques for Enhancing Sentence Embeddings in Generative Language Models [3.0566617373924325]
文の埋め込みは自然言語処理の領域における基本的なタスクであり、検索エンジン、エキスパートシステム、質問・回答プラットフォームで広範囲に応用されている。
LLaMAやMistralのような大規模言語モデルの継続的な進化により、文の埋め込みに関する研究は近年顕著なブレークスルーを達成している。
PLMの生埋め込みの表現力をさらに向上する2つの革新的急進的技術技術を提案する。
論文 参考訳(メタデータ) (2024-04-05T07:07:15Z) - A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳(メタデータ) (2024-03-20T02:21:44Z) - LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。
本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。
このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
論文 参考訳(メタデータ) (2024-02-26T07:33:05Z) - Two-Stage Surrogate Modeling for Data-Driven Design Optimization with
Application to Composite Microstructure Generation [1.912429179274357]
本稿では,科学・工学分野における逆問題に対処する2段階の機械学習に基づく代理モデリングフレームワークを提案する。
最初の段階では、"Learner"と呼ばれる機械学習モデルは、予測出力が望ましい結果と密接に一致している入力デザイン空間内の候補の限られたセットを特定する。
第2段では、第1段で生成された縮小候補空間を評価するために、「評価器」として機能する別の代理モデルを用いる。
論文 参考訳(メタデータ) (2024-01-04T00:25:12Z) - Sequential Ensembling for Semantic Segmentation [4.030520171276982]
我々は、複数の独立に訓練された最先端モデルの予測を組み合わせる一般的なアンサンブルアプローチをベンチマークする。
そこで本研究では,素なアンサンブルベースラインを大幅に上回る,逐次アンサンブルネットワークの強化にインスパイアされた新しい手法を提案する。
論文 参考訳(メタデータ) (2022-10-08T22:13:59Z) - CorpusBrain: Pre-train a Generative Retrieval Model for
Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。
我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文 参考訳(メタデータ) (2022-08-16T10:22:49Z) - House-GAN++: Generative Adversarial Layout Refinement Networks [37.60108582423617]
我々のアーキテクチャはグラフ制約付きGANと条件付きGANの統合であり、そこでは以前に生成されたレイアウトが次の入力制約となる。
我々の研究の驚くべき発見は、コンポーネントワイドGTコンディショニングと呼ばれる単純な非イテレーティブトレーニングプロセスが、そのようなジェネレータの学習に有効であることである。
論文 参考訳(メタデータ) (2021-03-03T18:15:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。