Fugu-MT 論文翻訳(概要): Finetuning Foundation Models for Joint Analysis Optimization

論文の概要: Finetuning Foundation Models for Joint Analysis Optimization

arxiv url: http://arxiv.org/abs/2401.13536v1
Date: Wed, 24 Jan 2024 15:46:25 GMT
ステータス: 処理完了
システム内更新日: 2024-01-25 14:20:58.283680
Title: Finetuning Foundation Models for Joint Analysis Optimization
Title（参考訳）: 共同解析最適化のためのファインタニング基礎モデル
Authors: Matthias Vig and Nicole Hartman and Lukas Heinrich
Abstract要約: 我々は、逐次最適化や再構成、分析の標準パラダイムを超えて、高エネルギー物理学において、性能とデータ効率の大幅な向上が達成できることを実証した。我々は,HEPの再構成と解析を,事前学習,ファインタニング,ドメイン適応,高次元埋め込み空間といった現代の機械学習に結び付けて,中間ジヒッグスシステムによる重共鳴の探索を例に,ゲインの定量化を行う。
参考スコア（独自算出の注目度）: 0.1227734309612871
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: In this work we demonstrate that significant gains in performance and data efficiency can be achieved in High Energy Physics (HEP) by moving beyond the standard paradigm of sequential optimization or reconstruction and analysis components. We conceptually connect HEP reconstruction and analysis to modern machine learning workflows such as pretraining, finetuning, domain adaptation and high-dimensional embedding spaces and quantify the gains in the example usecase of searches of heavy resonances decaying via an intermediate di-Higgs system to four $b$-jets.
Abstract（参考訳）: 本研究は,高エネルギー物理(HEP)において,逐次最適化や再構成,解析の標準パラダイムを超越して,性能とデータ効率の大幅な向上が達成できることを実証する。我々は、HEP再構成と分析を、事前学習、微調整、ドメイン適応、高次元埋め込み空間といった現代の機械学習ワークフローに結合し、中間ジヒッグスシステムを介して崩壊する重共鳴の探索を例に、そのゲインを4$b$-jetsに定量化する。

関連論文リスト

Non-asymptotic Convergence of Training Transformers for Next-token Prediction [48.9399496805422]
トランスフォーマーは、シーケンシャルなデータを扱う優れた能力のために、現代の機械学習において驚くべき成功を収めています。本稿では, 単層変圧器のトレーニング力学の微細な非漸近解析を行う。トレーニングされたトランスフォーマーは,データセットシフトによる非トーケン予測能力を示すことを示す。
論文参考訳（メタデータ） (2024-09-25T20:22:06Z)
See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
論文参考訳（メタデータ） (2024-07-07T15:44:42Z)
Spectral Adapter: Fine-Tuning in Spectral Space [45.72323731094864]
本研究では, 既訓練重量行列のスペクトル情報を微調整手順に組み込むことにより, 現在のPEFT法の強化について検討した。提案するファインチューニングモデルにより,パラメータ効率とチューニング性能が向上し,マルチアダプタ融合のメリットが期待できることを示す。
論文参考訳（メタデータ） (2024-05-22T19:36:55Z)
Physics-based reward driven image analysis in microscopy [5.581609660066545]
本稿では,画像解析を動的に最適化するReward Functionの概念に基づく方法論を提案する。 Reward関数は、実験目標とより広いコンテキストと密接に整合するように設計されている。高次元クラスタリングの物理駆動型報酬関数とアクション空間を作成することにより,部分非秩序領域の同定に向けた報酬関数のアプローチを拡張した。
論文参考訳（メタデータ） (2024-04-22T12:55:04Z)
Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
論文参考訳（メタデータ） (2024-03-12T07:32:47Z)
End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文参考訳（メタデータ） (2023-05-25T10:58:46Z)
Hyperparameter optimization, quantum-assisted model performance prediction, and benchmarking of AI-based High Energy Physics workloads using HPC [0.0]
本研究は,高性能コンピューティングシステムにおいてHPOプロセスを支援するために,モデル性能予測を利用する可能性について検討する。量子アニールは性能予測器の訓練に用いられ、量子系の現在の限界から生じる問題を克服する手法が提案されている。衝突イベント再構成のためのAIモデルに基づくコンテナ化されたベンチマークの開発から結果が提示される。
論文参考訳（メタデータ） (2023-03-27T09:55:33Z)
Optimization-Derived Learning with Essential Convergence Analysis of Training and Hyper-training [52.39882976848064]
固定点反復に基づく一般化クラスノセルスキーマンスキースキーム(GKM)を基本ODLモジュールとして設計する。 GKMスキームでは、最適トレーニングとハイパートレーニング変数を同時に解くために、バイレベルメタ最適化(BMO)アルゴリズムフレームワークを構築している。
論文参考訳（メタデータ） (2022-06-16T01:50:25Z)
Machine Learning Framework for Quantum Sampling of Highly-Constrained, Continuous Optimization Problems [101.18253437732933]
本研究では,連続空間の逆設計問題を,制約のないバイナリ最適化問題にマッピングする,汎用的な機械学習ベースのフレームワークを開発する。本研究では, 熱発光トポロジを熱光応用に最適化し, (ii) 高効率ビームステアリングのための拡散メタグレーティングを行うことにより, 2つの逆設計問題に対するフレームワークの性能を示す。
論文参考訳（メタデータ） (2021-05-06T02:22:23Z)
Functional Space Analysis of Local GAN Convergence [26.985600125290908]
一般機能空間における対向訓練の局所的ダイナミクスについて検討する。偏微分方程式の系としてどのように表現できるかを示す。我々の視点では、GANの安定化によく使われる実践的なトリックについて、いくつかの洞察が得られている。
論文参考訳（メタデータ） (2021-02-08T18:59:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。