論文の概要: Exploring End-to-end Differentiable Neural Charged Particle Tracking -- A Loss Landscape Perspective

• arxiv url: http://arxiv.org/abs/2407.13420v1
• Date: Thu, 18 Jul 2024 11:42:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 15:30:46.011981
• Title: Exploring End-to-end Differentiable Neural Charged Particle Tracking -- A Loss Landscape Perspective
• Title（参考訳）: エンド・ツー・エンド微分可能なニューラルチャージ粒子追跡の探索 -ランドスケープの視点-
• Authors: Tobias Kortus, Ralf Keidel, Nicolas R. Gauger,
• Abstract要約: 粒子追跡のためのE2E差分型決定型学習手法を提案する。 離散的な代入操作の微分可能なバリエーションは、効率的なネットワーク最適化を可能にすることを示す。 E2Eの微分性は、勾配情報の一般利用に加えて、予測不安定性を緩和するロバスト粒子追跡のための重要なツールである、と我々は主張する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Measurement and analysis of high energetic particles for scientific, medical or industrial applications is a complex procedure, requiring the design of sophisticated detector and data processing systems. The development of adaptive and differentiable software pipelines using a combination of conventional and machine learning algorithms is therefore getting ever more important to optimize and operate the system efficiently while maintaining end-to-end (E2E) differentiability. We propose for the application of charged particle tracking an E2E differentiable decision-focused learning scheme using graph neural networks with combinatorial components solving a linear assignment problem for each detector layer. We demonstrate empirically that including differentiable variations of discrete assignment operations allows for efficient network optimization, working better or on par with approaches that lack E2E differentiability. In additional studies, we dive deeper into the optimization process and provide further insights from a loss landscape perspective. We demonstrate that while both methods converge into similar performing, globally well-connected regions, they suffer under substantial predictive instability across initialization and optimization methods, which can have unpredictable consequences on the performance of downstream tasks such as image reconstruction. We also point out a dependency between the interpolation factor of the gradient estimator and the prediction stability of the model, suggesting the choice of sufficiently small values. Given the strong global connectivity of learned solutions and the excellent training performance, we argue that E2E differentiability provides, besides the general availability of gradient information, an important tool for robust particle tracking to mitigate prediction instabilities by favoring solutions that perform well on downstream tasks.
• Abstract（参考訳）: 科学的、医学的、工業的応用のための高エネルギー粒子の測定と分析は複雑な手順であり、高度な検出器とデータ処理システムの設計を必要とする。 そのため、従来の機械学習アルゴリズムと機械学習アルゴリズムを組み合わせた適応型および微分可能なソフトウェアパイプラインの開発は、エンドツーエンド(E2E)の微分性を維持しながら、システムの最適化と効率的な運用がますます重要になっている。 本稿では,各検出器層に対する線形代入問題を解くグラフニューラルネットワークを用いたE2E微分型決定中心学習方式の荷電粒子追跡への応用を提案する。 離散割当操作の微分可能なバリエーションを含めることで、効率的なネットワーク最適化が可能であり、E2Eの微分性に欠けるアプローチと同等か、あるいは同等に動作することを実証的に実証する。 さらなる研究では、最適化プロセスについて深く掘り下げ、ロスランドスケープの観点からさらなる洞察を提供する。 両手法は, 同様の動作領域に収束するが, 初期化および最適化手法間ではかなりの予測不安定さに悩まされ, 画像再構成などの下流タスクの性能に予測不可能な結果をもたらすことが実証された。 また、勾配推定器の補間係数とモデルの予測安定性との依存性を指摘し、十分に小さい値を選択することを示唆した。 学習したソリューションの強いグローバル接続性と優れたトレーニング性能を考えると、E2Eの微分性は、勾配情報の一般提供に加えて、下流タスクでよく動作するソリューションを好んで予測不安定を緩和する堅牢な粒子追跡のための重要なツールである、と論じる。

関連論文リスト

• Unlearning as multi-task optimization: A normalized gradient difference approach with an adaptive learning rate [105.86576388991713]
  正規化勾配差(NGDiff)アルゴリズムを導入し、目的間のトレードオフをよりよく制御できるようにする。 本研究では,TOFUおよびMUSEデータセットにおける最先端の未学習手法において,NGDiffの優れた性能を実証的に実証し,理論的解析を行った。
  論文  参考訳（メタデータ） (2024-10-29T14:41:44Z)
• Unveiling the optimization process of Physics Informed Neural Networks: How accurate and competitive can PINNs be? [0.0]
  本研究では、物理インフォームドニューラルネットワークの潜在的な精度について、従来の類似した研究や従来の数値手法と対比して検討する。 改良された最適化アルゴリズムを選択することで、結果の精度が大幅に向上することがわかった。 損失関数の簡単な修正は精度を向上し、拡張のための追加の道を提供する。
  論文  参考訳（メタデータ） (2024-05-07T11:50:25Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Neural Networks with Quantization Constraints [111.42313650830248]
  量子化学習における制約付き学習手法を提案する。 結果の問題は強い双対であり、勾配推定は不要であることを示す。 提案手法は画像分類タスクにおける競合性能を示す。
  論文  参考訳（メタデータ） (2022-10-27T17:12:48Z)
• Learning Stochastic Graph Neural Networks with Constrained Variance [18.32587282139282]
  グラフニューラルネットワーク(Graph Neural Network, SGNN)は、ランダムグラフ上のデータから表現を学習する情報処理アーキテクチャである。 本稿では,SGNNに対する分散制約付き最適化問題を提案し,予測性能と偏差のバランスをとる。 降下したSGNNパラメータと昇降した双対変数を更新することで問題を解く。
  論文  参考訳（メタデータ） (2022-01-29T15:55:58Z)
• Objective-Sensitive Principal Component Analysis for High-Dimensional Inverse Problems [0.0]
  本稿では,大規模乱数場の適応的,微分可能なパラメータ化手法を提案する。 開発した手法は主成分分析(PCA)に基づくが,目的関数の振る舞いを考慮した主成分の純粋にデータ駆動に基づく基礎を変更する。 最適パラメータ分解のための3つのアルゴリズムを2次元合成履歴マッチングの目的に適用した。
  論文  参考訳（メタデータ） (2020-06-02T18:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。