論文の概要: Profiling checkpointing schedules in adjoint ST-AD

• arxiv url: http://arxiv.org/abs/2405.15590v2
• Date: Thu, 12 Sep 2024 16:34:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-13 21:43:18.899826
• Title: Profiling checkpointing schedules in adjoint ST-AD
• Title（参考訳）: 隣接ST-ADにおけるチェックポインティングスケジュールのプロファイリング
• Authors: Laurent Hascoët, Jean-Luc Bouchot, Shreyas Sunil Gaikwad, Sri Hari Krishna Narayanan, Jan Hückelheim,
• Abstract要約: Checkpointingは、さまざまなレベルで適用可能なストレージ/再計算トレードオフである。 本稿では,隣接コードの実行時プロファイリングに基づくアルゴリズムを提案する。 本稿は,MITgcm大洋および大気循環モデルから得られた試験事例に対する本手法の関心を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Checkpointing is a cornerstone of data-flow reversal in adjoint algorithmic differentiation. Checkpointing is a storage/recomputation trade-off that can be applied at different levels, one of which being the call tree. We are looking for good placements of checkpoints onto the call tree of a given application, to reduce run time and memory footprint of its adjoint. There is no known optimal solution to this problem other than a combinatorial search on all placements. We propose a heuristics based on run-time profiling of the adjoint code. We describe implementation of this profiling tool in an existing source-transformation AD tool. We demonstrate the interest of this approach on test cases taken from the MITgcm ocean and atmospheric global circulation model. We discuss the limitations of our approach and propose directions to lift them.
• Abstract（参考訳）: チェックポインティングは、隣接アルゴリズムの微分におけるデータフロー逆転の基盤である。 Checkpointingは、異なるレベルで適用可能なストレージ/再計算トレードオフであり、そのうちの1つはコールツリーである。 特定のアプリケーションのコールツリーにチェックポイントを配置して,実行時間とアジョイントのメモリフットプリントを削減する方法を模索しています。 この問題の最適解法は、すべての位置の組合せ探索以外には知られていない。 随伴コードの実行時プロファイリングに基づくヒューリスティックスを提案する。 本稿では,このプロファイリングツールの実装について述べる。 本稿は,MITgcm大洋および大気循環モデルから得られた試験事例に対する本手法の関心を示す。 我々は,我々のアプローチの限界について議論し,それらを持ち上げる方向を提案する。

関連論文リスト

• Truncating Trajectories in Monte Carlo Policy Evaluation: an Adaptive Approach [51.76826149868971]
  モンテカルロシミュレーションによる政策評価は多くのMC強化学習(RL)アルゴリズムの中核にある。 本研究では,異なる長さの軌跡を用いた回帰推定器の平均二乗誤差のサロゲートとして品質指標を提案する。 本稿では,Robust and Iterative Data Collection Strategy Optimization (RIDO) という適応アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-17T11:47:56Z)
• Solving Stochastic Orienteering Problems with Chance Constraints Using a GNN Powered Monte Carlo Tree Search [3.3088495893219885]
  本稿では,モンテカルロ木探索法(MCTS)を提案する。 割り当てられた旅行予算を順守しながら、アルゴリズムは、旅行コストを発生させながら収集された報酬を最大化する。 トレーニングデータセットの特性を超えて、このアプローチがいかに一般化できるかを実証する。
  論文  参考訳（メタデータ） (2024-09-06T23:31:01Z)
• RecursiveDet: End-to-End Region-based Recursive Object Detection [19.799892459080485]
  Sparse R-CNNのような領域ベースのオブジェクト検出器は通常、複数のカスケード境界ボックスデコードステージを持つ。 本稿では,復号段階の一般的な設定は実際には冗長であることを示す。 RecusiveDetは、より少ないモデルパラメータで明らかなパフォーマンス向上を達成することができる。
  論文  参考訳（メタデータ） (2023-07-25T16:22:58Z)
• Monte-Carlo Tree Search for Multi-Agent Pathfinding: Preliminary Results [60.4817465598352]
  マルチエージェントパスフィンディングに適したモンテカルロ木探索(MCTS)のオリジナル版を紹介する。 具体的には,エージェントの目標達成行動を支援するために,個別の経路を用いる。 また,木探索手順の分岐係数を低減するために,専用の分解手法を用いる。
  論文  参考訳（メタデータ） (2023-07-25T12:33:53Z)
• Quick Adaptive Ternary Segmentation: An Efficient Decoding Procedure For Hidden Markov Models [70.26374282390401]
  ノイズの多い観測から元の信号(すなわち隠れ鎖)を復号することは、ほぼすべてのHMMに基づくデータ分析の主要な目標の1つである。 本稿では,多対数計算複雑性において隠れた列を復号化するための分法であるQuick Adaptive Ternary(QATS)を提案する。
  論文  参考訳（メタデータ） (2023-05-29T19:37:48Z)
• AdaNPC: Exploring Non-Parametric Classifier for Test-Time Adaptation [64.9230895853942]
  ドメインの一般化は、ターゲットのドメイン情報を活用することなく、任意に困難にすることができる。 この問題に対処するためにテスト時適応(TTA)手法が提案されている。 本研究では,テスト時間適応(AdaNPC)を行うためにNon-Parametricを採用する。
  論文  参考訳（メタデータ） (2023-04-25T04:23:13Z)
• Reachable Polyhedral Marching (RPM): An Exact Analysis Tool for Deep-Learned Control Systems [20.595032143044506]
  本稿では,直列線形ユニット(ReLU)をアクティベートしたディープニューラルネットワークの,前方および後方到達可能な正確な集合を計算するためのツールを提案する。 このツールを用いてアルゴリズムを開発し、フィードバックループ内のニューラルネットワークを持つ制御系に対する不変集合とアトラクション領域(ROA)を計算する。
  論文  参考訳（メタデータ） (2022-10-15T17:15:53Z)
• Guiding Query Position and Performing Similar Attention for Transformer-Based Detection Heads [20.759022922347697]
  本稿では、オブジェクトクエリの最新の位置情報を反復的にクエリ位置に埋め込むためのガイドクエリ位置(GQPos)法を提案する。 特徴マップの融合に加えて、SiAは注意重みマップを融合させ、高解像度の注意重みマップの学習を加速させる。 実験の結果,提案したGQPosは,DETR,SMCA,YoloS,HoiTransformerなど,一連のモデルの性能を向上させることがわかった。
  論文  参考訳（メタデータ） (2021-08-22T11:32:34Z)
• Markov Decision Process modeled with Bandits for Sequential Decision Making in Linear-flow [73.1896399783641]
  会員/加入者の獲得と保持では、複数のページを連続してマーケティングコンテンツを推奨する必要がある。 遷移確率行列をモデル化するためにBandits を用いた MDP としてこの問題を定式化することを提案する。 提案したMDPのBanditsアルゴリズムは,$epsilon$-greedyと$epsilon$-greedy,$epsilon$,IndependentBandits,InteractionBanditsでQ-learningを上回っている。
  論文  参考訳（メタデータ） (2021-07-01T03:54:36Z)
• Overcoming Catastrophic Forgetting via Direction-Constrained Optimization [43.53836230865248]
  連続的な学習フレームワークにおいて,分類ネットワークの固定アーキテクチャを用いてディープラーニングモデルを学習するための最適化アルゴリズムの新たな設計について検討する。 本稿では,方向制約付き最適化(DCO)法について述べる。各タスクに対して,対応する最上向きの主方向を近似する線形オートエンコーダを導入する。 我々のアルゴリズムは、他の最先端の正規化に基づく連続学習法と比較して好適に機能することを示した。
  論文  参考訳（メタデータ） (2020-11-25T08:45:21Z)
• Making Affine Correspondences Work in Camera Geometry Computation [62.7633180470428]
  局所的な特徴は、ポイント・ツー・ポイント対応ではなく、リージョン・ツー・リージョンを提供する。 本稿では,全モデル推定パイプラインにおいて,地域間マッチングを効果的に活用するためのガイドラインを提案する。 実験により、アフィンソルバはより高速な実行時にポイントベースソルバに匹敵する精度を達成できることが示された。
  論文  参考訳（メタデータ） (2020-07-20T12:07:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。