Fugu-MT 論文翻訳(概要): PILOT: Policy-Informed Learned Optimization for Adaptive Deep Network Training

論文の概要: PILOT: Policy-Informed Learned Optimization for Adaptive Deep Network Training

arxiv url: http://arxiv.org/abs/2605.24570v1
Date: Sat, 23 May 2026 13:10:15 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-26 19:50:18.249844
Title: PILOT: Policy-Informed Learned Optimization for Adaptive Deep Network Training
Title（参考訳）: PILOT:Adaptive Deep Network Trainingのためのポリシーインフォームド学習最適化
Authors: Sattam Altuuaim, Lama Ayash, Muhammad Mubashar, Naeemullah Khan,
Abstract要約: 本研究では,PILOT(Policy-Informed OpTimizer)を提案する。 PILOTは、局所的なトレーニング安定性のシグナルとして勾配方向合意を使用する。結果は、トレーニング中に更新構造を適応する方法を学ぶことは、コンパクトモデルとより深い畳み込みモデルの両方のパフォーマンスを改善することを示唆している。
参考スコア（独自算出の注目度）: 1.25295360085269
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Despite the central role of optimization in deep learning, most optimizers rely on update structures whose functional form is fixed before training begins. This static design can limit their ability to respond to changing gradient behavior across the loss landscape, where training may shift between stable, noisy, and inconsistent regimes. This study proposes PILOT (Policy-Informed Learned OpTimizer), an online optimizer that adapts its update behavior during training. Rather than using a fixed balance between momentum, normalization, and sign-based updates, PILOT uses gradient-direction agreement as a signal of local training stability. Conditioning the update rule on this agreement signal allows the optimizer to adjust its behavior when gradients become stable, noisy, or inconsistent. Experiments on FashionMNIST and CIFAR-10 show that PILOT consistently achieves the highest accuracy among the evaluated optimizers across convolutional settings. On the CNN architecture, PILOT reaches 94.13% on FashionMNIST and 81.94% on CIFAR-10. On ResNet-18, it further improves performance, reaching 95.71% on FashionMNIST and 93.42% on CIFAR-10. These results suggest that learning how to adapt the update structure during training can improve performance across both compact and deeper convolutional models while preserving a simple first-order optimization framework. The implementation of PILOT is publicly available at https://github.com/SattamAltwaim/PILOT.git
Abstract（参考訳）: ディープラーニングにおける最適化の中心的な役割にもかかわらず、ほとんどのオプティマイザは、トレーニングが始まる前に機能形式が固定された更新構造に依存している。この静的設計は、安定した、うるさい、一貫性のないレシエーション間でトレーニングがシフトする、損失ランドスケープ全体にわたる勾配変化に応答する能力を制限することができる。本研究では、オンラインオプティマイザであるPILOT(Policy-Informed Learned OpTimizer)を提案する。 PILOTは、運動量、正規化、および符号ベースの更新の固定バランスを使用するのではなく、局所的なトレーニング安定性のシグナルとして勾配方向合意を使用する。この合意信号に更新ルールを条件付けすることで、勾配が安定、ノイズ、あるいは一貫性のないときに最適化者がその挙動を調整することができる。 FashionMNIST と CIFAR-10 の実験では、PILOT は畳み込み設定で評価されたオプティマイザの中で常に最高精度を達成している。 CNNアーキテクチャでは、PILOTはFashionMNISTで94.13%、CIFAR-10で81.94%に達する。 ResNet-18では、FashionMNISTで95.71%、CIFAR-10で93.42%に向上した。これらの結果は、トレーニング中に更新構造を適応する方法を学ぶことで、単純な一階最適化フレームワークを保ちながら、コンパクトモデルとより深い畳み込みモデルの両方のパフォーマンスを向上させることができることを示唆している。 PILOTの実装はhttps://github.com/SattamAltwaim/PILOT.gitで公開されている。

関連論文リスト

Learn2Splat: Extending the Horizon of Learned 3DGS Optimization [53.913063313338874]
補助機構を使わずに地平線上における劣化を回避できる3DGSの学習手法を提案する。その結果、長い地平線上で安定しながら、新しいビュークオリティを向上し、ゼロショットの一般化により、見当たらないリコンストラクション設定を実現した。
論文参考訳（メタデータ） (2026-05-15T09:21:29Z)
Empirical Ablation and Ensemble Optimization of a Convolutional Neural Network for CIFAR-10 Classification [0.0]
畳み込みニューラルネットワーク(CNN)は画像分類において中心的なアプローチである。本稿では,CIFAR-10ベンチマークのCNN最適化に関する経験的アブレーションに基づく研究について述べる。
論文参考訳（メタデータ） (2026-04-26T20:08:26Z)
GradAlign: Gradient-Aligned Data Selection for LLM Reinforcement Learning [55.03441672267886]
強化学習のための勾配整列データ選択法GradAlignを提案する。 GradAlignは,信頼できない報酬信号,分散不均衡,低ユーティリティトレーニングコーパスの3つにまたがって評価する。
論文参考訳（メタデータ） (2026-02-25T01:54:50Z)
Heart Disease Prediction: A Comparative Study of Optimisers Performance in Deep Neural Networks [0.0]
そこで我々は,Kaggleの心臓病データセットを用いて,シンプルな多層パーセプトロンモデルのトレーニングにおける10種類のアプローチの性能を比較した。我々は、一貫したトレーニングパラダイムを設定し、収束速度や安定性などのメトリクスに基づいてメトリクスを評価する。すべてのメトリクスに対して、重要なメトリクス間でバランスのとれたパフォーマンスを提供するため、この心臓病予測タスクに最も効果的であるようにRMSPropを選択しました。
論文参考訳（メタデータ） (2025-09-10T11:15:44Z)
Tri-Accel: Curvature-Aware Precision-Adaptive and Memory-Elastic Optimization for Efficient GPU Usage [0.6511750267058007]
Tri-Accelは3つのアクセラレーション戦略と、トレーニング中の適応パラメータを併用する統合最適化フレームワークである。 ResNet-18とEfficientNet-B0を搭載したCIFAR-10では、Tri-Accelはトレーニング時間の最大9.9%削減とメモリ使用量の13.3%削減を実現している。静的混合精度トレーニングと比較して、Tri-Accelは78.1%の精度を維持し、標準ハードウェアのメモリフットプリントを0.35GBから0.31GBに削減している。
論文参考訳（メタデータ） (2025-08-23T05:38:42Z)
Optimizing ML Training with Metagradient Descent [69.89631748402377]
モデルトレーニングによる勾配というメタグラディエントを,大規模に効率的に計算するアルゴリズムを導入する。次に、メタグラディエントを用いた効果的な最適化を可能にする「滑らかなモデルトレーニング」フレームワークを導入する。
論文参考訳（メタデータ） (2025-03-17T22:18:24Z)
Large Continual Instruction Assistant [59.585544987096974]
CIT(Continuous Instruction Tuning)は、大規模モデルにデータによる人間の意図データに従うよう指示するために用いられる。既存の更新勾配は、CITプロセス中に前のデータセットのパフォーマンスを著しく損なうことになる。本稿では,この課題に対処する汎用的な連続的命令チューニングフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-08T11:24:59Z)
Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
論文参考訳（メタデータ） (2023-10-19T13:13:41Z)
AdaTerm: Adaptive T-Distribution Estimated Robust Moments for Noise-Robust Stochastic Gradient Optimization [14.531550983885772]
本稿では,学生のt分布を取り入れた新しいアプローチであるAdaTermを提案する。これは最適化プロセスの統一的な処理を提供し、初めてt分布の統計モデルの下で包括的なフレームワークを提供する。
論文参考訳（メタデータ） (2022-01-18T03:13:19Z)
Tom: Leveraging trend of the observed gradients for faster convergence [0.0]
TomはAdamの新しい変種であり、ニューラルネットワークによって渡される損失の風景の勾配の傾向を考慮に入れている。 Tomは両方の精度でAdagrad、Adadelta、RMSProp、Adamを上回り、より早く収束する。
論文参考訳（メタデータ） (2021-09-07T20:19:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。