論文の概要: Interpreting Robust Optimization via Adversarial Influence Functions

• arxiv url: http://arxiv.org/abs/2010.01247v1
• Date: Sat, 3 Oct 2020 01:19:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 08:36:27.763746
• Title: Interpreting Robust Optimization via Adversarial Influence Functions
• Title（参考訳）: 逆影響関数によるロバスト最適化の解釈
• Authors: Zhun Deng, Cynthia Dwork, Jialiang Wang, Linjun Zhang
• Abstract要約: 本稿では、ロバストな最適化によって生成されるソリューションを調査するためのツールとして、AIF(Adversarial Influence Function)を紹介する。 AIFの使用法を説明するために、モデル感度(自然データにおける予測損失の変化を捉えるために定義された量)について検討する。 AIFを用いて、モデルの複雑さとランダムな平滑化が、特定のモデルに対するモデルの感度にどのように影響するかを分析する。
• 参考スコア（独自算出の注目度）: 24.937845875059928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Robust optimization has been widely used in nowadays data science, especially in adversarial training. However, little research has been done to quantify how robust optimization changes the optimizers and the prediction losses comparing to standard training. In this paper, inspired by the influence function in robust statistics, we introduce the Adversarial Influence Function (AIF) as a tool to investigate the solution produced by robust optimization. The proposed AIF enjoys a closed-form and can be calculated efficiently. To illustrate the usage of AIF, we apply it to study model sensitivity -- a quantity defined to capture the change of prediction losses on the natural data after implementing robust optimization. We use AIF to analyze how model complexity and randomized smoothing affect the model sensitivity with respect to specific models. We further derive AIF for kernel regressions, with a particular application to neural tangent kernels, and experimentally demonstrate the effectiveness of the proposed AIF. Lastly, the theories of AIF will be extended to distributional robust optimization.
• Abstract（参考訳）: ロバスト最適化は、今日のデータ科学、特に敵の訓練で広く使われている。 しかしながら、最適化が標準トレーニングと比較していかに頑健な最適化と予測損失を変化させるかを定量化する研究はほとんど行われていない。 本稿では、ロバストな統計における影響関数に着想を得て、ロバストな最適化によって生成されるソリューションを調査するためのツールとして、Adversarial Influence Function (AIF)を導入する。 提案したAIFは閉形式を楽しみ、効率的に計算できる。 AIFの使用法を説明するために,頑健な最適化を行った後,自然データに対する予測損失の変化を捉えるために定義されたモデル感度について検討する。 AIFを用いて、モデルの複雑さとランダムな平滑化が特定のモデルに対するモデルの感度に与える影響を分析する。 さらに,ニューラル・タンジェント・カーネルを特に応用した,カーネル回帰に対するaifの導出を行い,提案するaifの有効性を実験的に実証する。 最後に、AIFの理論は分散ロバストな最適化に拡張される。

関連論文リスト

• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• Provably Mitigating Overoptimization in RLHF: Your SFT Loss is Implicitly an Adversarial Regularizer [52.09480867526656]
  人間の嗜好を学習する際の分布変化と不確実性の一形態として,不一致の原因を同定する。 過度な最適化を緩和するために、まず、逆選択された報酬モデルに最適なポリシーを選択する理論アルゴリズムを提案する。 報奨モデルとそれに対応する最適ポリシーの等価性を用いて、優先最適化損失と教師付き学習損失を組み合わせた単純な目的を特徴とする。
  論文  参考訳（メタデータ） (2024-05-26T05:38:50Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Functional Graphical Models: Structure Enables Offline Data-Driven Optimization [111.28605744661638]
  構造がサンプル効率のよいデータ駆動最適化を実現する方法を示す。 また、FGM構造自体を推定するデータ駆動最適化アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-01-08T22:33:14Z)
• Efficient Robust Bayesian Optimization for Arbitrary Uncertain Inputs [13.578262325229161]
  本稿では,任意の入力不確実性の下で一貫して動作するロバストな最適化アルゴリズムであるAIRBOを提案する。 提案手法は,最大平均離散度(MMD)を用いてガウス過程を有効化することにより任意の分布の不確実な入力を直接モデル化し,さらにNystrom近似による後部推論を高速化する。 MMD推定誤差と合成関数および実問題に関する広範な実験により,本手法が様々な入力不確実性に対処し,最先端の性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2023-10-31T03:29:31Z)
• Optimizer's Information Criterion: Dissecting and Correcting Bias in Data-Driven Optimization [16.57676001669012]
  データ駆動最適化では、得られた決定のサンプル性能は通常、真の性能に対して楽観的なバイアスを生じさせる。 クロスバリデーションのような、このバイアスを修正するための一般的なテクニックは、追加の最適化問題を繰り返し解決する必要があるため、コストがかかる。 我々は一階偏差を直接近似する一般バイアス補正手法を開発し、追加の最適化問題を解く必要はない。
  論文  参考訳（メタデータ） (2023-06-16T07:07:58Z)
• FAStEN: An Efficient Adaptive Method for Feature Selection and Estimation in High-Dimensional Functional Regressions [7.674715791336311]
  本稿では,スパース関数オン・ファンクション回帰問題において特徴選択を行うための,新しい,柔軟な,超効率的なアプローチを提案する。 我々はそれをスカラー・オン・ファンクション・フレームワークに拡張する方法を示す。 AOMIC PIOP1による脳MRIデータへの応用について述べる。
  論文  参考訳（メタデータ） (2023-03-26T19:41:17Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• An Adaptive Alternating-direction-method-based Nonnegative Latent Factor Model [2.857044909410376]
  交互方向法に基づく非負潜在因子モデルにより、高次元および不完全行列への効率的な表現学習を行うことができる。 本稿では,超パラメータ適応を粒子群最適化の原理に従って実装した適応交互方向法に基づく非負遅延因子モデルを提案する。 産業応用によって生成される非負のHDI行列に関する実証的研究は、A2NLFが計算および記憶効率においていくつかの最先端モデルより優れており、HDI行列の欠落データに対する高い競合推定精度を維持していることを示している。
  論文  参考訳（メタデータ） (2022-04-11T03:04:26Z)
• Extension of Dynamic Mode Decomposition for dynamic systems with incomplete information based on t-model of optimal prediction [69.81996031777717]
  動的モード分解は、動的データを研究するための非常に効率的な手法であることが証明された。 このアプローチの適用は、利用可能なデータが不完全である場合に問題となる。 本稿では,森-Zwanzig分解の1次近似を考察し,対応する最適化問題を記述し,勾配に基づく最適化法を用いて解く。
  論文  参考訳（メタデータ） (2022-02-23T11:23:59Z)
• Curvature Injected Adaptive Momentum Optimizer for Convolutional Neural Networks [21.205976369691765]
  本稿では、降下勾配に対するAdaInjectと呼ばれる新しいアプローチを提案する。 曲率情報は、更新ルールの2次モーメントを注入するウェイトとして使用される。 AdaInjectアプローチは、曲率情報を活用することにより、パラメータの更新を促進する。
  論文  参考訳（メタデータ） (2021-09-26T06:24:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。