論文の概要: Learning Instance-Specific Parameters of Black-Box Models Using Differentiable Surrogates

• arxiv url: http://arxiv.org/abs/2407.17530v2
• Date: Tue, 26 Nov 2024 16:58:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-01 15:52:52.486468
• Title: Learning Instance-Specific Parameters of Black-Box Models Using Differentiable Surrogates
• Title（参考訳）: 微分可能なサロゲートを用いたブラックボックスモデルの特異パラメータの学習
• Authors: Arnisha Khondaker, Nilanjan Ray,
• Abstract要約: 本研究では,ブラックボックスの入力固有パラメータを学習する。 我々は、ブラックボックスの挙動を近似するために、微分可能な代理モデル(ニューラルネットワーク)を用いる。 次に、別のニューラルネットワークをエンドツーエンドで使用して、ブラックボックスの入力インスタンス固有のパラメータを学習する。
• 参考スコア（独自算出の注目度）: 4.995343972237369
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Tuning parameters of a non-differentiable or black-box compute is challenging. Existing methods rely mostly on random sampling or grid sampling from the parameter space. Further, with all the current methods, it is not possible to supply any input specific parameters to the black-box. To the best of our knowledge, for the first time, we are able to learn input-specific parameters for a black box in this work. As a test application, we choose a popular image denoising method BM3D as our black-box compute. Then, we use a differentiable surrogate model (a neural network) to approximate the black-box behaviour. Next, another neural network is used in an end-to-end fashion to learn input instance-specific parameters for the black-box. Motivated by prior advances in surrogate-based optimization, we applied our method to the Smartphone Image Denoising Dataset (SIDD) and the Color Berkeley Segmentation Dataset (CBSD68) for image denoising. The results are compelling, demonstrating a significant increase in PSNR and a notable improvement in SSIM nearing 0.93. Experimental results underscore the effectiveness of our approach in achieving substantial improvements in both model performance and optimization efficiency. For code and implementation details, please refer to our GitHub repository: https://github.com/arnisha-k/instance-specific-param
• Abstract（参考訳）: 非微分可能またはブラックボックス計算のチューニングパラメータは困難である。 既存の手法は主にパラメータ空間からのランダムサンプリングやグリッドサンプリングに依存している。 さらに、現在のすべてのメソッドでは、入力固有のパラメータをブラックボックスに供給することはできない。 私たちの知る限りでは、この研究で初めて、ブラックボックスの入力固有のパラメータを学習できます。 テストアプリケーションとして,ブラックボックス計算としてBM3Dを用いる。 次に、ブラックボックスの挙動を近似するために、微分可能なサロゲートモデル(ニューラルネットワーク)を用いる。 次に、別のニューラルネットワークをエンドツーエンドで使用して、ブラックボックスの入力インスタンス固有のパラメータを学習する。 本手法をスマートフォン画像復調データセット(SIDD)とカラーバークレーセグメンテーションデータセット(CBSD68)に適用した。 結果は説得力があり、PSNRが著しく増加し、SSIMは0.93に近づいた。 実験結果から,モデル性能と最適化効率の両面において,本手法の有効性を実証した。 コードと実装の詳細については、GitHubリポジトリを参照してください。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• CPT: Consistent Proxy Tuning for Black-box Optimization [63.06335358432746]
  Proxy-tuningはブラックボックス言語モデルをチューニングするためのテスト時間出力調整を提供する。 本稿では,シンプルなブラックボックスチューニング手法であるConsistent Proxy Tuning (CPT)を紹介する。 CPTは、凍結した大きなブラックボックスモデルと別の凍結した小さなホワイトボックスモデルを利用して、トレーニングステージ最適化目標とテストタイムプロキシの一貫性を確保する。
  論文  参考訳（メタデータ） (2024-07-01T10:23:14Z)
• Prompt Mixing in Diffusion Models using the Black Scholes Algorithm [57.03116054807942]
  本稿では,複数のテキストプロンプトの交わりで画像を生成することを目的とした,プロンプトミキシングのための新しいアプローチを提案する。 我々は、金融の価格設定に、拡散モデルとブラック・スコイルズ・モデルとの接続を利用する。 我々のプロンプトミキシングアルゴリズムはデータ効率が良いので、追加のトレーニングは必要ない。
  論文  参考訳（メタデータ） (2024-05-22T14:25:57Z)
• Black-Box Tuning of Vision-Language Models with Effective Gradient Approximation [71.21346469382821]
  ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。 CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
  論文  参考訳（メタデータ） (2023-12-26T06:31:28Z)
• Zero Grads: Learning Local Surrogate Losses for Non-Differentiable Graphics [13.558059987555234]
  未定義あるいはゼロの勾配に対して、グラフィックを自動的に最適化する方法を示す。 このフィッティングはパラメータ最適化とともにオンラインで行われ、事前計算されたデータや事前訓練されたモデルなしで自己教師される。 他のアルゴリズムとは対照的に、我々のアプローチはより高次元にスケールし、最大35k変数の問題を実演する。
  論文  参考訳（メタデータ） (2023-08-10T17:57:22Z)
• Regularized Mask Tuning: Uncovering Hidden Knowledge in Pre-trained Vision-Language Models [89.07925369856139]
  我々は,学習可能な選択によってネットワークパラメータをマスクする,正規化マスクチューニングと呼ばれる新しいタイプのチューニング手法を設計する。 神経経路にインスパイアされた我々は、下流タスクに必要な知識は、既にトレーニング済みの重みの中に存在するが、上流のトレーニング済みの段階では隠されていると論じる。 平均2.56%のパラメータをマスキングすることで、ゼロショットのCLIPと比較して18.73%のパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2023-07-27T17:56:05Z)
• Enhancing Black-Box Few-Shot Text Classification with Prompt-Based Data Augmentation [42.05617728412819]
  大規模言語モデルの勾配にアクセスすることなく、少数ショットのテキスト分類を最適化する方法を示す。 我々のアプローチはBT-Classifierと呼ばれ、最先端のブラックボックス学習者よりもはるかに優れています。
  論文  参考訳（メタデータ） (2023-05-23T07:54:34Z)
• Dense RGB SLAM with Neural Implicit Maps [34.37572307973734]
  ニューラル暗黙マップ表現を用いた高密度RGB SLAM法を提案する。 提案手法は,映像フレームの描画と入力を一致させることで,カメラの動きとニューラル暗黙マップを同時に解く。 提案手法は,従来の手法よりも良好な結果が得られ,最近のRGB-D SLAM法を超えている。
  論文  参考訳（メタデータ） (2023-01-21T09:54:07Z)
• Deep Dynamic Scene Deblurring from Optical Flow [53.625999196063574]
  汚れは視覚的により快適な写真を提供し、写真がより便利になる。 非均一な曖昧さを数学的にモデル化することは困難である。 我々は,難解な特徴から鮮明な画像を復元する畳み込みニューラルネットワーク(CNN)を開発した。
  論文  参考訳（メタデータ） (2023-01-18T06:37:21Z)
• Multi-channel Nuclear Norm Minus Frobenius Norm Minimization for Color Image Denoising [9.20787253404652]
  従来の戦略の1つは、RGBイメージを相関の少ない色空間に変換し、新しい空間の各チャネルを別々に識別することである。 本稿では,核ノルムの最小化フレームワークであるフロベニウス・ノルム最小化フレームワークを用いて,カラー画像のマルチチャネル最適化モデルを提案する。 合成および実ノイズデータセットによる実験結果は,提案モデルが最先端モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-16T04:10:29Z)
• BBTv2: Pure Black-Box Optimization Can Be Comparable to Gradient Descent for Few-Shot Learning [83.26610968655815]
  Black-Box Tuningは、言語モデルの入力に先立って、連続的なプロンプトトークンを最適化するためのデリバティブフリーなアプローチである。 BBTv2は、言語モデルをグラデーションベースの最適化に匹敵する結果を得るために駆動する、純粋なブラックボックス最適化手法である。
  論文  参考訳（メタデータ） (2022-05-23T11:10:19Z)
• How to Robustify Black-Box ML Models? A Zeroth-Order Optimization Perspective [74.47093382436823]
  入力クエリと出力フィードバックだけでブラックボックスモデルを堅牢化する方法? 我々は,ブラックボックスモデルに適用可能な防御操作の一般的な概念を提案し,それを復号化スムーシング(DS)のレンズを通して設計する。 我々は,ZO-AE-DSが既存のベースラインよりも精度,堅牢性,クエリの複雑さを向上できることを実証的に示す。
  論文  参考訳（メタデータ） (2022-03-27T03:23:32Z)
• Look at the Variance! Efficient Black-box Explanations with Sobol-based Sensitivity Analysis [29.43533545491625]
  本稿では,感性分析に基礎を置き,ソボの指標を用いた新しい帰属法について述べる。 提案手法は,視覚(および言語モデル)の標準ベンチマークにおいて,好適なスコアとなることを示す。
  論文  参考訳（メタデータ） (2021-11-07T18:01:36Z)
• Preconditioned Plug-and-Play ADMM with Locally Adjustable Denoiser for Image Restoration [54.23646128082018]
  非定常雑音分散のパラメータ化が可能なデノイザを使用するために、プラグアンドプレイの最適化の概念を拡張した。 画素調整可能なデノイザは,適切なプレコンディショニング戦略とともに,いくつかのアプリケーションに対して,プラグアンドプレイADMMアプローチをさらに改善できることを示す。
  論文  参考訳（メタデータ） (2021-10-01T15:46:35Z)
• Non-smooth Bayesian Optimization in Tuning Problems [5.768843113172494]
  代理モデルの構築は、未知のブラックボックス関数を学習しようとする場合の一般的なアプローチである。 クラスター化ガウス過程 (cGP) と呼ばれる新しい加法的ガウス過程モデルを提案し, 加法的成分はクラスタリングによって誘導される。 調査した例では、反復実験で最大90%の性能向上が可能である。
  論文  参考訳（メタデータ） (2021-09-15T20:22:09Z)
• Spatial-Separated Curve Rendering Network for Efficient and High-Resolution Image Harmonization [59.19214040221055]
  本稿では,空間分離型曲線描画ネットワーク(S$2$CRNet)を提案する。 提案手法は従来の手法と比較して90%以上のパラメータを減少させる。 提案手法は,既存の手法よりも10ドル以上高速な高解像度画像をリアルタイムにスムーズに処理することができる。
  論文  参考訳（メタデータ） (2021-09-13T07:20:16Z)
• A Comprehensive Comparison of Multi-Dimensional Image Denoising Methods [14.702885691557638]
  合成と実世界の両方のデータセットで60以上の手法を比較した。 単純な行列ベースのアルゴリズムは、テンソルと同じような結果が得られることを示す。 合成ガウスノイズで訓練されたいくつかのモデルは、実世界のカラー画像とビデオデータセットに最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2020-11-06T16:28:17Z)
• Gaussian MRF Covariance Modeling for Efficient Black-Box Adversarial Attacks [86.88061841975482]
  我々は,ゼロオーダーのオラクルにのみアクセス可能なブラックボックス設定において,逆例を生成する問題について検討する。 我々はこの設定を用いて、FGSM(Fast Gradient Sign Method)のブラックボックス版と同様に、高速な1ステップの敵攻撃を見つける。 提案手法はクエリを少なくし,現在の技術よりも攻撃成功率が高いことを示す。
  論文  参考訳（メタデータ） (2020-10-08T18:36:51Z)
• Tuning-free Plug-and-Play Proximal Algorithm for Inverse Imaging Problems [22.239477171296056]
  Plug-and-play ()は、異なる学習アルゴリズムと先進的なデノイザプリエントを組み合わせた、カスタマイズされていないフレームワークである。 重要な問題です。 ベースとなるアプローチは、手動でパラメータを調整する必要があることです。 提案手法の鍵となるのは,パラメータの自動チューニングのためのネットワークポリシの開発である。 圧縮センシングと位相検索において有望な結果を示す。
  論文  参考訳（メタデータ） (2020-02-22T03:09:48Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。