論文の概要: Learning Instance-Specific Parameters of Black-Box Models Using Differentiable Surrogates

• arxiv url: http://arxiv.org/abs/2407.17530v2
• Date: Tue, 26 Nov 2024 16:58:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:23:23.837815
• Title: Learning Instance-Specific Parameters of Black-Box Models Using Differentiable Surrogates
• Title（参考訳）: 微分可能なサロゲートを用いたブラックボックスモデルの特異パラメータの学習
• Authors: Arnisha Khondaker, Nilanjan Ray,
• Abstract要約: 本研究では,ブラックボックスの入力固有パラメータを学習する。 我々は、ブラックボックスの挙動を近似するために、微分可能な代理モデル(ニューラルネットワーク)を用いる。 次に、別のニューラルネットワークをエンドツーエンドで使用して、ブラックボックスの入力インスタンス固有のパラメータを学習する。
• 参考スコア（独自算出の注目度）: 4.995343972237369
• License:
• Abstract: Tuning parameters of a non-differentiable or black-box compute is challenging. Existing methods rely mostly on random sampling or grid sampling from the parameter space. Further, with all the current methods, it is not possible to supply any input specific parameters to the black-box. To the best of our knowledge, for the first time, we are able to learn input-specific parameters for a black box in this work. As a test application, we choose a popular image denoising method BM3D as our black-box compute. Then, we use a differentiable surrogate model (a neural network) to approximate the black-box behaviour. Next, another neural network is used in an end-to-end fashion to learn input instance-specific parameters for the black-box. Motivated by prior advances in surrogate-based optimization, we applied our method to the Smartphone Image Denoising Dataset (SIDD) and the Color Berkeley Segmentation Dataset (CBSD68) for image denoising. The results are compelling, demonstrating a significant increase in PSNR and a notable improvement in SSIM nearing 0.93. Experimental results underscore the effectiveness of our approach in achieving substantial improvements in both model performance and optimization efficiency. For code and implementation details, please refer to our GitHub repository: https://github.com/arnisha-k/instance-specific-param
• Abstract（参考訳）: 非微分可能またはブラックボックス計算のチューニングパラメータは困難である。 既存の手法は主にパラメータ空間からのランダムサンプリングやグリッドサンプリングに依存している。 さらに、現在のすべてのメソッドでは、入力固有のパラメータをブラックボックスに供給することはできない。 私たちの知る限りでは、この研究で初めて、ブラックボックスの入力固有のパラメータを学習できます。 テストアプリケーションとして,ブラックボックス計算としてBM3Dを用いる。 次に、ブラックボックスの挙動を近似するために、微分可能なサロゲートモデル(ニューラルネットワーク)を用いる。 次に、別のニューラルネットワークをエンドツーエンドで使用して、ブラックボックスの入力インスタンス固有のパラメータを学習する。 本手法をスマートフォン画像復調データセット(SIDD)とカラーバークレーセグメンテーションデータセット(CBSD68)に適用した。 結果は説得力があり、PSNRが著しく増加し、SSIMは0.93に近づいた。 実験結果から,モデル性能と最適化効率の両面において,本手法の有効性を実証した。 コードと実装の詳細については、GitHubリポジトリを参照してください。

関連論文リスト

• Accelerated zero-order SGD under high-order smoothness and overparameterized regime [79.85163929026146]
  凸最適化問題を解くための新しい勾配のないアルゴリズムを提案する。 このような問題は医学、物理学、機械学習で発生する。 両種類の雑音下で提案アルゴリズムの収束保証を行う。
  論文  参考訳（メタデータ） (2024-11-21T10:26:17Z)
• Prompt Mixing in Diffusion Models using the Black Scholes Algorithm [57.03116054807942]
  本稿では,複数のテキストプロンプトの交わりで画像を生成することを目的とした,プロンプトミキシングのための新しいアプローチを提案する。 我々は、金融の価格設定に、拡散モデルとブラック・スコイルズ・モデルとの接続を利用する。 我々のプロンプトミキシングアルゴリズムはデータ効率が良いので、追加のトレーニングは必要ない。
  論文  参考訳（メタデータ） (2024-05-22T14:25:57Z)
• Black-Box Tuning of Vision-Language Models with Effective Gradient Approximation [71.21346469382821]
  ブラックボックスモデルに対するテキストプロンプト最適化と出力特徴適応のための協調ブラックボックスチューニング(CBBT)を導入する。 CBBTは11のダウンストリームベンチマークで広範囲に評価され、既存のブラックボックスVL適応法と比較して顕著に改善されている。
  論文  参考訳（メタデータ） (2023-12-26T06:31:28Z)
• Zero Grads: Learning Local Surrogate Losses for Non-Differentiable Graphics [13.558059987555234]
  未定義あるいはゼロの勾配に対して、グラフィックを自動的に最適化する方法を示す。 このフィッティングはパラメータ最適化とともにオンラインで行われ、事前計算されたデータや事前訓練されたモデルなしで自己教師される。 他のアルゴリズムとは対照的に、我々のアプローチはより高次元にスケールし、最大35k変数の問題を実演する。
  論文  参考訳（メタデータ） (2023-08-10T17:57:22Z)
• Enhancing Black-Box Few-Shot Text Classification with Prompt-Based Data Augmentation [42.05617728412819]
  大規模言語モデルの勾配にアクセスすることなく、少数ショットのテキスト分類を最適化する方法を示す。 我々のアプローチはBT-Classifierと呼ばれ、最先端のブラックボックス学習者よりもはるかに優れています。
  論文  参考訳（メタデータ） (2023-05-23T07:54:34Z)
• Multi-channel Nuclear Norm Minus Frobenius Norm Minimization for Color Image Denoising [9.20787253404652]
  従来の戦略の1つは、RGBイメージを相関の少ない色空間に変換し、新しい空間の各チャネルを別々に識別することである。 本稿では,核ノルムの最小化フレームワークであるフロベニウス・ノルム最小化フレームワークを用いて,カラー画像のマルチチャネル最適化モデルを提案する。 合成および実ノイズデータセットによる実験結果は,提案モデルが最先端モデルより優れていることを示す。
  論文  参考訳（メタデータ） (2022-09-16T04:10:29Z)
• BBTv2: Pure Black-Box Optimization Can Be Comparable to Gradient Descent for Few-Shot Learning [83.26610968655815]
  Black-Box Tuningは、言語モデルの入力に先立って、連続的なプロンプトトークンを最適化するためのデリバティブフリーなアプローチである。 BBTv2は、言語モデルをグラデーションベースの最適化に匹敵する結果を得るために駆動する、純粋なブラックボックス最適化手法である。
  論文  参考訳（メタデータ） (2022-05-23T11:10:19Z)
• How to Robustify Black-Box ML Models? A Zeroth-Order Optimization Perspective [74.47093382436823]
  入力クエリと出力フィードバックだけでブラックボックスモデルを堅牢化する方法? 我々は,ブラックボックスモデルに適用可能な防御操作の一般的な概念を提案し,それを復号化スムーシング(DS)のレンズを通して設計する。 我々は,ZO-AE-DSが既存のベースラインよりも精度,堅牢性,クエリの複雑さを向上できることを実証的に示す。
  論文  参考訳（メタデータ） (2022-03-27T03:23:32Z)
• Non-smooth Bayesian Optimization in Tuning Problems [5.768843113172494]
  代理モデルの構築は、未知のブラックボックス関数を学習しようとする場合の一般的なアプローチである。 クラスター化ガウス過程 (cGP) と呼ばれる新しい加法的ガウス過程モデルを提案し, 加法的成分はクラスタリングによって誘導される。 調査した例では、反復実験で最大90%の性能向上が可能である。
  論文  参考訳（メタデータ） (2021-09-15T20:22:09Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。