論文の概要: Prime Once, then Reprogram Locally: An Efficient Alternative to Black-Box Service Model Adaptation

• arxiv url: http://arxiv.org/abs/2604.01474v1
• Date: Wed, 01 Apr 2026 23:31:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.106934
• Title: Prime Once, then Reprogram Locally: An Efficient Alternative to Black-Box Service Model Adaptation
• Title（参考訳）: Prime Once, then Reprogramly: Black-Box Service Model Adaptationの効率的な代替手段
• Authors: Yunbei Zhang, Chengyi Cai, Feng Liu, Jihun Hamm,
• Abstract要約: サービスモデル(AReS)の代替的効率的な再プログラミング手法を提案する。 AReSは、アメニブルなローカルトレーニング済みエンコーダをプライマリ化するために、サービスAPIとのシングルパスインタラクションを開始する。 実験では、以前のZOOベースのメソッドが苦労するAReSの有効性を示す。
• 参考スコア（独自算出の注目度）: 16.010988873048998
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Adapting closed-box service models (i.e., APIs) for target tasks typically relies on reprogramming via Zeroth-Order Optimization (ZOO). However, this standard strategy is known for extensive, costly API calls and often suffers from slow, unstable optimization. Furthermore, we observe that this paradigm faces new challenges with modern APIs (e.g., GPT-4o). These models can be less sensitive to the input perturbations ZOO relies on, thereby hindering performance gains. To address these limitations, we propose an Alternative efficient Reprogramming approach for Service models (AReS). Instead of direct, continuous closed-box optimization, AReS initiates a single-pass interaction with the service API to prime an amenable local pre-trained encoder. This priming stage trains only a lightweight layer on top of the local encoder, making it highly receptive to the subsequent glass-box (white-box) reprogramming stage performed directly on the local model. Consequently, all subsequent adaptation and inference rely solely on this local proxy, eliminating all further API costs. Experiments demonstrate AReS's effectiveness where prior ZOO-based methods struggle: on GPT-4o, AReS achieves a +27.8% gain over the zero-shot baseline, a task where ZOO-based methods provide little to no improvement. Broadly, across ten diverse datasets, AReS outperforms state-of-the-art methods (+2.5% for VLMs, +15.6% for standard VMs) while reducing API calls by over 99.99%. AReS thus provides a robust and practical solution for adapting modern closed-box models.
• Abstract（参考訳）: ターゲットタスクに対するクローズドボックスサービスモデル(つまりAPI)の適応は通常、ゼロ階最適化(ZOO)による再プログラミングに依存します。 しかし、この標準戦略は広範囲でコストのかかるAPI呼び出しで知られており、しばしば遅くて不安定な最適化に悩まされる。 さらに、このパラダイムは、現代的なAPI(例えば、GPT-4o)で新しい課題に直面していることを観察する。 これらのモデルは、ZOOが依存する入力摂動に敏感でないため、性能向上を妨げる可能性がある。 これらの制約に対処するため,サービスモデル(AReS)の代替的効率的な再プログラミング手法を提案する。 直接的かつ連続的なクローズドボックス最適化の代わりに、AReSはサービスAPIとのシングルパスインタラクションを開始し、アメニブルなローカルトレーニング済みエンコーダをプライマリする。 このプライミングステージは、ローカルエンコーダの上の軽量層のみを走行し、その後のガラス箱(ホワイトボックス)のリプログラミングステージがローカルモデルで直接実行されたことを非常に受け入れる。 結果として、その後のすべての適応と推論は、このローカルプロキシにのみ依存し、さらに多くのAPIコストを削減します。 GPT-4oでは、ZOOベースのメソッドがほとんど改善しないタスクであるゼロショットベースラインに対して、AReSは+27.8%向上した。 10種類の多様なデータセットで、AReSは最先端のメソッド(VLMでは+2.5%、標準VMでは+15.6%)を上回り、API呼び出しを99.99%以上削減している。 AReSは現代のクローズドボックスモデルに適応するための堅牢で実用的なソリューションを提供する。

関連論文リスト

• Layer-wise LoRA fine-tuning: a similarity metric approach [0.6323908398583081]
  Low-Rank Adaptation (LoRA) 技術は、事前学習されたモデルを凍結し、少数のパラメータを更新することで、このプロセスの計算コストを削減することを目的としている。 従来の問題に対して,LoRAやその変種を用いて,少数の層のみを微調整に体系的に選択することで対処する。 異なるモデルやタスク間で予測性能を維持しながら、LoRAベースのテクニックのトレーニング可能なパラメータを最大50%削減する。
  論文  参考訳（メタデータ） (2026-02-05T18:38:53Z)
• MERGETUNE: Continued fine-tuning of vision-language models [77.8627788911249]
  微調整視覚言語モデル(VLM)は、しばしば事前訓練された知識を破滅的に忘れてしまう。 ゼロショットモデルに適応した後に事前学習した知識を回復するための新しいパラダイムである連続微調整(CFT)を導入する。
  論文  参考訳（メタデータ） (2026-01-15T15:15:53Z)
• Advanced Black-Box Tuning of Large Language Models with Limited API Calls [20.29862533577494]
  ブラックボックスチューニングは、より大きな言語モデル(LLM)を望ましい振る舞いに適応するための新たなパラダイムである。 限られたAPI呼び出しを持つLLMのための新しい高度なブラックボックスチューニング手法を提案する。 提案手法では,事前学習した言語モデルの精度を55.92%から86.85%に引き上げ,APIクエリの頻度を1.38%に削減する。
  論文  参考訳（メタデータ） (2025-11-13T11:32:08Z)
• Logits Replay + MoClip: Stabilized, Low-Cost Post-Training with Minimal Forgetting [6.653834890554154]
  Logits Replay + MoClipは,ロジット空間の監視を圧縮し,更新レベルでの最適化を安定化するフレームワークである。 提案手法は,一般的なベンチマークでの忘れを軽減しつつ,コミュニケーション技術タスクのドメイン性能を向上する。
  論文  参考訳（メタデータ） (2025-10-10T08:55:32Z)
• POME: Post Optimization Model Edit via Muon-style Projection [74.73326657229347]
  POME(Post-Optimization Model Edit)は、微調整された大規模言語モデルの性能を向上させる。 デルタW$のミューオン式のプロジェクションを使い、微調整された重量と事前訓練された重量の違いを区別する。 単純な後処理ステップとして、POMEはトレーニングパイプラインから完全に分離される。
  論文  参考訳（メタデータ） (2025-10-08T04:20:11Z)
• Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
  インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。 対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。 我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
  論文  参考訳（メタデータ） (2025-02-03T18:35:42Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
  量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。 種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:09:56Z)
• Sharpness-Aware Minimization for Efficiently Improving Generalization [36.87818971067698]
  本稿では,損失値と損失シャープネスを同時に最小化する新しい効果的な手法を提案する。 シャープネス・アウェアの最小化(SAM)は、一様損失の少ない地区にあるパラメータを求める。 SAMは様々なベンチマークデータセットのモデル一般化を改善することを示す実験結果を示す。
  論文  参考訳（メタデータ） (2020-10-03T19:02:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。