論文の概要: Earning Extra Performance from Restrictive Feedbacks

• arxiv url: http://arxiv.org/abs/2304.14831v2
• Date: Fri, 28 Jul 2023 07:51:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-31 15:53:36.943018
• Title: Earning Extra Performance from Restrictive Feedbacks
• Title（参考訳）: 制限フィードバックによる余剰性能の評価
• Authors: Jing Li, Yuangang Pan, Yueming Lyu, Yinghua Yao, Yulei Sui, and Ivor W. Tsang
• Abstract要約: モデルチューニング問題の形式を記述するために,rerestriCTive feeddbacks (EXPECTED) から emphEarning eXtra PerformancE という課題を設定した。 モデルプロバイダの目標は、最終的にフィードバックを利用することで、ローカルユーザに対して満足のいくモデルを提供することです。 本稿では,パラメータ分布を探索し,モデルパラメータに関するモデル性能の幾何を特徴付けることを提案する。
• 参考スコア（独自算出の注目度）: 41.05874087063763
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Many machine learning applications encounter a situation where model providers are required to further refine the previously trained model so as to gratify the specific need of local users. This problem is reduced to the standard model tuning paradigm if the target data is permissibly fed to the model. However, it is rather difficult in a wide range of practical cases where target data is not shared with model providers but commonly some evaluations about the model are accessible. In this paper, we formally set up a challenge named \emph{Earning eXtra PerformancE from restriCTive feEDdbacks} (EXPECTED) to describe this form of model tuning problems. Concretely, EXPECTED admits a model provider to access the operational performance of the candidate model multiple times via feedback from a local user (or a group of users). The goal of the model provider is to eventually deliver a satisfactory model to the local user(s) by utilizing the feedbacks. Unlike existing model tuning methods where the target data is always ready for calculating model gradients, the model providers in EXPECTED only see some feedbacks which could be as simple as scalars, such as inference accuracy or usage rate. To enable tuning in this restrictive circumstance, we propose to characterize the geometry of the model performance with regard to model parameters through exploring the parameters' distribution. In particular, for the deep models whose parameters distribute across multiple layers, a more query-efficient algorithm is further tailor-designed that conducts layerwise tuning with more attention to those layers which pay off better. Extensive experiments on different applications demonstrate that our work forges a sound solution to the EXPECTED problem. Code is available via https://github.com/kylejingli/EXPECTED.
• Abstract（参考訳）: 多くの機械学習アプリケーションは、モデルプロバイダが、事前訓練されたモデルをさらに洗練して、ローカルユーザのニーズを満足させる必要がある状況に遭遇する。 この問題は、対象データがモデルに許容的に供給されると、標準モデルチューニングパラダイムに還元される。 しかし、モデルプロバイダとターゲットデータを共有していないが、一般的にはモデルに関するいくつかの評価がアクセス可能であるような、幅広いケースでは、かなり困難である。 本稿では,このモデルチューニング問題を記述するために,rerestriCTive feeddbacks} (EXPECTED) から \emph{Earning eXtra PerformancE という課題を正式に設定した。 具体的には、ローカルユーザ(あるいはユーザグループ)からのフィードバックを通じて、モデルプロバイダが複数回、候補モデルの運用パフォーマンスにアクセスすることを許可する。 モデルプロバイダの目標は、最終的にフィードバックを利用することで、ローカルユーザに対して満足いくモデルを提供することです。 対象データが常にモデル勾配を計算する準備ができている既存のモデルチューニング方法とは異なり、EXPECTEDのモデルプロバイダは、推測精度や使用率など、スカラーと同じくらい単純なフィードバックしか見ていない。 この制約条件下でのチューニングを可能にするために,パラメータ分布を探索し,モデルパラメータに関するモデル性能の幾何を特徴付けることを提案する。 特に、パラメータが複数の層に分散する深いモデルでは、よりクエリ効率のよいアルゴリズムがさらに設計され、より注意を払って層ごとにチューニングを行う。 様々な応用に関する広範な実験は、我々の研究が期待する問題に対する正しい解決策をもたらすことを示している。 コードはhttps://github.com/kylejingli/expectedで入手できる。

関連論文リスト

• Generating Model Parameters for Controlling: Parameter Diffusion for Controllable Multi-Task Recommendation [8.77762056359264]
  PaDiRecは、リトレーニングなしで、リコメンデーションモデルパラメータを新しいタスク要求にカスタマイズおよび適応することを可能にする。 パラメータ生成として拡散モデルを用い、条件付きトレーニングにおいてアダプタフリーガイダンスを用いて最適化されたモデルパラメータの分布を学習する。 モデルに依存しないアプローチとして、PaDiRecは既存のレコメンデーションモデルをバックボーンとして利用して、コントロール性を高めることができる。
  論文  参考訳（メタデータ） (2024-10-14T15:50:35Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
  我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。 SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。 画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
  論文  参考訳（メタデータ） (2024-08-19T17:32:15Z)
• FIARSE: Model-Heterogeneous Federated Learning via Importance-Aware Submodel Extraction [26.26211464623954]
  Federated Importance-Aware Submodel extract (FIARSE)は、モデルパラメータの重要性に基づいて、サブモデルを動的に調整する新しいアプローチである。 既存の研究と比較して,提案手法はサブモデル抽出の理論的基礎を提供する。 提案したFIARSEの優れた性能を示すため,様々なデータセットで大規模な実験を行った。
  論文  参考訳（メタデータ） (2024-07-28T04:10:11Z)
• Studying How to Efficiently and Effectively Guide Models with Explanations [52.498055901649025]
  「モデルガイダンス」とは「正しい理由のために正しい」ことを保証するためにモデルの説明を規則化する考え方である。 PASCAL VOC 2007 および MS COCO 2014 データセット上で, 各種損失関数, 帰属方法, モデル, 誘導深度について詳細な評価を行う。 具体的には、一般的に使用されるセグメンテーションマスクよりもはるかに安価で入手可能なバウンディングボックスアノテーションを用いてモデルをガイドする。
  論文  参考訳（メタデータ） (2023-03-21T15:34:50Z)
• Multidimensional Item Response Theory in the Style of Collaborative Filtering [0.8057006406834467]
  本稿では,多次元項目応答理論(MIRT)に対する機械学習手法を提案する。 協調フィルタリングに触発されて、多くのMIRTモデルを含むモデルの一般的なクラスを定義します。 本稿では, 個人モデルとクロスバリデーションを推定し, 最適動作モデルを選択するために, ペナル化結合最大度(JML)の使用について論じる。
  論文  参考訳（メタデータ） (2023-01-03T00:56:27Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [51.8162883997512]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• Model Reuse with Reduced Kernel Mean Embedding Specification [70.044322798187]
  現在のアプリケーションで有用なモデルを見つけるための2段階のフレームワークを提案する。 アップロードフェーズでは、モデルがプールにアップロードされている場合、モデルの仕様としてカーネル平均埋め込み(RKME)を縮小する。 デプロイフェーズでは、RKME仕様の値に基づいて、現在のタスクと事前訓練されたモデルの関連性を測定する。
  論文  参考訳（メタデータ） (2020-01-20T15:15:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。