論文の概要: Model Equality Testing: Which Model Is This API Serving?

• arxiv url: http://arxiv.org/abs/2410.20247v1
• Date: Sat, 26 Oct 2024 18:34:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-29 12:21:48.176272
• Title: Model Equality Testing: Which Model Is This API Serving?
• Title（参考訳）: モデル品質テスト: このAPIはどのモデルで実行されているか?
• Authors: Irena Gao, Percy Liang, Carlos Guestrin,
• Abstract要約: 2サンプルテスト問題であるモデル品質テストのような歪みの検出を形式化する。 単純な文字列カーネル上に構築されたテストは、歪みの範囲に対して77.4%の中央値を達成する。 次に、このテストを4つのLlamaモデルの商用推論APIに適用し、31のエンドポイントのうち11がMetaがリリースしたリファレンスウェイトとは異なる分布を提供することがわかった。
• 参考スコア（独自算出の注目度）: 59.005869726179455
• License:
• Abstract: Users often interact with large language models through black-box inference APIs, both for closed- and open-weight models (e.g., Llama models are popularly accessed via Amazon Bedrock and Azure AI Studio). In order to cut costs or add functionality, API providers may quantize, watermark, or finetune the underlying model, changing the output distribution -- often without notifying users. We formalize detecting such distortions as Model Equality Testing, a two-sample testing problem, where the user collects samples from the API and a reference distribution and conducts a statistical test to see if the two distributions are the same. We find that tests based on the Maximum Mean Discrepancy between distributions are powerful for this task: a test built on a simple string kernel achieves a median of 77.4% power against a range of distortions, using an average of just 10 samples per prompt. We then apply this test to commercial inference APIs for four Llama models, finding that 11 out of 31 endpoints serve different distributions than reference weights released by Meta.
• Abstract（参考訳）: ユーザーはブラックボックス推論APIを通じて、クローズドモデルとオープンウェイトモデルの両方(例えば、LlamaモデルはAmazon BedrockとAzure AI Studioを介して一般的にアクセスされる)で、大きな言語モデルと対話することが多い。 コスト削減や機能追加のために、APIプロバイダは、基礎となるモデルを定量化し、透かし、微調整し、出力分布を変更します。 モデル平等テスト(Model Equality Testing)や2サンプルテスト問題(2サンプルテスト)のような歪みの検出を形式化し,APIと参照分布からサンプルを収集し,2つの分布が同じかどうかを統計的に検証する。 単純な文字列カーネル上に構築されたテストは、各プロンプト平均10個のサンプルを使用して、様々な歪みに対して77.4%の中央値を達成する。 次に、このテストを4つのLlamaモデルの商用推論APIに適用し、31のエンドポイントのうち11がMetaがリリースしたリファレンスウェイトとは異なる分布を提供することがわかった。

関連論文リスト

• Adapted-MoE: Mixture of Experts with Test-Time Adaption for Anomaly Detection [10.12283550685127]
  そこで本稿では,同カテゴリの複数の分布を分割・分割して処理するAdapted-MoEを提案する。 具体的には,同じカテゴリのサンプルをサブクラスの特徴空間にルーティングする表現学習に基づくルーティングネットワークを提案する。 本研究では,未確認のサンプル表現と専門家モデルで学習した特徴分布の偏りを取り除くために,テスト時間適応を提案する。
  論文  参考訳（メタデータ） (2024-09-09T13:49:09Z)
• Perturb-and-Compare Approach for Detecting Out-of-Distribution Samples in Constrained Access Environments [20.554546406575]
  我々は,モデルのパラメータやアクティベーションがエンドユーザにアクセスできない場合でも適用可能なOOD検出フレームワークであるMixDiffを提案する。 モデルからの過信出力を誘導するOODサンプルの識別におけるMixDiffの有効性について理論的解析を行った。
  論文  参考訳（メタデータ） (2024-08-19T15:51:31Z)
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
  生成したサンプルの数を増やすことで、別の軸として推論計算を探索する。 すべての回答を自動的に検証できるコーディングや形式証明のようなドメインでは、カバレッジの増加は直接的にパフォーマンスの向上に変換される。 多くの世代から正しいサンプルを同定することは、自動検証のない領域における将来の研究にとって重要な方向である。
  論文  参考訳（メタデータ） (2024-07-31T17:57:25Z)
• DistPred: A Distribution-Free Probabilistic Inference Method for Regression and Forecasting [14.390842560217743]
  本稿では、回帰予測タスクのためのDistPredという新しい手法を提案する。 予測分布と対象分布の差分を測定するための適切なスコアリングルールを、微分可能な離散形式に変換する。 これにより、モデルは単一のフォワードパスで多数のサンプルをサンプリングし、応答変数の潜在的分布を推定することができる。
  論文  参考訳（メタデータ） (2024-06-17T10:33:00Z)
• Active Sequential Two-Sample Testing [18.99517340397671]
  サンプル測定が安価に利用できる新しいシナリオでは,この2サンプルテストの問題を考慮する。 我々は,emphactiveNIST-sampleテストフレームワークを考案し,逐次クエリだけでなく,emphactivelyクエリも考案した。 実際に、我々はフレームワークのインスタンス化を導入し、いくつかの実験を用いて評価する。
  論文  参考訳（メタデータ） (2023-01-30T02:23:49Z)
• Unite and Conquer: Plug & Play Multi-Modal Synthesis using Diffusion Models [54.1843419649895]
  拡散確率モデル(DDPM)に基づく解を提案する。 他の生成モデルよりも拡散モデルを選択する動機は、拡散モデルの柔軟な内部構造に由来する。 提案手法は,複数のサブタスクで訓練された複数の拡散モデルを統一し,組み合わせたタスクを克服する。
  論文  参考訳（メタデータ） (2022-12-01T18:59:55Z)
• Predicting Out-of-Distribution Error with the Projection Norm [87.61489137914693]
  射影ノルムは、地上の真理ラベルにアクセスすることなく、分布外データ上でモデルのパフォーマンスを予測する。 対数例で非自明な検出性能を実現するには,プロジェクションノルムが唯一の方法であることがわかった。
  論文  参考訳（メタデータ） (2022-02-11T18:58:21Z)
• SITA: Single Image Test-time Adaptation [48.789568233682296]
  テスト時間適応(TTA)では、あるソースデータに基づいてトレーニングされたモデルを考えると、異なるディストリビューションからテストインスタンスに対してより良い予測を行うように適応することが目標である。 我々は、TTAをSITA(Single Image Test-time Adaptation)と呼ぶより実践的な環境で考える。 ここでは、各予測を行う場合、モデルはインスタンスのバッチではなく、与えられた単一のテストインスタンスにのみアクセスすることができる。 本稿では,前進保存伝播のみを必要とするSITA設定のための新しいアプローチAugBNを提案する。
  論文  参考訳（メタデータ） (2021-12-04T15:01:35Z)
• Significance tests of feature relevance for a blackbox learner [6.72450543613463]
  ブラックボックス学習者の特徴関連性に関する2つの一貫した試験を導出する。 第1は、推論サンプルの摂動による損失差を評価する。 2つ目は推論サンプルを2つに分割するが、データの摂動は必要ない。
  論文  参考訳（メタデータ） (2021-03-02T00:59:19Z)
• Two-Sample Testing on Ranked Preference Data and the Role of Modeling Assumptions [57.77347280992548]
  本稿では,ペアワイズ比較データとランキングデータのための2サンプル試験を設計する。 私たちのテストでは、基本的に分布に関する仮定は必要ありません。 実世界のペアワイズ比較データに2サンプルテストを適用することで、人によって提供される評価とランキングは、実際は異なる分散である、と結論付ける。
  論文  参考訳（メタデータ） (2020-06-21T20:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。