論文の概要: Black-box model classification under the discriminative factorization

• arxiv url: http://arxiv.org/abs/2605.07878v1
• Date: Fri, 08 May 2026 15:32:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:39.160885
• Title: Black-box model classification under the discriminative factorization
• Title（参考訳）: 判別因数分解に基づくブラックボックスモデル分類
• Authors: Hayden Helm, Merrick Ohata, Carey Priebe,
• Abstract要約: 我々は,ブラックボックスモデルレベルの分類の文脈において,高品質なクエリセットと低品質なクエリセットを区別するために,Emphdiscriminative factorizationを導入する。 そこで本研究では,推定判別フィールドを用いて選択した問合せ集合が,オラクル問合せ集合の試行順序を再現することを示す。
• 参考スコア（独自算出の注目度）: 0.9877005520976847
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Access to modern generative systems is often restricted to querying an API (the ``black-box" setting) and many properties of the system are unknown to the user at inference time. While recent work has shown that low-dimensional representations of models based on the relationship between their embedded responses to a set of queries are useful for inferring model-level properties, the quality of these representations is highly sensitive to the query set. We introduce the \emph{discriminative factorization} to distinguish between high- and low-quality query sets in the context of black-box model-level classification. Under this framework, the probability of chance-level classification decays exponentially in the query budget. On three auditing tasks, estimated factorization parameters predict the empirical performance decay rate. We conclude by showing that query sets selected using the estimated discriminative field reproduce the empirical ordering of oracle query sets.
• Abstract（参考訳）: 現代の生成システムへのアクセスは、しばしばAPI( `black-box" 設定)のクエリに制限される。 近年の研究では、組込み応答とクエリセットの関係に基づくモデルの低次元表現がモデルレベルの特性の推測に有用であることが示されているが、これらの表現の品質はクエリセットに非常に敏感である。 我々は,ブラックボックスモデルレベルの分類の文脈において,高品質なクエリセットと低品質なクエリセットを区別するために,emph{discriminative factorization}を導入する。 この枠組みの下では、クエリ予算において、チャンスレベルの分類の確率は指数関数的に低下する。 3つの監査タスクにおいて、推定因子化パラメータは経験的性能劣化率を予測する。 そこで本研究では,推定判別フィールドを用いて選択した問合せ集合が,オラクル問合せ集合の試行順序を再現することを示す。

関連論文リスト

• Query-efficient model evaluation using cached responses [0.2994962964425238]
  データカーネル・パースペクティブ・スペース(DKPS)に基づくキャッシュモデル応答を利用したベンチマーク性能の予測手法を提案する。 DKPSに基づく手法は,クエリ予算を大幅に削減したベースラインと同じ平均絶対誤差を達成できることを実証する。 提案手法は,参照モデルにおける適合度を最大化するクエリ群を選択するためのオフライン手法である。
  論文  参考訳（メタデータ） (2026-05-08T01:24:06Z)
• TopBench: A Benchmark for Implicit Prediction and Reasoning over Tabular Question Answering [80.93487993878836]
  現実世界のクエリの一般的なクラスは暗黙的に予測され、単に検索するのではなく、歴史的パターンから観測されていない回答を推測する必要がある。 これらのクエリには、潜在意図を認識することと、大規模テーブル上での信頼性の高い予測推論という2つの課題がある。 単点予測から意思決定,処理効果分析,複雑な推論に至るまで,4つのサブタスクにわたる779のサンプルからなるベンチマークであるTopBenchを紹介する。
  論文  参考訳（メタデータ） (2026-04-30T16:22:51Z)
• Cluster Specific Representation Learning [1.6727186769396276]
  広く応用されているにもかかわらず、善の表象の定義は確立されていない。 本稿では,データに固有のクラスタが存在する場合,各クラスタに固有の表現が必要であるという,ダウンストリームに依存しない定式化を提案する。 そこで我々は,クラスタ固有の表現とクラスタ割り当てを共同で学習するメタアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-12-04T16:59:37Z)
• Deep Neural Network Benchmarks for Selective Classification [27.098996474946446]
  複数の選択的な分類フレームワークが存在し、その多くはディープニューラルネットワークアーキテクチャに依存している。 提案手法は,選択誤差率,経験的カバレッジ,拒否されたインスタンスのクラス分布,アウト・オブ・ディストリビューション・インスタンスの性能など,いくつかの基準を用いて評価する。
  論文  参考訳（メタデータ） (2024-01-23T12:15:47Z)
• Mitigating Word Bias in Zero-shot Prompt-based Classifiers [55.60306377044225]
  一致したクラス先行は、オラクルの上界性能と強く相関していることを示す。 また,NLPタスクに対するプロンプト設定において,一貫したパフォーマンス向上を示す。
  論文  参考訳（メタデータ） (2023-09-10T10:57:41Z)
• An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
  解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。 既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。 本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-07T06:50:27Z)
• When in Doubt: Improving Classification Performance with Alternating Normalization [57.39356691967766]
  分類のための非パラメトリック後処理ステップである交互正規化(CAN)を用いた分類を導入する。 CANは、予測されたクラス確率分布を再調整することで、挑戦的な例の分類精度を向上させる。 多様な分類課題にまたがってその効果を実証的に示す。
  論文  参考訳（メタデータ） (2021-09-28T02:55:42Z)
• Hierarchical Representation based Query-Specific Prototypical Network for Few-Shot Image Classification [5.861206243996454]
  少数の画像分類は、少数のラベル付きトレーニングデータで見えないカテゴリを認識することを目的としています。 最近のメトリックベースのフレームワークは、固定されたプロトタイプ(例えば、サポートカテゴリの平均)でサポートクラスを表現し、クエリインスタンスとサポートプロトタイプの類似性に応じて分類する傾向にある。 本稿では,クエリサンプル毎に領域レベルのプロトタイプを生成することで,制約に対処するための階層表現型クエリ固有プロトタイプネットワーク(qpn)を提案する。
  論文  参考訳（メタデータ） (2021-03-21T12:50:05Z)
• Characterizing Fairness Over the Set of Good Models Under Selective Labels [69.64662540443162]
  同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。 到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。 選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
  論文  参考訳（メタデータ） (2021-01-02T02:11:37Z)
• Query Focused Multi-Document Summarization with Distant Supervision [88.39032981994535]
  既存の作業は、クエリとテキストセグメント間の関連性を推定する検索スタイルの手法に大きく依存している。 本稿では,クエリに関連するセグメントを推定するための個別モジュールを導入した粗大なモデリングフレームワークを提案する。 我々のフレームワークは、標準QFSベンチマークにおいて、強力な比較システムよりも優れていることを実証する。
  論文  参考訳（メタデータ） (2020-04-06T22:35:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。