論文の概要: Identifying Intelligent Processes via Online Sequential Testing

• arxiv url: http://arxiv.org/abs/2609.26193v1
• Date: Mon, 10 Aug 2026 08:57:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.919554
• Title: Identifying Intelligent Processes via Online Sequential Testing
• Title（参考訳）: オンラインシーケンステストによるインテリジェントプロセスの同定
• Abstract要約: アクティブシーケンシャルな仮説テストは、与えられた一連の検知アクションで未知の仮説を特定する方法を研究する。 最小限のコストでどの評価を行うかを選択することで、各候補が区別されるようにすることが、まさに重み付き集合被覆問題であることを示す。 内部問題として,未知のモデルを特定するのに必要な評価の数を,各候補をどの程度の精度で区別するかという点で限定する。
• 参考スコア（独自算出の注目度）: 5.058265355605029
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Active sequential hypothesis testing studies how to identify an unknown hypothesis with a given set of sensing actions. We study this in the setting of identifying large language models (LLMs), \textit{i.e.}, if a user is conversing with an LLM drawn from a known set of models, how can they identify which one is in use? Here, the available sensing actions (evaluations) are themselves a design choice: an evaluator must first decide which environments and prompt families to construct, and only then decide how to use them sequentially. We formalize these two levels as an outer probe-design problem and an inner identification problem. Simply put, the outer stage selects a set of probes to be sent to the entire set of models, creating a kind of fingerprint dataset. This is followed by the inner stage, which sequentially sends a budget-minimizing set of those probes to identify the model in use. For the outer problem, we show that selecting which evaluations to construct at minimum cost, so that every pair of candidates is distinguished, is exactly a weighted set cover problem. Since the response distributions of the candidate models are not known exactly but only through calibration samples, we give a one-shot procedure that estimates the cover instance from these samples. For the inner problem, we bound the number of evaluations needed to identify the unknown model in terms of how well the available evaluations distinguish each pair of candidates.
• Abstract（参考訳）: アクティブシーケンシャル仮説テスト(英: Active sequence hypothesis testing)は、未知の仮説を与えられた一連の検知アクションで識別する方法を研究する。 大型言語モデル (LLMs) や \textit{i.e.} を識別する場合、ユーザが既知のモデルのセットからLLMと会話する場合、どのモデルが使われているかを特定するにはどうすればよいか。 評価者はまず、どの環境を構築し、家族に構築を促すかを決め、次にそれらを順次使用するかを決めなければなりません。 我々は、これらの2つのレベルを、外的プローブ設計問題と内的識別問題として定式化する。 簡単に言うと、外側のステージは一連のプローブを選択して、モデル全体へ送信し、一種の指紋データセットを作成する。 これに続いて、内部ステージは、それらのプローブの予算最小化セットを順次送信し、使用中のモデルを識別する。 外部問題に対して、どの評価を最小コストで構築するかを選択することは、各候補が区別されるように、ちょうど重み付き集合被覆問題であることを示す。 候補モデルの応答分布は正確には分かっていないが, キャリブレーションサンプルのみでは分かっていないため, これらのサンプルからカバーインスタンスを推定するワンショットプロシージャを提案する。 内部問題として,未知のモデルを特定するのに必要な評価の数を,各候補をどの程度の精度で区別するかという点で限定する。

関連論文リスト

• Probably Approximately Precision and Recall Learning [60.00180898830079]
  機械学習における重要な課題は、一方的なフィードバックの頻度である。 本稿では,確率的近似(PAC)フレームワークを導入し,各入力をラベルの集合にマッピングする仮説を定めている。 我々は、正のデータのみから学習する新しいアルゴリズムを開発し、実現可能な場合において最適なサンプル複雑性を実現する。
  論文  参考訳（メタデータ） (2024-11-20T04:21:07Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Zero-shot Model Diagnosis [80.36063332820568]
  ディープラーニングモデルを評価するための一般的なアプローチは、興味のある属性を持つラベル付きテストセットを構築し、そのパフォーマンスを評価することである。 本稿では,ゼロショットモデル診断(ZOOM)がテストセットやラベル付けを必要とせずに可能であることを論じる。
  論文  参考訳（メタデータ） (2023-03-27T17:59:33Z)
• Personalized Interpretable Classification [6.694135469324352]
  我々は、新たなデータマイニング問題として、パーソナライズされた解釈可能な分類を正式に導入する第一歩を踏み出します。 個々のテストサンプルに対してパーソナライズされたルールを識別するために,PICというグリージーなアルゴリズムを提案する。 我々のアルゴリズムは、最先端のSOTA(State-of-the-art)の解釈と同じレベルの予測精度を達成できる。
  論文  参考訳（メタデータ） (2023-02-06T01:59:16Z)
• Learning Classifiers of Prototypes and Reciprocal Points for Universal Domain Adaptation [79.62038105814658]
  Universal Domainは、ドメインシフトとカテゴリシフトという2つのシフトを処理して、データセット間で知識を転送することを目的としている。 主な課題は、既知のクラス知識の分布をソースからターゲットに適応させながら、未知のターゲットサンプルを正しく識別することである。 既存のほとんどの手法は、まずターゲットが適応した既知の知識を訓練し、次に未知のターゲットサンプルを識別するために単一のしきい値に依存することでこの問題に対処する。
  論文  参考訳（メタデータ） (2022-12-16T09:01:57Z)
• Selection by Prediction with Conformal p-values [7.917044695538599]
  本研究では,未観測結果がユーザ指定値を超える候補を選択するためのスクリーニング手順について検討する。 本研究では,任意の予測モデルをラップして候補のサブセットを生成する手法を開発した。
  論文  参考訳（メタデータ） (2022-10-04T06:34:49Z)
• Statistical and Computational Phase Transitions in Group Testing [73.55361918807883]
  本研究の目的は、希少な疾患を患っているk人の集団を同定することである。 個々人のテストを割り当てるための2つの異なる単純なランダムな手順を考える。
  論文  参考訳（メタデータ） (2022-06-15T16:38:50Z)
• Modeling and Correcting Bias in Sequential Evaluation [10.852140754372193]
  逐次評価の問題は、評価者が連続して候補者を観察し、これらの候補者にオンラインで不可解な方法でスコアを割り当てることである。 このような環境下での逐次バイアスを研究してきた心理学文献に触発され,評価者の評価過程の自然なモデルを提案する。 クラウドソーシング実験を行い、モデルの様々な側面を実証する。
  論文  参考訳（メタデータ） (2022-05-03T16:38:13Z)
• Self-Paced Uncertainty Estimation for One-shot Person Re-Identification [9.17071384578203]
  本稿では,単発人物の自己ペース不確実性推定ネットワーク(spue-net)を提案する。 自己ペースサンプリング戦略を導入することで,ラベルなしサンプルの擬似ラベルを反復的に推定し,ラベル付きサンプルを拡張できる。 さらに,局所不確実性推定と決定性推定を併用した協調学習手法を適用し,より優れた隠れ空間特徴抽出を実現する。
  論文  参考訳（メタデータ） (2021-04-19T09:20:30Z)
• Evaluating Models' Local Decision Boundaries via Contrast Sets [119.38387782979474]
  テストデータの体系的なギャップを埋めるのに役立つNLPのための新しいアノテーションパラダイムを提案する。 10種類のNLPデータセットに対してコントラストセットを作成することで,コントラストセットの有効性を示す。 我々のコントラストセットは明示的には逆ではないが、モデルの性能は元のテストセットよりも大幅に低い。
  論文  参考訳（メタデータ） (2020-04-06T14:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。