論文の概要: Keep your Distance: Determining Sampling and Distance Thresholds in Machine Learning Monitoring

• arxiv url: http://arxiv.org/abs/2207.05078v1
• Date: Mon, 11 Jul 2022 14:01:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-14 05:41:21.893737
• Title: Keep your Distance: Determining Sampling and Distance Thresholds in Machine Learning Monitoring
• Title（参考訳）: 距離を保つ: 機械学習モニタリングにおけるサンプリングと距離閾値の決定
• Authors: Al-Harith Farhad, Ioannis Sorokos, Andreas Schmidt, Mohammed Naveed Akram, Koorosh Aslansefat, Daniel Schneider
• Abstract要約: SafeMLはそのような監視を行うためのモデルに依存しないアプローチである。 我々は、SafeMLがよく知られた交通標識認識問題でどのように使用できるかを示す。
• 参考スコア（独自算出の注目度）: 0.4438694272361745
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine Learning~(ML) has provided promising results in recent years across different applications and domains. However, in many cases, qualities such as reliability or even safety need to be ensured. To this end, one important aspect is to determine whether or not ML components are deployed in situations that are appropriate for their application scope. For components whose environments are open and variable, for instance those found in autonomous vehicles, it is therefore important to monitor their operational situation to determine its distance from the ML components' trained scope. If that distance is deemed too great, the application may choose to consider the ML component outcome unreliable and switch to alternatives, e.g. using human operator input instead. SafeML is a model-agnostic approach for performing such monitoring, using distance measures based on statistical testing of the training and operational datasets. Limitations in setting SafeML up properly include the lack of a systematic approach for determining, for a given application, how many operational samples are needed to yield reliable distance information as well as to determine an appropriate distance threshold. In this work, we address these limitations by providing a practical approach and demonstrate its use in a well known traffic sign recognition problem, and on an example using the CARLA open-source automotive simulator.
• Abstract（参考訳）: 機械学習~(ML)は近年、様々なアプリケーションやドメインで有望な結果を提供している。 しかし、多くの場合、信頼性や安全性などの品質を確保する必要がある。 この目的のために重要なのは、MLコンポーネントがアプリケーションスコープに適した状況にデプロイされているかどうかを判断することだ。 環境がオープンで変動しているコンポーネント、例えば自動運転車で見られるコンポーネントにとって、MLコンポーネントのトレーニング対象からの距離を決定するために運用状況を監視することが重要である。 この距離が大きすぎると判断された場合、アプリケーションはMLコンポーネントの結果を信頼できないと判断し、代わりにヒューマン演算子入力を使用するような代替に切り替える。 SafeMLは、トレーニングと運用データセットの統計的テストに基づいた距離測定を使用して、このような監視を行うためのモデルに依存しないアプローチである。 safemlを適切に設定する上での制限には、適切な距離しきい値を決定するだけでなく、信頼できる距離情報を得るために必要な運用サンプル数を決定するための体系的なアプローチの欠如が含まれている。 本研究では,実用的な手法を提供し,よく知られた交通標識認識問題やcarlaオープンソース自動車シミュレータを用いた実例での使用例を示すことで,これらの制約に対処する。

関連論文リスト

• Detecting Training Data of Large Language Models via Expectation Maximization [62.28028046993391]
  メンバーシップ推論攻撃(MIA)は、特定のインスタンスがターゲットモデルのトレーニングデータの一部であるかどうかを判断することを目的としている。 大規模言語モデル(LLM)にMIAを適用することは、事前学習データの大規模化と、会員シップのあいまいさによって、ユニークな課題をもたらす。 EM-MIAは,予測最大化アルゴリズムを用いて,メンバーシップスコアとプレフィックススコアを反復的に洗練するLLMの新しいMIA手法である。
  論文  参考訳（メタデータ） (2024-10-10T03:31:16Z)
• A Superalignment Framework in Autonomous Driving with Large Language Models [2.650382010271]
  大規模言語モデル (LLM) と多モード大規模言語モデル (MLLM) は、自律運転において広く使われている。 その重要性にもかかわらず、自動運転におけるLLMのセキュリティの側面は未解明のままである。 本研究は,マルチエージェントLLMアプローチを利用した,自動運転車の新たなセキュリティフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-09T05:26:38Z)
• Detectors for Safe and Reliable LLMs: Implementations, Uses, and Limitations [76.19419888353586]
  大規模言語モデル(LLM)は、不誠実なアウトプットからバイアスや有害な世代に至るまで、さまざまなリスクを受けやすい。 我々は,様々な害のラベルを提供するコンパクトで容易に構築できる分類モデルである,検出器のライブラリを作成し,展開する取り組みについて述べる。
  論文  参考訳（メタデータ） (2024-03-09T21:07:16Z)
• Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。 我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。 様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
  論文  参考訳（メタデータ） (2024-02-12T17:52:05Z)
• Scope Compliance Uncertainty Estimate [0.4262974002462632]
  SafeMLはそのような監視を行うためのモデルに依存しないアプローチである。 この研究は、二項決定を連続計量に変換することによってこれらの制限に対処する。
  論文  参考訳（メタデータ） (2023-12-17T19:44:20Z)
• Designing monitoring strategies for deployed machine learning algorithms: navigating performativity through a causal lens [6.329470650220206]
  この研究の目的は、監視戦略を設計する際の比較的過小評価されている複雑さを強調することである。 MLに基づく未計画の読み出し予測のためのリスク予測アルゴリズムについて検討する。 このケーススタディの結果は、すべての監視システムが平等に作成されるわけではないという、一見単純な(そして明らかな)事実を強調します。
  論文  参考訳（メタデータ） (2023-11-20T00:15:16Z)
• DARTH: Holistic Test-time Adaptation for Multiple Object Tracking [87.72019733473562]
  複数物体追跡(MOT)は、自律運転における知覚システムの基本的構成要素である。 運転システムの安全性の追求にもかかわらず、テスト時間条件における領域シフトに対するMOT適応問題に対する解決策は提案されていない。 我々はMOTの総合的なテスト時間適応フレームワークであるDARTHを紹介する。
  論文  参考訳（メタデータ） (2023-10-03T10:10:42Z)
• MLGuard: Defend Your Machine Learning Model! [3.4069804433026314]
  機械学習アプリケーションのコントラクトを指定する新しいアプローチであるMLGuardを提案する。 私たちの仕事は、MLアプリケーションの構築と安全性の監視に必要な、包括的なフレームワークを提供することを目的としています。
  論文  参考訳（メタデータ） (2023-09-04T06:08:11Z)
• StaDRe and StaDRo: Reliability and Robustness Estimation of ML-based Forecasting using Statistical Distance Measures [0.476203519165013]
  本研究は,時系列データに対するSafeMLの利用,および統計的距離測定を用いたML予測手法の信頼性とロバスト性評価に焦点をあてる。 本稿では,SDDに基づく信頼性評価(StaDRe)とSDDに基づくロバストネス(StaDRo)の尺度を提案する。 クラスタリング手法の助けを借りて、トレーニング中に見られるデータの統計的特性と予測との類似性を同定する。
  論文  参考訳（メタデータ） (2022-06-17T19:52:48Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)
• Detecting 32 Pedestrian Attributes for Autonomous Vehicles [103.87351701138554]
  本稿では、歩行者を共同で検出し、32の歩行者属性を認識するという課題に対処する。 本稿では,複合フィールドフレームワークを用いたマルチタスク学習(MTL)モデルを提案する。 競合検出と属性認識の結果と,より安定したMTLトレーニングを示す。
  論文  参考訳（メタデータ） (2020-12-04T15:10:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。