論文の概要: Adversarial Multiplicity: Cherry-Picked Models and the Limits of Disclosure
- arxiv url: http://arxiv.org/abs/2611.07378v1
- Date: Thu, 05 Nov 2026 03:32:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.500789
- Title: Adversarial Multiplicity: Cherry-Picked Models and the Limits of Disclosure
- Title(参考訳): 逆多重性:チェリーピックモデルと開示限界
- Abstract要約: 予測性能が最小限に抑えられるように、十分なフレキシブルなモデルを操作できることを見出した。
我々は、事前登録、モデルトレーニングの証明、感度分析、マルチメトリック評価、バージョニングされたパブリックモデルへのコミットといった緩和策を推奨する。
- 参考スコア(独自算出の注目度): 13.272771633582165
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predictive multiplicity -- where similarly accurate models disagree on individual predictions -- can be leveraged to optimize secondary metrics (e.g., fairness) without loss in predictive performance. However, exploiting multiplicity opens the opportunity for motivated parties (or coding agents gaming their objectives) to steer predictions toward their own ends, such as in litigation or consumer disputes with automated decision-making tools. In these adversarial multiplicity settings, we distinguish soft manipulation, where parties optimize over innocuous model choices (e.g., hyperparameter tuning, feature engineering), from hard manipulation, where parties directly perturb model parameters. We find a sufficiently flexible model can be manipulated to reverse any individual prediction with minimal change in predictive performance while passing black-box audits, making hard manipulation viable in most regulatory settings. Soft manipulation has smaller effects but can pass white-box audits requiring full access to code and data. Even aggregate estimates can be manipulated: a model's estimated effect of climate change on wildfires can be fully reversed by hard edits and soft search. We find the Reconcile algorithm typically resolves most disagreements between models, but more often in favor of the manipulator when the opposing model is chosen adversarially compared to at random. We map which manipulations can plausibly pass existing regulations and disclosure policies, and recommend mitigations such as pre-registration, proof of model training, sensitivity analyses, multi-metric evaluations, and committing to versioned public models.
- Abstract(参考訳): 予測多重性 - 同様の精度のモデルが個々の予測に反する - は、予測性能を損なうことなく、二次メトリクス(例えば、公正性)を最適化するために利用することができる。
しかし、マルチプライオリティを活用すれば、自動意思決定ツールによる訴訟や消費者の紛争など、動機付けられた当事者(あるいはその目的をゲームするコーディングエージェント)が自分たちの目的に向かって予測を行う機会が開ける。
これらの逆多重度設定では、当事者が無害なモデル選択(例えば、ハイパーパラメータチューニング、特徴工学)を最適化するソフトな操作と、当事者が直接モデルパラメータを摂動するハードな操作とを区別する。
ブラックボックス監査をパスしながら予測性能を最小限に変更することなく、個々の予測を逆転させるのに十分なフレキシブルなモデルを操作できるため、ほとんどの規制設定ではハード操作が実行可能である。
ソフト操作は効果が小さいが、コードやデータへの完全なアクセスを必要とするホワイトボックス監査をパスすることができる。
モデルが推定した気候変動が山火事に与える影響は、ハード編集とソフトサーチによって完全に逆転することができる。
Reconcileアルゴリズムは典型的にはモデル間の多くの不一致を解消するが、多くの場合、反対のモデルがランダムに選択されたとき、マニピュレータに有利である。
既存の規制や公開ポリシを確実に通過できる操作をマップし、事前登録、モデルトレーニングの証明、感度分析、マルチメトリック評価、バージョニングされたパブリックモデルへのコミットといった緩和策を推奨する。
関連論文リスト
- Optimizing Recourse Under Predictive Multiplicity [1.4806222270285054]
アルゴリズムのリコースは、好ましくないモデル予測を好ましくないモデルに変えることができる修正を特定する。
予測多重性の下では、同様のモデルの実行は個々の予測に異を唱える可能性があるため、あるモデルで妥当なリコースは別のモデルで失敗する可能性がある。
ORPMと呼ばれるオラクル効率のアルゴリズムを提案し,その収束に十分な条件を証明した。
論文 参考訳(メタデータ) (2026-11-04T00:24:12Z) - On Arbitrary Predictions from Equally Valid Models [49.56463611078044]
モデル多重性(英: Model multiplicity)とは、同じ患者に対して矛盾する予測を認める複数の機械学習モデルを指す。
たとえ小さなアンサンブルであっても、実際は予測的多重性を緩和・緩和できることを示す。
論文 参考訳(メタデータ) (2025-07-25T16:15:59Z) - Mode Collapse Happens: Evaluating Critical Interactions in Joint Trajectory Prediction Models [2.9498907601878974]
モード崩壊,モードの正しさ,カバレッジの指標を導入し,予測の逐次的次元を強調した。
我々のフレームワークは、研究者が新たな洞察を得て、より一貫性があり正確な予測モデルの開発を進めるのに役立つ。
論文 参考訳(メタデータ) (2025-06-29T09:53:12Z) - Reconciling Model Multiplicity for Downstream Decision Making [24.335927243672952]
2つの予測モデルがほぼ至るところでそれぞれの予測にほぼ一致しているとしても、最も応答性の高い行動が人口のかなりの部分で相違していることが示される。
本稿では,下流決定問題と個別確率予測の両方に関して,予測モデルを校正する枠組みを提案する。
論文 参考訳(メタデータ) (2024-05-30T03:36:46Z) - Confidence-Based Model Selection: When to Take Shortcuts for
Subpopulation Shifts [119.22672589020394]
モデル信頼度がモデル選択を効果的に導くことができるConfidence-based Model Selection (CosMoS)を提案する。
我々はCosMoSを,データ分散シフトのレベルが異なる複数のテストセットを持つ4つのデータセットで評価した。
論文 参考訳(メタデータ) (2023-06-19T18:48:15Z) - Predictable MDP Abstraction for Unsupervised Model-Based RL [93.91375268580806]
予測可能なMDP抽象化(PMA)を提案する。
元のMDPで予測モデルを訓練する代わりに、学習されたアクション空間を持つ変換MDPでモデルを訓練する。
我々はPMAを理論的に解析し、PMAが以前の教師なしモデルベースRLアプローチよりも大幅に改善することを示す。
論文 参考訳(メタデータ) (2023-02-08T07:37:51Z) - Control-Aware Prediction Objectives for Autonomous Driving [78.19515972466063]
本研究では,制御に対する予測の下流効果を評価するための制御認識予測目標(CAPOs)を提案する。
本稿では,エージェント間の注意モデルを用いた重み付けと,予測軌跡を接地真実軌跡に交換する際の制御変動に基づく重み付けの2つの方法を提案する。
論文 参考訳(メタデータ) (2022-04-28T07:37:21Z) - Test-time Collective Prediction [73.74982509510961]
マシンラーニングの複数のパーティは、将来のテストポイントを共同で予測したいと考えています。
エージェントは、すべてのエージェントの集合の集合的な専門知識の恩恵を受けることを望んでいるが、データやモデルパラメータを解放する意思はないかもしれない。
我々は、各エージェントの事前学習モデルを利用して、テスト時に集合的な予測を行う分散型メカニズムを探索する。
論文 参考訳(メタデータ) (2021-06-22T18:29:58Z) - Model-agnostic and Scalable Counterfactual Explanations via
Reinforcement Learning [0.5729426778193398]
本稿では,最適化手順をエンドツーエンドの学習プロセスに変換する深層強化学習手法を提案する。
実世界のデータを用いた実験により,本手法はモデルに依存しず,モデル予測からのフィードバックのみに依存することがわかった。
論文 参考訳(メタデータ) (2021-06-04T16:54:36Z) - Better sampling in explanation methods can prevent dieselgate-like
deception [0.0]
予測モデルの解釈性は、それらのバイアスとエラーの原因を決定するために必要である。
IME、LIME、SHAPなどの一般的なテクニックでは、インスタンス機能の摂動を使用して個々の予測を説明します。
改良されたサンプリングによりLIMEとSHAPのロバスト性が向上し,以前に未試験のメソッドIMEがすでに最もロバストであることが示されている。
論文 参考訳(メタデータ) (2021-01-26T13:41:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。