論文の概要: COPA: Comparing the incomparable in multi-objective model evaluation

• arxiv url: http://arxiv.org/abs/2503.14321v2
• Date: Sat, 24 May 2025 12:46:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 14:32:53.836071
• Title: COPA: Comparing the incomparable in multi-objective model evaluation
• Title（参考訳）: COPA:多目的モデル評価における非競合性の比較
• Authors: Adrián Javaloy, Antonio Vergari, Isabel Valera,
• Abstract要約: 目的をどう比較し、集約し、そして最終的にトレードオフする方法は、通常、時間を要する作業です。 相対的なランキングで近似したCDFを用いて目的を比較検討する。 結果として、ユーザ固有の好みにマッチしながら、それらを集約することができる。
• 参考スコア（独自算出の注目度）: 19.11658981007657
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: As machine learning (ML) practitioners, we often have hundreds of (trained) ML models at hand from which we need to choose one, based on various objectives such as accuracy, robustness, fairness, scalability, etc. However, how to compare, aggregate and, ultimately, trade-off these objectives is usually a time-consuming task that requires of expert knowledge, as they may be measured in different units or scales. In this work, we investigate how objectives can be automatically normalized and aggregated to systematically navigate their Pareto front. To do so, we make incomparable objectives comparable using their CDFs, approximated by their relative rankings. As a result, we can aggregate them while matching user-specific preferences, allowing practitioners to meaningfully navigate and search for models in the Pareto front. We demonstrate the potential impact of our approach, COPA, in both model selection and benchmarking tasks across diverse ML areas such as fair ML, domain generalization, AutoML and foundation models, where classical ways to normalize and aggregate objectives fall short.
• Abstract（参考訳）: マシンラーニング(ML)の実践者として、正確性、堅牢性、公正性、スケーラビリティなど、さまざまな目標に基づいて、数百の(トレーニングされた)MLモデルを手元に置いています。 しかしながら、これらの目的をどのように比較し、集約し、最終的にトレードオフするかは、通常、異なる単位やスケールで測定されるため、専門家の知識を必要とする時間を要するタスクである。 本研究では,Paretoの前面を体系的にナビゲートするために,対象を自動的に正規化して集約する方法について検討する。 そこで本研究では,CDFの相対ランクを近似して,比較不可能な目的をCDFと同等にする。 結果として、私たちはユーザ固有の好みにマッチしながらそれらを集約することができ、実践者はParetoフロントで意味のあるナビゲートと検索を行うことができます。 我々は、モデル選択とベンチマークタスクにおける、フェアML、ドメイン一般化、AutoML、ファンデーションモデルといったさまざまなML領域におけるCOPAの潜在的影響を実証する。

関連論文リスト

• Projection Optimization: A General Framework for Multi-Objective and Multi-Group RLHF [13.612504157832708]
  強化学習とヒューマンフィードバック(Reinforcement Learning with Human Feedback, RLHF)は、機械学習モデルと人間の好みを一致させる、広く使われている微調整アプローチである。 本研究では,非線形アグリゲーション問題を一連のサブプロブレムに変換し,フレームワークを多群シナリオに拡張する。 我々は,アルゴリズムフレームワークがサブ線形後悔を実現し,報酬のないアルゴリズムに容易に適応できることを実証した。
  論文  参考訳（メタデータ） (2025-02-21T01:56:52Z)
• Few-shot Steerable Alignment: Adapting Rewards and LLM Policies with Neural Processes [50.544186914115045]
  大きな言語モデル(LLM)は、日々のアプリケーションにますます組み込まれています。 個人ユーザの多様な嗜好との整合性を確保することは、重要な課題となっている。 数発のステアライメントのための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-18T16:14:59Z)
• Do Membership Inference Attacks Work on Large Language Models? [141.2019867466968]
  メンバーシップ推論攻撃(MIA)は、特定のデータポイントがターゲットモデルのトレーニングデータのメンバーであるかどうかを予測しようとする。 我々は、Pileで訓練された言語モデルに対して、MIAの大規模評価を行い、そのパラメータは160Mから12Bまでである。 様々な LLM サイズや領域にまたがるほとんどの設定において,MIA はランダムな推測よりもほとんど優れていないことがわかった。
  論文  参考訳（メタデータ） (2024-02-12T17:52:05Z)
• Revisiting Few-Shot Object Detection with Vision-Language Models [49.79495118650838]
  我々は、最近の基礎視覚言語モデル(VLM)の文脈で、少数ショットオブジェクト検出(FSOD)のタスクを再考する。 我々は,任意の外部データ上で事前学習された検出器を評価する新しいベンチマークプロトコルであるFoundational FSODを提案する。 CVPR 2024 Foundational FSOD コンペティションについて論じ,コミュニティからの洞察を共有した。
  論文  参考訳（メタデータ） (2023-12-22T07:42:00Z)
• Practical Membership Inference Attacks against Fine-tuned Large Language Models via Self-prompt Calibration [32.15773300068426]
  メンバーシップ推論攻撃は、対象のデータレコードがモデルトレーニングに使用されたかどうかを推測することを目的としている。 自己校正確率変動(SPV-MIA)に基づくメンバーシップ推論攻撃を提案する。
  論文  参考訳（メタデータ） (2023-11-10T13:55:05Z)
• Variable Importance Matching for Causal Inference [73.25504313552516]
  これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。 Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。 LASSO を用いて Model-to-Match フレームワークを運用する。
  論文  参考訳（メタデータ） (2023-02-23T00:43:03Z)
• Learning with Impartiality to Walk on the Pareto Frontier of Fairness, Privacy, and Utility [28.946180502706504]
  機械学習パイプラインは、別の目的を優先すべきではない、と私たちは主張する。 本稿では,目的間の固有のトレードオフを示す,公平に特定されたモデルを提案する。 プライバシを意識したMLパイプラインに、公正さの緩和が組み込まれるべきかどうかという疑問に対する回答を提供する。
  論文  参考訳（メタデータ） (2023-02-17T23:23:45Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Improving Few-shot Learning by Spatially-aware Matching and CrossTransformer [116.46533207849619]
  数ショット学習シナリオにおけるスケールと位置ミスマッチの影響について検討する。 本稿では,複数のスケールや場所のマッチングを効果的に行うための,空間認識型マッチング手法を提案する。
  論文  参考訳（メタデータ） (2020-01-06T14:10:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。