論文の概要: Safety vs. Performance: How Multi-Objective Learning Reduces Barriers to Market Entry
- arxiv url: http://arxiv.org/abs/2409.03734v1
- Date: Thu, 5 Sep 2024 17:45:01 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-06 19:43:43.697309
- Title: Safety vs. Performance: How Multi-Objective Learning Reduces Barriers to Market Entry
- Title(参考訳): 安全性とパフォーマンス - マルチオブジェクト学習がバリアを市場投入に還元する方法
- Authors: Meena Jagadeesan, Michael I. Jordan, Jacob Steinhardt,
- Abstract要約: 我々は、大規模言語モデルのための新興市場への参入に必要となる障壁が存在するかどうかを調査する。
要求されるデータポイント数は、既存の企業のデータセットサイズよりも大幅に小さくなることを示します。
以上の結果から,多目的的考察が参入障壁を根本的に低減することを示す。
- 参考スコア(独自算出の注目度): 86.79268605140251
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Emerging marketplaces for large language models and other large-scale machine learning (ML) models appear to exhibit market concentration, which has raised concerns about whether there are insurmountable barriers to entry in such markets. In this work, we study this issue from both an economic and an algorithmic point of view, focusing on a phenomenon that reduces barriers to entry. Specifically, an incumbent company risks reputational damage unless its model is sufficiently aligned with safety objectives, whereas a new company can more easily avoid reputational damage. To study this issue formally, we define a multi-objective high-dimensional regression framework that captures reputational damage, and we characterize the number of data points that a new company needs to enter the market. Our results demonstrate how multi-objective considerations can fundamentally reduce barriers to entry -- the required number of data points can be significantly smaller than the incumbent company's dataset size. En route to proving these results, we develop scaling laws for high-dimensional linear regression in multi-objective environments, showing that the scaling rate becomes slower when the dataset size is large, which could be of independent interest.
- Abstract(参考訳): 大規模言語モデルやその他の大規模機械学習(ML)モデルのための新興市場は、市場に集中しているように見える。
本研究では,この課題を経済的・アルゴリズム的両面から検討し,参入障壁を低減する現象に着目した。
具体的には、既存の会社は、そのモデルが十分に安全目標と整合しない限り、評判のダメージを危険にさらす一方、新会社は評判のダメージを回避できる。
この問題を正式に研究するために、評価のダメージを捉えた多目的高次元回帰フレームワークを定義し、新しい企業が市場に参入するために必要なデータポイントの数を特徴付ける。
私たちの結果は、マルチオブジェクトの考慮が、エントリの障壁を根本的に減らす方法を示しています -- 必要となるデータポイントの数は、既存の企業のデータセットサイズよりも大幅に小さくなります。
これらの結果を証明するために,多目的環境における高次元線形回帰のスケーリング法則を開発し,データセットサイズが大きいとスケーリング速度が遅くなることを示す。
関連論文リスト
- Graph Dimension Attention Networks for Enterprise Credit Assessment [40.87056211723355]
グラフ次元注意ネットワーク(GDAN)という新しいアーキテクチャを提案する。
GDANは、細粒度のリスク関連特性を捉えるための次元レベルの注意機構を組み込んでいる。
金融シナリオにおけるGNN手法の解釈可能性について検討し、GDAN-DistShiftと呼ばれるGDANのためのデータ中心の説明器を提案する。
論文 参考訳(メタデータ) (2024-07-16T11:24:28Z) - RigorLLM: Resilient Guardrails for Large Language Models against Undesired Content [62.685566387625975]
現在の緩和戦略は効果はあるものの、敵の攻撃下では弾力性がない。
本稿では,大規模言語モデルのための弾力性ガードレール(RigorLLM)について紹介する。
論文 参考訳(メタデータ) (2024-03-19T07:25:02Z) - Robustness, Efficiency, or Privacy: Pick Two in Machine Learning [7.278033100480175]
本稿では,分散機械学習アーキテクチャにおけるプライバシとロバスト性の実現に伴うコストについて検討する。
従来のノイズ注入は、汚染された入力を隠蔽することで精度を損なうが、暗号手法は、非直線性のため、防毒と衝突する。
我々は、より弱い脅威モデルを考慮して、この妥協を効率よく解決することを目的とした今後の研究の方向性を概説する。
論文 参考訳(メタデータ) (2023-12-22T14:10:07Z) - Rethinking Robustness of Model Attributions [24.317595434521504]
多くの属性手法は脆弱であり,これらの手法やモデルトレーニングの改良が提案されている。
まず、ロバスト性に関する既存の指標は、アトリビューションにおける合理的な局所的なシフトを過度に負担する。
本稿では,ロバストネス指標における画素の局所性と属性における画素位置の多様性を組み込んだ既存メトリクスと属性手法の簡易な強化手法を提案する。
論文 参考訳(メタデータ) (2023-12-16T20:20:38Z) - Bayesian Regression Markets [0.16385815610837165]
我々は、データ共有のための金銭的インセンティブを提供するためのレグレッション市場を開発する。
文献上の同様の提案が、市場エージェントを大きめの金融リスクに晒すことが示されている。
論文 参考訳(メタデータ) (2023-10-23T14:45:51Z) - Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。
マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。
提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
論文 参考訳(メタデータ) (2023-08-28T18:48:34Z) - You Don't Need Robust Machine Learning to Manage Adversarial Attack
Risks [31.111554739533663]
機械学習モデルを不規則な予測に変換する能力は驚くべきものだ。
現行の緩和には高いコストが伴い、同時にモデルの精度が低下する。
これは、実際にこれらの攻撃を緩和する方法、運用デプロイメントのリスク、そしてそれらのリスクをどのように管理するか、という視点で行われます。
論文 参考訳(メタデータ) (2023-06-16T16:32:27Z) - Enhancing Multiple Reliability Measures via Nuisance-extended
Information Bottleneck [77.37409441129995]
トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。
我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。
そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
論文 参考訳(メタデータ) (2023-03-24T16:03:21Z) - Fairness Increases Adversarial Vulnerability [50.90773979394264]
フェアネスとロバストネスの間に二分法が存在することを示し、フェアネスを達成するとモデルロバストネスを減少させる。
非線形モデルと異なるアーキテクチャの実験は、複数の視覚領域における理論的発見を検証する。
フェアネスとロバストネスの良好なトレードオフを達成するためのモデルを構築するための,シンプルで効果的なソリューションを提案する。
論文 参考訳(メタデータ) (2022-11-21T19:55:35Z) - Exploring the Trade-off between Plausibility, Change Intensity and
Adversarial Power in Counterfactual Explanations using Multi-objective
Optimization [73.89239820192894]
自動対物生成は、生成した対物インスタンスのいくつかの側面を考慮すべきである。
本稿では, 対実例生成のための新しい枠組みを提案する。
論文 参考訳(メタデータ) (2022-05-20T15:02:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。