論文の概要: Adversarial Representation Learning With Closed-Form Solvers

• arxiv url: http://arxiv.org/abs/2109.05535v1
• Date: Sun, 12 Sep 2021 15:12:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-16 12:25:39.699389
• Title: Adversarial Representation Learning With Closed-Form Solvers
• Title（参考訳）: 閉形式解法を用いた逆表現学習
• Authors: Bashir Sadeghi, Lan Wang, and Vishnu Naresh Boddeti
• Abstract要約: 既存の手法では、下降勾配を通じてモデルパラメータを反復的に学習するが、実際には不安定で信頼できないことが多い。 我々はそれらをカーネルリッジ回帰器としてモデル化し、表現の最適次元について上界を解析的に決定する。 我々のソリューションは OptNet-ARL と呼ばれ、安定なワンショット最適化問題に還元され、確実かつ効率的に解決できる。
• 参考スコア（独自算出の注目度）: 29.933607957877335
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Adversarial representation learning aims to learn data representations for a target task while removing unwanted sensitive information at the same time. Existing methods learn model parameters iteratively through stochastic gradient descent-ascent, which is often unstable and unreliable in practice. To overcome this challenge, we adopt closed-form solvers for the adversary and target task. We model them as kernel ridge regressors and analytically determine an upper-bound on the optimal dimensionality of representation. Our solution, dubbed OptNet-ARL, reduces to a stable one one-shot optimization problem that can be solved reliably and efficiently. OptNet-ARL can be easily generalized to the case of multiple target tasks and sensitive attributes. Numerical experiments, on both small and large scale datasets, show that, from an optimization perspective, OptNet-ARL is stable and exhibits three to five times faster convergence. Performance wise, when the target and sensitive attributes are dependent, OptNet-ARL learns representations that offer a better trade-off front between (a) utility and bias for fair classification and (b) utility and privacy by mitigating leakage of private information than existing solutions.
• Abstract（参考訳）: 対立表現学習は、意図しない機密情報を同時に取り除きながら、対象タスクのデータ表現を学習することを目的としている。 既存の手法では、確率勾配勾配上昇によってモデルパラメータを反復的に学習する。 この課題を克服するために、敵タスクと目標タスクにクローズドフォームソルバを採用する。 我々はそれらをカーネルリッジレセプタとしてモデル化し、表現の最適次元について上界を解析的に決定する。 我々のソリューションは OptNet-ARL と呼ばれ、安定なワンショット最適化問題に還元され、確実かつ効率的に解決できる。 OptNet-ARLは、複数のターゲットタスクや機密属性の場合に容易に一般化できる。 数値実験では、小規模データセットと大規模データセットの両方において、最適化の観点から、opnet-arlは安定しており、3倍から5倍の収束速度を示している。 パフォーマンスを賢く - ターゲット属性と機密属性が依存する場合、opnet-arlは、よりよいトレードオフのフロントを提供する表現を学習する (a)公平な分類のための有用性とバイアス (b)既存のソリューションよりも個人情報の漏洩を軽減し、実用性とプライバシー

関連論文リスト

• IterIS: Iterative Inference-Solving Alignment for LoRA Merging [14.263218227928729]
  低ランク適応(LoRA)は、特定の下流タスクのために様々な領域にまたがる大きなモデルを微調整するために広く使われている。 LoRAマージは、データのプライバシを維持しながら複数のLoRAを統一アダプタに結合することで、効果的なソリューションを提供する。
  論文  参考訳（メタデータ） (2024-11-21T19:04:02Z)
• Memory-Enhanced Neural Solvers for Efficient Adaptation in Combinatorial Optimization [6.713974813995327]
  本稿では、メモリを活用してニューラルネットワークの適応性を向上させるアプローチであるMementOを提案する。 我々は,大規模インスタンス上で全RL自動回帰解法をトレーニングし,MementOが拡張可能で,データ効率がよいことを示す。 全体として、MementOは評価された12のタスクのうち11に最先端のタスクをプッシュすることができる。
  論文  参考訳（メタデータ） (2024-06-24T08:18:19Z)
• Spurious Feature Eraser: Stabilizing Test-Time Adaptation for Vision-Language Foundation Model [86.9619638550683]
  視覚言語基礎モデルは、画像とテキストのペアデータに拡張性があるため、多数の下流タスクで顕著な成功を収めている。 しかし、これらのモデルは、決定ショートカットの結果、きめ細かな画像分類などの下流タスクに適用した場合に重大な制限を呈する」。
  論文  参考訳（メタデータ） (2024-03-01T09:01:53Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• The Why, When, and How to Use Active Learning in Large-Data-Driven 3D Object Detection for Safe Autonomous Driving: An Empirical Exploration [1.2815904071470705]
  エントロピークエリは、リソース制約のある環境でモデル学習を強化するデータを選択するための有望な戦略である。 この結果から,エントロピークエリは資源制約のある環境でのモデル学習を促進するデータ選択に有望な戦略であることが示唆された。
  論文  参考訳（メタデータ） (2024-01-30T00:14:13Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Data-Driven Offline Decision-Making via Invariant Representation Learning [97.49309949598505]
  オフラインのデータ駆動意思決定は、アクティブなインタラクションなしで最適化された決定を合成する。 オフラインデータからトレーニングされたモデルへの入力に関して最適化する場合、誤って良いように見えるアウト・オブ・ディストリビューション(OOD)インプットを生成するのは簡単です。 本稿では、オフラインデータ駆動意思決定をドメイン適応として定式化し、最適化された決定値の正確な予測を行うことを目標とする。
  論文  参考訳（メタデータ） (2022-11-21T11:01:37Z)
• Open-Set Semi-Supervised Learning for 3D Point Cloud Understanding [62.17020485045456]
  半教師付き学習(SSL)では、ラベル付きデータと同じ分布からラベル付きデータが引き出されることが一般的である。 サンプル重み付けによりラベルなしデータを選択的に活用することを提案する。
  論文  参考訳（メタデータ） (2022-05-02T16:09:17Z)
• RoMA: Robust Model Adaptation for Offline Model-based Optimization [115.02677045518692]
  入力出力クエリの静的データセットからブラックボックス目的関数を最大化する入力を探索する問題を考える。 この問題を解決するための一般的なアプローチは、真の客観的関数を近似するプロキシモデルを維持することである。 ここでの大きな課題は、検索中に逆最適化された入力を避ける方法である。
  論文  参考訳（メタデータ） (2021-10-27T05:37:12Z)
• Self-Supervision based Task-Specific Image Collection Summarization [3.115375810642661]
  本稿では,意味情報と自己スーパービジョンを用いたタスク固有画像コーパス要約手法を提案する。 特徴生成ネットワークとして,分類に基づくWasserstein generation adversarial Network (WGAN) を用いる。 モデルは、セマンティック埋め込み空間におけるK平均クラスタリングを用いて、推論時に要約を生成する。
  論文  参考訳（メタデータ） (2020-12-19T10:58:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。