論文の概要: Equi-Tuning: Group Equivariant Fine-Tuning of Pretrained Models

• arxiv url: http://arxiv.org/abs/2210.06475v1
• Date: Thu, 13 Oct 2022 08:45:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-14 14:11:28.811644
• Title: Equi-Tuning: Group Equivariant Fine-Tuning of Pretrained Models
• Title（参考訳）: equi-tuning: 事前学習モデルの群同変微調整
• Authors: Sourya Basu, Prasanna Sattigeri, Karthikeyan Natesan Ramamurthy, Vijil Chenthamarakshan, Kush R. Varshney, Lav R. Varshney, and Payel Das
• Abstract要約: 我々は、(潜在的に非同変な)事前訓練されたモデルを群同変モデルに変換する新しい微調整法である、同調を導入する。 本稿では、画像分類、合成言語における一般化、自然言語生成における公平性という3つの異なるタスクに対する等価チューニングの応用について述べる。
• 参考スコア（独自算出の注目度）: 56.88106830869487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce equi-tuning, a novel fine-tuning method that transforms (potentially non-equivariant) pretrained models into group equivariant models while incurring minimum $L_2$ loss between the feature representations of the pretrained and the equivariant models. Large pretrained models can be equi-tuned for different groups to satisfy the needs of various downstream tasks. Equi-tuned models benefit from both group equivariance as an inductive bias and semantic priors from pretrained models. We provide applications of equi-tuning on three different tasks: image classification, compositional generalization in language, and fairness in natural language generation (NLG). We also provide a novel group-theoretic definition for fairness in NLG. The effectiveness of this definition is shown by testing it against a standard empirical method of fairness in NLG. We provide experimental results for equi-tuning using a variety of pretrained models: Alexnet, Resnet, VGG, and Densenet for image classification; RNNs, GRUs, and LSTMs for compositional generalization; and GPT2 for fairness in NLG. We test these models on benchmark datasets across all considered tasks to show the generality and effectiveness of the proposed method.
• Abstract（参考訳）: 事前学習モデルと同変モデルの特徴表現の間に最小$L_2$の損失を生じさせながら(潜在的に非同変な)事前学習モデルを群同変モデルに変換する新しい微調整法である等調法を導入する。 大きな事前訓練されたモデルは、様々な下流タスクのニーズを満たすために、異なるグループのために均等に調整することができる。 エクイチュードモデルは、帰納的バイアスとしての群同値と、事前訓練されたモデルからのセマンティック優先の双方の恩恵を受ける。 本稿では,画像分類,言語合成一般化,自然言語生成における公平性という3つの課題に対する等調整の応用について述べる。 NLGにおけるフェアネスの群論的定義も提案する。 この定義の有効性は、nlgの標準実証的フェアネス法に対してテストすることで示される。 画像分類のためのAlexnet, Resnet, VGG, Densenet, 合成一般化のためのRNN, GRU, LSTM, NLGにおける公平性のためのGPT2, など,様々な事前学習モデルを用いた等調チューニング実験を行った。 提案手法の汎用性と有効性を示すため,これらのモデルをすべての検討課題のベンチマークデータセット上で検証する。

関連論文リスト

• Adaptive Transfer Clustering: A Unified Framework [2.3144964550307496]
  本稿では,未知の相違点が存在する場合の共通性を自動的に活用するアダプティブ・トランスファー・クラスタリング(ATC)アルゴリズムを提案する。 これはガウス混合モデル、ブロックモデル、潜在クラスモデルを含む幅広い統計モデルに適用される。
  論文  参考訳（メタデータ） (2024-10-28T17:57:06Z)
• Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
  Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。 現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。 課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
  論文  参考訳（メタデータ） (2024-05-26T13:11:55Z)
• Efficient Model-Agnostic Multi-Group Equivariant Networks [18.986283562123713]
  2つの関連する問題に対して、効率的なモデルに依存しない同変設計を提供する。 1つは、複数の入力を持つネットワークで、それぞれ異なるグループによって作用する可能性があり、もう1つは単一の入力であるが、その上で作用するグループは大きな製品グループである。 等変モデルはそのような変換に対して堅牢であり、それ以外は競合的に実行可能である。
  論文  参考訳（メタデータ） (2023-10-14T22:24:26Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• Representer Point Selection for Explaining Regularized High-dimensional Models [105.75758452952357]
  本稿では,高次元表現器と呼ぶサンプルベース説明のクラスを紹介する。 私たちのワークホースは、一般化された高次元モデルに対する新しい代表者定理である。 提案手法の実証的性能について,実世界の2進分類データセットと2つの推薦システムデータセットを用いて検討した。
  論文  参考訳（メタデータ） (2023-05-31T16:23:58Z)
• On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
  In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。 我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
  論文  参考訳（メタデータ） (2022-11-15T19:56:37Z)
• Design equivariant neural networks for 3D point cloud [0.0]
  この研究は、既存の3Dポイントクラウドに対するニューラルネットワークの一般化と堅牢性の向上を目指している。 ポイントクラウドの同変モデルを設計する際の大きな課題は、モデルのパフォーマンスと複雑さをトレードオフする方法である。 提案手法は汎用的であり、群同変ニューラルネットワークに対する基本的なアプローチを形成する。
  論文  参考訳（メタデータ） (2022-05-02T02:57:13Z)
• Siamese Neural Network with Joint Bayesian Model Structure for Speaker Verification [54.96267179988487]
  本稿では,話者検証のための新しいサイムズニューラルネットワーク(SiamNN)を提案する。 サンプルの結合分布は、JB(Joint Bayesian)に基づく生成モデルに基づいて最初に定式化される。 話者照合のための二項識別タスクとして,ペアワイズしたサンプルを用いてモデルパラメータを訓練する。
  論文  参考訳（メタデータ） (2021-04-07T09:17:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。