論文の概要: Controllable Prompt Tuning For Balancing Group Distributional Robustness

• arxiv url: http://arxiv.org/abs/2403.02695v2
• Date: Tue, 4 Jun 2024 21:25:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 00:51:07.586245
• Title: Controllable Prompt Tuning For Balancing Group Distributional Robustness
• Title（参考訳）: 分散ロバスト性バランスのための制御可能なプロンプトチューニング
• Authors: Hoang Phan, Andrew Gordon Wilson, Qi Lei,
• Abstract要約: グループ間で優れたパフォーマンスを実現するための最適化スキームを導入し、それらの性能を著しく犠牲にすることなく、全員に良い解決策を見出す。 本稿では,制御可能なプロンプトチューニング(CPT)を提案する。 突発的相関ベンチマークでは, 変換器と非変換器の両アーキテクチャ, および非モーダルおよびマルチモーダルデータにまたがって, 最先端の結果が得られた。
• 参考スコア（独自算出の注目度）: 53.336515056479705
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Models trained on data composed of different groups or domains can suffer from severe performance degradation under distribution shifts. While recent methods have largely focused on optimizing the worst-group objective, this often comes at the expense of good performance on other groups. To address this problem, we introduce an optimization scheme to achieve good performance across groups and find a good solution for all without severely sacrificing performance on any of them. However, directly applying such optimization involves updating the parameters of the entire network, making it both computationally expensive and challenging. Thus, we introduce Controllable Prompt Tuning (CPT), which couples our approach with prompt-tuning techniques. On spurious correlation benchmarks, our procedures achieve state-of-the-art results across both transformer and non-transformer architectures, as well as unimodal and multimodal data, while requiring only 0.4% tunable parameters.
• Abstract（参考訳）: 異なるグループやドメインで構成されたデータに基づいてトレーニングされたモデルは、分散シフト時に深刻なパフォーマンス劣化に悩まされる可能性がある。 最近の手法は、最悪のグループ目標の最適化に重点を置いているが、これはしばしば、他のグループに対する良いパフォーマンスを犠牲にしている。 この問題に対処するために,グループ間での優れた性能を実現する最適化手法を導入し,それらの性能を著しく犠牲にすることなく,優れた解を求める。 しかし、そのような最適化を直接適用するには、ネットワーク全体のパラメータを更新する必要がある。 そこで,制御可能なプロンプトチューニング(CPT)を導入する。 突発的な相関ベンチマークでは、変換器と非変換器の両アーキテクチャ、および非モーダルおよびマルチモーダルのデータに対して、調整可能なパラメータは0.4%しか必要とせず、最先端の結果が得られる。

関連論文リスト

• Transformer-based Model Predictive Control: Trajectory Optimization via Sequence Modeling [16.112708478263745]
  本稿では,最適化に基づく学習手法の主な強みを組み合わせた統合フレームワークを提案する。 我々のアプローチでは、最適化プロセス内に高容量、トランスフォーマーベースのニューラルネットワークモデルを組み込む必要がある。 純粋に最適化に基づくアプローチと比較すると,提案手法では最大75%の性能向上が期待できる。
  論文  参考訳（メタデータ） (2024-10-31T13:23:10Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Towards General and Efficient Online Tuning for Spark [55.30868031221838]
  本稿では,3つの問題を同時に処理できる汎用的で効率的なSparkチューニングフレームワークを提案する。 我々は、このフレームワークを独立したクラウドサービスとして実装し、Tencentのデータプラットフォームに適用しました。
  論文  参考訳（メタデータ） (2023-09-05T02:16:45Z)
• Robust Prompt Optimization for Large Language Models Against Distribution Shifts [80.6757997074956]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。 本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。 この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
  論文  参考訳（メタデータ） (2023-05-23T11:30:43Z)
• Parameter-efficient Tuning of Large-scale Multimodal Foundation Model [68.24510810095802]
  我々はこれらの課題を克服するために、クロスモーダル転送(Aurora)のための優雅なプロンプトフレームワークを提案する。 既存のアーキテクチャの冗長性を考慮すると、まずモード近似を用いて0.1Mのトレーニング可能なパラメータを生成し、マルチモーダルプロンプトチューニングを実装する。 6つのクロスモーダルベンチマークの徹底的な評価は、最先端のベンチマークを上回るだけでなく、完全な微調整アプローチよりも優れていることを示している。
  論文  参考訳（メタデータ） (2023-05-15T06:40:56Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Consolidated learning -- a domain-specific model-free optimization strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
  本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。 このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。 我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-27T21:38:53Z)
• Multi-Objectivizing Software Configuration Tuning (for a single performance concern) [7.285442358509729]
  補助的な性能目標を考慮したメタ目的化モデル(MMO)を提案する。 我々のモデルは,局所最適性を克服する上で,最先端の単目的モデルよりも統計的に有効である。
  論文  参考訳（メタデータ） (2021-05-31T03:03:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。