論文の概要: Shoring Up the Foundations: Fusing Model Embeddings and Weak Supervision

• arxiv url: http://arxiv.org/abs/2203.13270v1
• Date: Thu, 24 Mar 2022 18:00:18 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-28 12:16:26.934703
• Title: Shoring Up the Foundations: Fusing Model Embeddings and Weak Supervision
• Title（参考訳）: ファウンデーションの立ち上げ:Fusing Model EmbeddingsとWeak Supervision
• Authors: Mayee F. Chen, Daniel Y. Fu, Dyah Adila, Michael Zhang, Frederic Sala, Kayvon Fatahalian, Christopher R\'e
• Abstract要約: 我々は,基盤モデル埋め込みを併用して,弱い監視技術を改善するLigerを提案する。 基礎モデルのブラックボックスの性質にもかかわらず、我々のアプローチがパフォーマンスをどのように改善するかを特徴付ける結果が証明されている。 リガーはバニラの弱い監督を14.1ポイント、弱い監督のkNNとアダプタを11.8ポイント、伝統的な手札で7.2ポイントで監督する。
• 参考スコア（独自算出の注目度）: 24.497041681016338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Foundation models offer an exciting new paradigm for constructing models with out-of-the-box embeddings and a few labeled examples. However, it is not clear how to best apply foundation models without labeled data. A potential approach is to fuse foundation models with weak supervision frameworks, which use weak label sources -- pre-trained models, heuristics, crowd-workers -- to construct pseudolabels. The challenge is building a combination that best exploits the signal available in both foundation models and weak sources. We propose Liger, a combination that uses foundation model embeddings to improve two crucial elements of existing weak supervision techniques. First, we produce finer estimates of weak source quality by partitioning the embedding space and learning per-part source accuracies. Second, we improve source coverage by extending source votes in embedding space. Despite the black-box nature of foundation models, we prove results characterizing how our approach improves performance and show that lift scales with the smoothness of label distributions in embedding space. On six benchmark NLP and video tasks, Liger outperforms vanilla weak supervision by 14.1 points, weakly-supervised kNN and adapters by 11.8 points, and kNN and adapters supervised by traditional hand labels by 7.2 points.
• Abstract（参考訳）: ファウンデーションモデルは、アウトオブボックスの埋め込みといくつかのラベル付き例でモデルを構築するためのエキサイティングな新しいパラダイムを提供します。 しかし、ラベル付きデータなしで基礎モデルを適用する方法が明確ではない。 潜在的なアプローチは、トレーニング済みモデル、ヒューリスティックス、クラウドワーカーといった弱いラベルソースを使用して偽ラベルを構築する、弱い監視フレームワークで基礎モデルを融合させることである。 課題は、基盤モデルと弱いソースの両方で利用可能な信号を最大限に活用する組み合わせを構築することだ。 既存の弱監督手法の2つの重要な要素を改善するために基礎モデル埋め込みを用いた組み合わせであるLigerを提案する。 まず,埋め込み空間を分割し,部品毎のソースアキュラティを学習することにより,弱いソース品質の詳細な推定を行う。 第2に、埋め込みスペースのソース投票を延ばすことで、ソースカバレッジを改善する。 基礎モデルのブラックボックスの性質にも拘わらず,我々の手法によって性能が向上し,組込み空間におけるラベル分布の滑らかさとともにリフトがスケールすることを示す。 6つのベンチマークNLPとビデオタスクにおいて、Ligerはバニラの弱い監督を14.1ポイント、弱い監督のkNNとアダプタを11.8ポイント、伝統的な手札によって監督されるkNNとアダプタを7.2ポイントで上回っている。

関連論文リスト

• Weak-to-Strong Preference Optimization: Stealing Reward from Weak Aligned Model [28.569089876442682]
  この研究は弱強一般化に触発され、弱いモデルによって生成されるラベルに強いLMを微調整することで、弱いスーパーバイザーを一貫して上回る。 Weak-to-Strong Preference Optimization (WSPO)を提案し、弱いモデルのアライメント前後の分布差を学習することにより、強力なモデルアライメントを実現する。
  論文  参考訳（メタデータ） (2024-10-24T11:06:29Z)
• High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
  基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。 具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。 2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-09-10T08:04:11Z)
• DECIDER: Leveraging Foundation Model Priors for Improved Model Failure Detection and Explanation [18.77296551727931]
  本稿では,大規模言語モデル (LLM) と視覚言語モデル (VLM) の先行情報を利用した画像モデルの故障検出手法であるDECIDERを提案する。 DECIDERは一貫して最先端の故障検出性能を達成し、マシューズ相関係数全体のベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2024-08-01T07:08:11Z)
• Vision Superalignment: Weak-to-Strong Generalization for Vision Foundation Models [55.919653720979824]
  本稿では、より弱いモデルを用いてより強いモデルを監督する弱強一般化の概念に焦点を当てる。 弱強監督のための新規かつ適応的に調整可能な損失関数を提案する。 提案手法は, 強い一般化によって設定された性能ベンチマークを超えるだけでなく, データセット全体を用いた微調整の強いモデルの結果を上回る。
  論文  参考訳（メタデータ） (2024-02-06T06:30:34Z)
• Generalized Logit Adjustment: Calibrating Fine-tuned Models by Removing Label Bias in Foundation Models [75.9543301303586]
  CLIPのようなファンデーションモデルは、追加のトレーニングデータなしで、さまざまなタスクでゼロショット転送を可能にする。 微調整やアンサンブルも一般的に下流のタスクに合うように採用されている。 しかし、先行研究は基礎モデルに固有のバイアスを見落としていると論じる。
  論文  参考訳（メタデータ） (2023-10-12T08:01:11Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Integrated Weak Learning [25.47289093245517]
  統合弱学習(Integrated Weak Learning)は、弱い監督を機械学習モデルのトレーニングプロセスに統合する、原則化されたフレームワークである。 提案手法は,6つのベンチマーク分類データセットの集合において,既存の弱い学習手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-19T22:13:59Z)
• Generative Modeling Helps Weak Supervision (and Vice Versa) [87.62271390571837]
  本稿では,弱い監督と生成的敵ネットワークを融合したモデルを提案する。 弱い監督によるラベル推定と並行して、データの離散変数をキャプチャする。 これは、弱い教師付き合成画像と擬似ラベルによるデータ拡張を可能にする最初のアプローチである。
  論文  参考訳（メタデータ） (2022-03-22T20:24:21Z)
• Improving Label Quality by Jointly Modeling Items and Annotators [68.8204255655161]
  雑音アノテータから基底真理ラベルを学習するための完全ベイズ的枠組みを提案する。 我々のフレームワークは、ラベル分布上の生成的ベイズソフトクラスタリングモデルを古典的なDavidとSkeneのジョイントアノテータデータモデルに分解することでスケーラビリティを保証する。
  論文  参考訳（メタデータ） (2021-06-20T02:15:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。