論文の概要: DoubleCCA: Improving Foundation Model Group Robustness with Random Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2411.16236v1
• Date: Mon, 25 Nov 2024 09:52:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:24:04.550833
• Title: DoubleCCA: Improving Foundation Model Group Robustness with Random Sentence Embeddings
• Title（参考訳）: DoubleCCA: ランダムな文埋め込みによる基礎モデルグループロバストネスの改善
• Authors: Hong Liu, Yitong Lu,
• Abstract要約: 基礎モデルのテキスト埋め込みを強化するために,ランダム文と正準相関解析(CCA)を利用する手法を提案する。 各種タスクやデータセットにおける本手法の有効性を実証し,性能とロバスト性の両方の観点から既存手法よりも優れていることを示す。 提案手法は実装が簡単で,既存のモデルに容易に組み込めるため,基礎モデルの堅牢性をグループベースのバイアスに改善するための実用的なソリューションとなる。
• 参考スコア（独自算出の注目度）: 7.728855436898058
• License:
• Abstract: This paper presents a novel method to improve the robustness of foundation models to group-based biases. We propose a simple yet effective method, called DoubleCCA, that leverages random sentences and Canonical Correlation Analysis (CCA) to enrich the text embeddings of the foundation model. First, we generate various random sentences that augment the original prompts, which extends the original prompts with random words or character sequences. Second, we use an additional sentence embedding model to generate different text embeddings with respect to these random sentences. We then use CCA double twice to align the representations and reconstruct them back to the original representation space. We demonstrate the effectiveness of our method on a variety of tasks and datasets, showing that it outperforms existing methods in terms of both performance and robustness. Our method is simple to implement and can be easily integrated into existing models, making it a practical solution for improving the robustness of foundation models to group-based biases.
• Abstract（参考訳）: 本稿では,基礎モデルのロバスト性向上のための新しい手法を提案する。 本稿では、ランダム文とCCAを利用して基礎モデルのテキスト埋め込みを強化する、シンプルで効果的なDoubleCCA法を提案する。 まず、原文のプロンプトを増大させる様々なランダムな文を生成し、原文のプロンプトをランダムな単語や文字列で拡張する。 第二に、これらのランダムな文に対して異なるテキスト埋め込みを生成するために、追加の文埋め込みモデルを使用する。 次に、CCAを2回使用して表現を整列し、元の表現空間に戻します。 各種タスクやデータセットにおける本手法の有効性を実証し,性能とロバスト性の両方の観点から既存手法よりも優れていることを示す。 提案手法は実装が簡単で,既存のモデルに容易に組み込めるため,基礎モデルの堅牢性をグループベースのバイアスに改善するための実用的なソリューションとなる。

関連論文リスト

• Fine-Tuning with Divergent Chains of Thought Boosts Reasoning Through Self-Correction in Language Models [63.36637269634553]
  本稿では,複数の推論連鎖を比較するためにモデルを必要とすることによって,性能を向上する新しい手法を提案する。 DCoTデータセットの命令チューニングにより、より小さく、よりアクセスしやすい言語モデルの性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• Contrastive Transformer Learning with Proximity Data Generation for Text-Based Person Search [60.626459715780605]
  記述的なテキストクエリーを与えられたテキストベースの人物検索は、画像ギャラリーからベストマッチした人物を検索することを目的としている。 このようなクロスモーダル検索タスクは、重要なモダリティギャップ、きめ細かい相違、注釈付きデータの不十分さのため、かなり難しい。 本稿では,テキストに基づく人物検索のための2つのトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-11-15T16:26:49Z)
• TP2O: Creative Text Pair-to-Object Generation using Balance Swap-Sampling [15.922322948515797]
  本稿では,2つのテキスト埋め込みの要素をランダムに交換することで,新しいオブジェクト画像を生成するスワッピング機構を提案する。 また、新たに生成された画像集合から小さなサブセットを効率的にサンプリングするためのバランススワップ領域も導入する。 私たちの研究結果は、カエルブロッコリーのような人間のアーティストとさえ競合しています。
  論文  参考訳（メタデータ） (2023-10-03T06:16:38Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Few-shot Text Classification with Dual Contrastive Consistency [31.141350717029358]
  本稿では,事前学習した言語モデルを用いて,数ショットのテキスト分類を行う方法について検討する。 ラベル付きデータが少ない場合の教師付きコントラスト学習と、ラベルなしデータの一貫性と規則化を採用する。
  論文  参考訳（メタデータ） (2022-09-29T19:26:23Z)
• Text Revision by On-the-Fly Representation Optimization [76.11035270753757]
  現在の最先端手法は、これらのタスクをシーケンスからシーケンスまでの学習問題として定式化している。 並列データを必要としないテキストリビジョンのための反復的なインプレース編集手法を提案する。 テキストの単純化に関する最先端の教師付き手法よりも、競争力があり、パフォーマンスも向上する。
  論文  参考訳（メタデータ） (2022-04-15T07:38:08Z)
• A Sparsity-promoting Dictionary Model for Variational Autoencoders [16.61511959679188]
  深層生成モデルにおける潜伏空間の構造化は、より表現力のあるモデルと解釈可能な表現を得るために重要である。 本稿では,空間の空間構造をスパーシティ・プロモーティング・辞書・モデルを用いて簡易かつ効果的に構築する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-29T17:13:11Z)
• A Well-Composed Text is Half Done! Composition Sampling for Diverse Conditional Generation [79.98319703471596]
  高品質の条件付き生成のための多種多様な出力を生成するための簡易で効果的な合成サンプリング法であるコンポジションサンプリングを提案する。 これは最近提案された計画ベースのニューラルジェネレーションモデルに基づいて構築され、まず最初に出力の合成を作成し、それと入力を条件付けして生成するように訓練される。
  論文  参考訳（メタデータ） (2022-03-28T21:24:03Z)
• Reinforced Generative Adversarial Network for Abstractive Text Summarization [7.507096634112164]
  シーケンス・ツー・シーケンス・モデルは、生成的要約に対する実行可能な新しいアプローチを提供する。 これらのモデルには3つの欠点がある: 原文の詳細の把握はしばしば不正確なものであり、そのようなモデルによって生成されたテキストは繰り返しとなることが多い。 本稿では,強化学習と敵対的生成ネットワークを組み合わせた新しいアーキテクチャを提案し,シーケンス・ツー・シーケンス・アテンション・モデルを提案する。
  論文  参考訳（メタデータ） (2021-05-31T17:34:47Z)
• An Empirical Study on Model-agnostic Debiasing Strategies for Robust Natural Language Inference [37.420864237437804]
  我々は、モデルに依存しないデバイアス戦略に注目し、NLIモデルを複数の敵攻撃に対して堅牢にする方法を探る。 最初のベンチマークでは、様々な逆数データセット上の事前学習を含むニューラルNLIモデルについてベンチマークを行った。 次に、専門家(MoE)アンサンブルの混合法を変更することで、既知のバイアスに対処する。
  論文  参考訳（メタデータ） (2020-10-08T05:40:45Z)
• Multi-Fact Correction in Abstractive Text Summarization [98.27031108197944]
  Span-Factは、質問応答モデルから学んだ知識を活用して、スパン選択によるシステム生成サマリーの補正を行う2つの事実補正モデルのスイートである。 我々のモデルは、ソースコードのセマンティック一貫性を確保するために、反復的または自動回帰的にエンティティを置き換えるために、シングルまたはマルチマスキング戦略を採用している。 実験の結果,自動測定と人的評価の両面において,要約品質を犠牲にすることなく,システム生成要約の事実整合性を大幅に向上させることができた。
  論文  参考訳（メタデータ） (2020-10-06T02:51:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。