論文の概要: Whitening Not Recommended for Classification Tasks in LLMs

• arxiv url: http://arxiv.org/abs/2407.12886v1
• Date: Tue, 16 Jul 2024 22:48:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-19 19:52:52.668351
• Title: Whitening Not Recommended for Classification Tasks in LLMs
• Title（参考訳）: LLMの分類課題に推奨されない白化
• Authors: Ali Forooghi, Shaghayegh Sadeghi, Jianguo Lu,
• Abstract要約: ホワイトニングは、Large Language Models (LLMs) から得られる埋め込み品質を改善する効果的な操作であると主張されている。 特に、ホワイトニングは分類タスクの埋め込みを退化させる。 我々の研究の副産物は、SentEval+と呼ばれるLCMの組込み評価プラットフォームである。
• 参考スコア（独自算出の注目度）: 0.08192907805418582
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sentence embedding is a cornerstone in NLP. Whitening has been claimed to be an effective operation to improve embedding quality obtained from Large Language Models (LLMs). However, we find that the efficacy of whitening is model-dependent and task-dependent. In particular, whitening degenerates embeddings for classification tasks. The conclusion is supported by extensive experiments. We also explored a variety of whitening operations, including PCA, ZCA, PCA-Cor, ZCA-Cor and Cholesky whitenings. A by-product of our research is embedding evaluation platform for LLMs called SentEval+.
• Abstract（参考訳）: 文の埋め込みはNLPの基盤となる。 ホワイトニングは、LLM(Large Language Models)から得られる埋め込み品質を改善する効果的な操作であると言われている。 しかし,ホワイトニングの有効性はモデルに依存し,タスクに依存していることがわかった。 特に、ホワイトニングは分類タスクの埋め込みを退化させる。 結論は広範な実験によって支持される。 また, PCA, ZCA, PCA-Cor, ZCA-Cor, Cholesky などの白化処理についても検討した。 我々の研究の副産物は、SentEval+と呼ばれるLCMの組込み評価プラットフォームである。

関連論文リスト

• Whitening Consistently Improves Self-Supervised Learning [5.0337106694127725]
  自己教師型学習におけるエンコーダの最終層としてZCA白化を導入することを提案する。 実験の結果,白化は線形およびk-NN探索精度を1-5%向上させることができることがわかった。
  論文  参考訳（メタデータ） (2024-08-14T12:52:13Z)
• PoLLMgraph: Unraveling Hallucinations in Large Language Models via State Transition Dynamics [51.17512229589]
  PoLLMgraphは、大規模言語モデルのためのモデルベースのホワイトボックス検出および予測手法である。 LLMの内部状態遷移ダイナミクスを解析することにより,幻覚を効果的に検出できることを示す。 我々の研究は、LLMのモデルベースのホワイトボックス分析の新しい手法を開拓し、LLMの振る舞いの複雑なダイナミクスをさらに探求し、理解し、洗練する研究コミュニティを動機付けている。
  論文  参考訳（メタデータ） (2024-04-06T20:02:20Z)
• Debiasing Multimodal Large Language Models [61.6896704217147]
  LVLM(Large Vision-Language Models)は、コンピュータビジョンや自然言語処理において欠かせないツールとなっている。 本研究は,入力画像に先行するLarge Language Models (LLM) の影響を主に受け,生成したコンテンツに有意なバイアスが生じることを示す。 これらのバイアスを是正し、視覚情報に対するモデルの焦点をリダイレクトするために、我々は2つの単純で訓練のない戦略を導入する。
  論文  参考訳（メタデータ） (2024-03-08T12:35:07Z)
• Survival of the Most Influential Prompts: Efficient Black-Box Prompt Search via Clustering and Pruning [77.61565726647784]
  本稿では,まず検索空間をクラスタ化してプルークするブラックボックス探索手法を提案する。 検索空間設計と最適化は,ブラックボックス・プロンプトに基づく学習の有用性と効率性を両立させる上で重要な役割を担っている。
  論文  参考訳（メタデータ） (2023-10-19T14:25:06Z)
• Whitening-based Contrastive Learning of Sentence Embeddings [61.38955786965527]
  文埋め込み学習(WhitenedCSE)のためのホワイトニングに基づくコントラスト学習手法を提案する。 これら2つのアプローチは完全に冗長ではなく、実際には異なる一様性機構のために相補性を持っていることが分かる。
  論文  参考訳（メタデータ） (2023-05-28T14:58:10Z)
• Modulate Your Spectrum in Self-Supervised Learning [65.963806450552]
  ホワイトニング損失は、自己教師付き学習における特徴の崩壊に対する理論的保証を提供する。 埋め込みのスペクトルを変調するフレームワークであるスペクトル変換(ST)を導入する。 我々は、トレースロス(INTL)を持つIterNormという新しいSTインスタンスを提案する。
  論文  参考訳（メタデータ） (2023-05-26T09:59:48Z)
• An Investigation into Whitening Loss for Self-supervised Learning [62.157102463386394]
  自己教師型学習(SSL)における望ましい目的は、機能の崩壊を避けることである。 ホワイトニング損失分析のための情報指標を用いたフレームワークを提案する。 分析に基づき、ランダムグループ分割(CW-RGP)を用いたチャネル白化を提案する。
  論文  参考訳（メタデータ） (2022-10-07T14:43:29Z)
• Improving Generalization of Batch Whitening by Convolutional Unit Optimization [24.102442375834084]
  バッチホワイトニング(Batch Whitening)は、入力特徴をゼロ平均(Centering)と単位分散(Scaling)に変換することで、トレーニングを加速し、安定化する技術である。 バッチ正規化を経験的に最適化した一般的な構造では、正規化層は畳み込みとアクティベーション関数の間に現れる。 本稿では,この理論に則った新しい畳み込み単位を提案する。
  論文  参考訳（メタデータ） (2021-08-24T10:27:57Z)
• White Paper Assistance: A Step Forward Beyond the Shortcut Learning [6.066543113636522]
  我々は、CNNが実際に私たちが関心を持っているようにしているかどうかを調べる必要性をしばしば見落としていることを示します。 我々は、この意図しない不確実性に対抗するために、白紙援助と呼ばれる新しいアプローチを提案する。 提案手法は, モデルが特定の特徴パターンを優先する程度を検知し, 白紙上でランダムな推測を強制的に行うことによって緩和する。
  論文  参考訳（メタデータ） (2021-06-08T08:35:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。