論文の概要: Contrastive Learning-based Sentence Encoders Implicitly Weight Informative Words

• arxiv url: http://arxiv.org/abs/2310.15921v1
• Date: Tue, 24 Oct 2023 15:22:04 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 18:09:28.702098
• Title: Contrastive Learning-based Sentence Encoders Implicitly Weight Informative Words
• Title（参考訳）: コントラスト学習に基づく文エンコーダの暗黙的重み付け
• Authors: Hiroto Kurita, Goro Kobayashi, Sho Yokoi, Kentaro Inui
• Abstract要約: コントラストに基づく文エンコーダは,情報理論量に基づいて暗黙的に単語を重み付けすることを示す。 その結果、対照的な微調整が情報的単語を強調するという実証的な証拠が得られた。
• 参考スコア（独自算出の注目度）: 23.759484613409327
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The performance of sentence encoders can be significantly improved through the simple practice of fine-tuning using contrastive loss. A natural question arises: what characteristics do models acquire during contrastive learning? This paper theoretically and experimentally shows that contrastive-based sentence encoders implicitly weight words based on information-theoretic quantities; that is, more informative words receive greater weight, while others receive less. The theory states that, in the lower bound of the optimal value of the contrastive learning objective, the norm of word embedding reflects the information gain associated with the distribution of surrounding words. We also conduct comprehensive experiments using various models, multiple datasets, two methods to measure the implicit weighting of models (Integrated Gradients and SHAP), and two information-theoretic quantities (information gain and self-information). The results provide empirical evidence that contrastive fine-tuning emphasizes informative words.
• Abstract（参考訳）: コントラスト損失を用いた微調整の簡単な実践により、文エンコーダの性能は大幅に向上する。 モデルがコントラスト学習中に獲得する特徴は何か? 本稿では,コントラストに基づく文エンコーダが,情報理論量に基づいて暗黙的に単語重み付けを行うことを理論的に実験的に示す。 この理論は、対照的な学習目標の最適値の下限において、単語埋め込みのノルムは、周囲の単語の分布に関連する情報ゲインを反映していると述べている。 また、様々なモデル、複数のデータセット、モデルの暗黙の重み付け(Integrated Gradients と SHAP)を測定する2つの方法、情報理論量(情報ゲインと自己情報)を用いて包括的な実験を行う。 その結果、対照的な微調整が情報的単語を強調するという実証的な証拠が得られた。

関連論文リスト

• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Separating common from salient patterns with Contrastive Representation Learning [2.250968907999846]
  コントラスト分析は、2つのデータセット間の変動の共通要因を分離することを目的としている。 変分オートエンコーダに基づく現在のモデルは意味表現の学習において性能が劣っている。 コントラスト分析に適合した意味表現表現を学習するためのコントラスト学習の活用を提案する。
  論文  参考訳（メタデータ） (2024-02-19T08:17:13Z)
• Rethinking Negative Pairs in Code Search [56.23857828689406]
  我々は、重み項をInfoNCEに挿入する簡易で効果的なSoft-InfoNCE損失を提案する。 我々は,Soft-InfoNCEが学習したコード表現の分布を制御することと,より正確な相互情報推定の導出に与える影響を分析する。
  論文  参考訳（メタデータ） (2023-10-12T06:32:42Z)
• Hodge-Aware Contrastive Learning [101.56637264703058]
  単純コンプレックスは、マルチウェイ依存によるデータのモデリングに有効である。 我々は、単純なデータを処理するための対照的な自己教師付き学習手法を開発した。
  論文  参考訳（メタデータ） (2023-09-14T00:40:07Z)
• Human Inspired Progressive Alignment and Comparative Learning for Grounded Word Acquisition [6.47452771256903]
  我々は、人間の赤ちゃんが最初の言語をどのように習得するかからインスピレーションを得て、比較学習を通じて単語獲得のための計算プロセスを開発した。 認知的発見を動機として,様々な属性の類似点と相違点を計算モデルで比較できる小さなデータセットを作成した。 我々は、単語の獲得を情報フィルタリングのプロセスだけでなく、表現-シンボルマッピングにもとづいている。
  論文  参考訳（メタデータ） (2023-07-05T19:38:04Z)
• The Short Text Matching Model Enhanced with Knowledge via Contrastive Learning [8.350445155753167]
  本稿では,コントラスト学習と外部知識を組み合わせた短いテキストマッチングモデルを提案する。 ノイズを避けるため、原文の主文としてキーワードを用いて、知識ベースで対応する知識語を検索する。 設計モデルは,2つの公開可能な中国語テキストマッチングデータセット上で,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-04-08T03:24:05Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• MCSE: Multimodal Contrastive Learning of Sentence Embeddings [23.630041603311923]
  本稿では,視覚情報とテキスト情報の両方をマルチモーダル・コントラッシブ・オブジェクトを通じて活用する文埋め込み学習手法を提案する。 提案手法は,各種データセットと事前学習エンコーダのパフォーマンスを継続的に向上することを示す。
  論文  参考訳（メタデータ） (2022-04-22T21:19:24Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。