論文の概要: ContraSim -- A Similarity Measure Based on Contrastive Learning

• arxiv url: http://arxiv.org/abs/2303.16992v2
• Date: Tue, 30 May 2023 09:47:33 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 01:10:17.059315
• Title: ContraSim -- A Similarity Measure Based on Contrastive Learning
• Title（参考訳）: ContraSim - コントラスト学習に基づく類似度尺度
• Authors: Adir Rahamim, Yonatan Belinkov
• Abstract要約: コントラスト学習に基づく新しい類似度尺度であるContraSimを開発した。 ContraSimは、類似した例と異なる例の両方を用いてパラメータ化された尺度を学習する。 いずれの場合も、ContraSimは以前の類似度測定よりもはるかに精度が高い。
• 参考スコア（独自算出の注目度）: 28.949004915740776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has compared neural network representations via similarity-based analyses to improve model interpretation. The quality of a similarity measure is typically evaluated by its success in assigning a high score to representations that are expected to be matched. However, existing similarity measures perform mediocrely on standard benchmarks. In this work, we develop a new similarity measure, dubbed ContraSim, based on contrastive learning. In contrast to common closed-form similarity measures, ContraSim learns a parameterized measure by using both similar and dissimilar examples. We perform an extensive experimental evaluation of our method, with both language and vision models, on the standard layer prediction benchmark and two new benchmarks that we introduce: the multilingual benchmark and the image-caption benchmark. In all cases, ContraSim achieves much higher accuracy than previous similarity measures, even when presented with challenging examples. Finally, ContraSim is more suitable for the analysis of neural networks, revealing new insights not captured by previous measures.
• Abstract（参考訳）: 最近の研究では、モデル解釈を改善するために類似性に基づく分析によるニューラルネットワーク表現を比較している。 類似度尺度の質は、通常、一致が期待される表現に高いスコアを割り当てることの成功によって評価される。 しかし、既存の類似度尺度は標準ベンチマークで平凡に実行される。 本研究では,コントラスト学習に基づく新しい類似度尺度であるContraSimを開発した。 一般的な閉形式類似度測度とは対照的に、ContraSimは類似例と異例の両方を用いてパラメータ化測度を学ぶ。 本手法は,標準層予測ベンチマークと,多言語ベンチマークと画像キャプチャベンチマークの2つのベンチマークを用いて,言語モデルと視覚モデルの両方を用いて,広範な実験評価を行う。 あらゆるケースにおいて、ContraSimは、挑戦的な例を示しても、以前の類似度測定よりもはるかに高い精度を達成する。 最後に、contrasimはニューラルネットワークの分析により適しており、以前の測定では得られなかった新しい洞察を明らかにする。

関連論文リスト

• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Semantic similarity prediction is better than other semantic similarity measures [5.176134438571082]
  意味的類似度を測ることのみに関心がある場合、そのようなタスクのために微調整されたモデルを用いて、その類似度を直接予測する方がよいと論じる。 GLUEベンチマークから得られたセマンティックテキスト類似性ベンチマークタスク(STS-B)の微調整モデルを用いて、STSScoreアプローチを定義し、その結果の類似性は他の手法よりも堅牢なセマンティック類似性尺度に対する期待に合致していることを示す。
  論文  参考訳（メタデータ） (2023-09-22T08:11:01Z)
• Contrastive Principal Component Learning: Modeling Similarity by Augmentation Overlap [50.48888534815361]
  コントラシブ・プリンシパル・コンポーネント・ラーニング(CPCL)手法を提案する。 CPCLにより、学習された低次元埋め込みは、標本間の増大分布の類似性を理論的に保存する。
  論文  参考訳（メタデータ） (2022-06-01T13:03:58Z)
• Comparing in context: Improving cosine similarity measures with a metric tensor [0.0]
  コサイン類似性は、言語モデリングの目標に基づいて訓練された事前訓練された単語埋め込みの関連性の尺度として広く用いられている。 そこで我々は,そのタスクの性能向上のために,拡張されたコサイン類似度尺度を用いることを提案する。 我々は、文脈化メトリクスを学習し、標準コサイン類似度尺度を用いて得られた基準値と比較し、常に改善を示す。 また、SimLex-999 と WordSim-353 のコンテキスト化類似度尺度をトレーニングし、結果と対応するベースラインを比較し、これらのデータセットを学習した全コンテキスト類似度尺度の独立したテストセットとして使用する。
  論文  参考訳（メタデータ） (2022-03-28T18:04:26Z)
• Attributable Visual Similarity Learning [90.69718495533144]
  本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。 人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。 CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2022-03-28T17:35:31Z)
• SimMatch: Semi-supervised Learning with Similarity Matching [43.61802702362675]
  SimMatchは、意味的類似性とインスタンス類似性を考慮した、新しい半教師付き学習フレームワークである。 400エポックのトレーニングで、SimMatchは67.2%、Top-1の正確度は74.4%で、ImageNetでは1%と10%のラベルが付けられている。
  論文  参考訳（メタデータ） (2022-03-14T08:08:48Z)
• MNet-Sim: A Multi-layered Semantic Similarity Network to Evaluate Sentence Similarity [0.0]
  類似性(英: similarity)は、それが考慮される領域によって異なる比較目的測度である。 本稿では,複数の類似度に基づく多層意味類似性ネットワークモデルを提案する。 その結果, 文類似性の評価において, 性能スコアが向上していることが判明した。
  論文  参考訳（メタデータ） (2021-11-09T20:43:18Z)
• Instance-Level Relative Saliency Ranking with Graph Reasoning [126.09138829920627]
  そこで本研究では,有意な事例を分割し,相対的有意な有意なランク順序を推定するための統一モデルを提案する。 また、サラレンシーランキングブランチを効果的にトレーニングするために、新しい損失関数も提案されている。 実験の結果,提案手法は従来の手法よりも有効であることがわかった。
  論文  参考訳（メタデータ） (2021-07-08T13:10:42Z)
• Uncertainty-Aware Few-Shot Image Classification [118.72423376789062]
  ラベル付き限られたデータから新しいカテゴリを認識できる画像分類はほとんどない。 画像分類のための不確実性を考慮したFew-Shotフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-09T12:26:27Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)
• Determining Image similarity with Quasi-Euclidean Metric [0.0]
  擬似ユークリッド計量を画像類似度尺度として評価し,SSIMやユークリッド計量といった既存の標準手法とどのように一致しているかを分析する。 いくつかのケースでは、我々の方法論は顕著な性能を予測しており、我々の実装が類似性を認識するための一歩であることを証明していることも興味深い。
  論文  参考訳（メタデータ） (2020-06-25T18:12:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。