論文の概要: Hyper-CL: Conditioning Sentence Representations with Hypernetworks

• arxiv url: http://arxiv.org/abs/2403.09490v2
• Date: Fri, 7 Jun 2024 02:24:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 19:37:58.013493
• Title: Hyper-CL: Conditioning Sentence Representations with Hypernetworks
• Title（参考訳）: Hyper-CL: Hypernetworksによる条件付き文表現
• Authors: Young Hyun Yoo, Jii Cha, Changhyeon Kim, Taeuk Kim,
• Abstract要約: 我々は、ハイパーネットワークとコントラスト学習を統合し、条件付き文表現を計算する効率的な手法であるHyper-CLを紹介する。 提案手法では,計算済み条件埋め込みを対応する射影層に変換する。 条件付きセマンティックテキスト類似性と知識グラフ補完という2つの代表的な条件付けベンチマークの評価は,Hyper-CLが文表現の柔軟条件付けに有効であることを示す。
• 参考スコア（独自算出の注目度）: 5.173826260960304
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While the introduction of contrastive learning frameworks in sentence representation learning has significantly contributed to advancements in the field, it still remains unclear whether state-of-the-art sentence embeddings can capture the fine-grained semantics of sentences, particularly when conditioned on specific perspectives. In this paper, we introduce Hyper-CL, an efficient methodology that integrates hypernetworks with contrastive learning to compute conditioned sentence representations. In our proposed approach, the hypernetwork is responsible for transforming pre-computed condition embeddings into corresponding projection layers. This enables the same sentence embeddings to be projected differently according to various conditions. Evaluation on two representative conditioning benchmarks, namely conditional semantic text similarity and knowledge graph completion, demonstrates that Hyper-CL is effective in flexibly conditioning sentence representations, showcasing its computational efficiency at the same time. We also provide a comprehensive analysis of the inner workings of our approach, leading to a better interpretation of its mechanisms.
• Abstract（参考訳）: 文表現学習における対照的な学習フレームワークの導入は、この分野の進歩に大きく寄与しているが、現状の文埋め込みが、特に特定の視点で条件付けられた場合、文の微細な意味を捉えることができるかどうかはまだ不明である。 本稿では,ハイパーネットワークとコントラスト学習を統合し,条件付き文表現を計算する手法であるHyper-CLを紹介する。 提案手法では,計算済み条件埋め込みを対応する射影層に変換する。 これにより、同じ文の埋め込みを様々な条件に応じて異なる方法で投影することができる。 条件付きセマンティックテキスト類似性と知識グラフ補完という2つの代表的な条件付けベンチマークの評価は,ハイパーCLが文表現の柔軟条件付けに有効であることを示し,その計算効率を同時に示す。 また、我々のアプローチの内部動作を包括的に分析し、そのメカニズムをよりよく解釈する。

関連論文リスト

• Bit Cipher -- A Simple yet Powerful Word Representation System that Integrates Efficiently with Language Models [4.807347156077897]
  Bit-cipherは、バックプロパゲーションや超高効率次元減少技術の必要性を排除したワード表現システムである。 我々は、古典的な埋め込みによるビット暗号の競合性を評価するために、POSタグと名前付きエンティティ認識(NER)の探索実験を行った。 埋め込み層を暗号埋め込みに置き換えることで、トレーニングプロセスの高速化と最適な最適化を実現する上での暗号の顕著な効率を実証した。
  論文  参考訳（メタデータ） (2023-11-18T08:47:35Z)
• Identical and Fraternal Twins: Fine-Grained Semantic Contrastive Learning of Sentence Representations [6.265789210037749]
  コントラスト学習フレームワークのIdentical Twins と Fraternal Twins を導入する。 また,提案したツインズ・ロスの有効性を証明するために,概念実証実験と対照的な目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-07-20T15:02:42Z)
• Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations [80.45474362071236]
  文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。 文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
  論文  参考訳（メタデータ） (2023-05-24T00:44:49Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)
• Toward Interpretable Semantic Textual Similarity via Optimal Transport-based Contrastive Sentence Learning [29.462788855992617]
  文間距離を輸送問題に基づく文脈化トークン距離の重み付け和として記述する。 次に、RCMDと呼ばれる最適輸送に基づく距離測定を行い、意味的に整合したトークンペアを特定し、活用する。 最後に,文ペアのRCMDを最適化するコントラスト学習フレームワークであるCLRCMDを提案する。
  論文  参考訳（メタデータ） (2022-02-26T17:28:02Z)
• Deep Clustering by Semantic Contrastive Learning [67.28140787010447]
  Semantic Contrastive Learning (SCL) と呼ばれる新しい変種を紹介します。 従来のコントラスト学習とディープクラスタリングの両方の特徴を探求する。 コントラスト学習と深層クラスタリングの強みを統一的なアプローチで増幅することができる。
  論文  参考訳（メタデータ） (2021-03-03T20:20:48Z)
• Adversarial Robustness of Supervised Sparse Coding [34.94566482399662]
  表現を学習すると同時に、正確な一般化境界と堅牢性証明を与えるモデルを考える。 線形エンコーダと組み合わされたスパーシティプロモーティングエンコーダを組み合わせた仮説クラスに着目した。 エンドツーエンドの分類のための堅牢性証明を提供する。
  論文  参考訳（メタデータ） (2020-10-22T22:05:21Z)
• Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading [96.48553941812366]
  唇読解は唇運動系列から音声内容を推測することを目的としている。 seq2seqモデルの伝統的な学習プロセスには2つの問題がある。 本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T09:12:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。