Fugu-MT 論文翻訳(概要): Isotropy Matters: Soft-ZCA Whitening of Embeddings for Semantic Code Search

論文の概要: Isotropy Matters: Soft-ZCA Whitening of Embeddings for Semantic Code Search

arxiv url: http://arxiv.org/abs/2411.17538v2
Date: Wed, 27 Nov 2024 09:43:01 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-28 15:27:19.140762
Title: Isotropy Matters: Soft-ZCA Whitening of Embeddings for Semantic Code Search
Title（参考訳）: 等方性:意味的コード検索のための埋め込みのソフトZCA白化
Authors: Andor Diera, Lukas Galke, Ansgar Scherp,
Abstract要約: 埋め込み空間における低等方性は、意味推論を含むタスクのパフォーマンスを損なう。埋め込みにおける等方性レベルを制御するための改良型ZCA白化手法を提案する。
参考スコア（独自算出の注目度）: 6.704529554100875
License:
Abstract: Low isotropy in an embedding space impairs performance on tasks involving semantic inference. Our study investigates the impact of isotropy on semantic code search performance and explores post-processing techniques to mitigate this issue. We analyze various code language models, examine isotropy in their embedding spaces, and its influence on search effectiveness. We propose a modified ZCA whitening technique to control isotropy levels in embeddings. Our results demonstrate that Soft-ZCA whitening improves the performance of pre-trained code language models and can complement contrastive fine-tuning.
Abstract（参考訳）: 埋め込み空間における低等方性は、意味推論を含むタスクのパフォーマンスを損なう。本研究は,アイソトロピーがセマンティックコード検索性能に与える影響について検討し,この問題を軽減するための後処理手法について検討する。様々なコード言語モデルを分析し,その埋め込み空間における等方性とその探索効率への影響について検討する。埋め込みにおける等方性レベルを制御するための改良型ZCA白化手法を提案する。この結果から,Soft-ZCAの白化により,事前学習した言語モデルの性能が向上し,コントラスト的な微調整を補完できることが示された。

関連論文リスト

ACE : Off-Policy Actor-Critic with Causality-Aware Entropy Regularization [52.5587113539404]
因果関係を考慮したエントロピー(entropy)という用語を導入し,効率的な探索を行うための潜在的影響の高いアクションを効果的に識別し,優先順位付けする。提案アルゴリズムであるACE:Off-policy Actor-critic with Causality-aware Entropy regularizationは,29種類の連続制御タスクに対して,大幅な性能上の優位性を示す。
論文参考訳（メタデータ） (2024-02-22T13:22:06Z)
Unsupervised Synthetic Image Refinement via Contrastive Learning and Consistent Semantic-Structural Constraints [32.07631215590755]
コントラスト学習(CL)は、相関したパッチをまとめて、非相関的なパッチを分離するのに成功している。本研究では,合成画像と精細画像間の意味的・構造的整合性を利用して,意味的歪みを低減するためにCLを採用する。
論文参考訳（メタデータ） (2023-04-25T05:55:28Z)
Dual Stage Stylization Modulation for Domain Generalized Semantic Segmentation [39.35385886870209]
In the Adversarial Semantic Hallucination+ framework。本手法は,各画素に対する意味情報を活用することにより,画素単位の幻覚強度を適応的に調整する。提案手法の有効性を,公開されているセマンティックセグメンテーションベンチマークデータセットの総合的な実験により検証する。
論文参考訳（メタデータ） (2023-04-18T23:54:20Z)
Improved Beam Search for Hallucination Mitigation in Abstractive Summarization [1.2328446298523066]
本稿では,要約生成における幻覚の検出と防止を目的とした自然言語推論(NLI)の指標について検討する。本研究では,入力コンテキストと要約モデル生成ビーム間の包含確率スコアを計算し,NLIを用いたビーム再ランク付け機構を提案する。提案アルゴリズムは,XSumおよびCNN/DMデータセット上でバニラビームデコーディングを著しく上回っている。
論文参考訳（メタデータ） (2022-12-06T02:33:47Z)
Discovering Class-Specific GAN Controls for Semantic Image Synthesis [73.91655061467988]
本稿では,事前訓練されたSISモデルの潜在空間において,空間的に不整合なクラス固有方向を求める新しい手法を提案する。提案手法によって検出される潜在方向は,セマンティッククラスの局所的な外観を効果的に制御できることを示す。
論文参考訳（メタデータ） (2022-12-02T21:39:26Z)
Adaptive Meta-learner via Gradient Similarity for Few-shot Text Classification [11.035878821365149]
本稿では, モデル一般化能力の向上を図るため, 適応型メタラーナをグラディエント類似性(AMGS)を介して提案する。いくつかのベンチマークによる実験結果から,提案したAMGSは連続的にテキスト分類性能を向上することが示された。
論文参考訳（メタデータ） (2022-09-10T16:14:53Z)
Deep Semantic Statistics Matching (D2SM) Denoising Network [70.01091467628068]
本稿では,Deep Semantic Statistics Matching (D2SM) Denoising Networkを紹介する。事前訓練された分類ネットワークの意味的特徴を利用して、意味的特徴空間における明瞭な画像の確率的分布と暗黙的に一致させる。識別画像のセマンティックな分布を学習することで,ネットワークの認知能力を大幅に向上させることを実証的に見出した。
論文参考訳（メタデータ） (2022-07-19T14:35:42Z)
Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
論文参考訳（メタデータ） (2021-08-03T19:24:25Z)
Tesseract: Tensorised Actors for Multi-Agent Reinforcement Learning [92.05556163518999]
MARLは、コミュニケーションと可観測性に様々な制約を課すことによって、問題を悪化させる。値ベースの手法では、最適な値関数を正確に表現することが課題となる。政策勾配法では、批判者の訓練を困難にし、遅れる批判者の問題を悪化させる。学習理論の観点からは、関連するアクション値関数を正確に表現することで、両方の問題に対処できることが示される。
論文参考訳（メタデータ） (2021-05-31T23:08:05Z)
Effects of Pre- and Post-Processing on type-based Embeddings in Lexical Semantic Change Detection [4.7677261488999205]
既存のモデルを(i)大きなコーパス上で事前トレーニングし、悪名高い小さなデータ問題に取り組むダイアクロニックターゲットコーパスを精錬することで最適化する。本結果は,様々な学習シナリオを対象とした語彙意味変化検出モデルの適用と最適化のガイドを提供する。
論文参考訳（メタデータ） (2021-01-22T22:34:15Z)
Rectified Meta-Learning from Noisy Labels for Robust Image-based Plant Disease Diagnosis [64.82680813427054]
植物病は食料安全保障と作物生産に対する主要な脅威の1つである。 1つの一般的なアプローチは、葉画像分類タスクとしてこの問題を変換し、強力な畳み込みニューラルネットワーク(CNN)によって対処できる。本稿では,正規化メタ学習モジュールを共通CNNパラダイムに組み込んだ新しいフレームワークを提案する。
論文参考訳（メタデータ） (2020-03-17T09:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。