論文の概要: UNICS: Multilingual Code Search via Unified Pseudocode and Contrastive Transfer Learning

• arxiv url: http://arxiv.org/abs/2606.27747v1
• Date: Fri, 26 Jun 2026 06:03:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.391564
• Title: UNICS: Multilingual Code Search via Unified Pseudocode and Contrastive Transfer Learning
• Title（参考訳）: UNICS:Unified PseudocodeとContrastive Transfer Learningによる多言語コード検索
• Abstract要約: 2段階のトレーニング戦略に基づいて構築された多言語コード検索のためのフレームワークであるUNICSを紹介する。 最初の段階では、UNICSは、擬似コードを統一表現として使用する、構築した新しいデータセットに基づいて事前訓練される。 第2段階では、この一般的な知識を特定の言語に適応させるマルチタスク変換学習戦略を採用している。
• 参考スコア（独自算出の注目度）: 20.215764918447643
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While pre-trained models have achieved remarkable success in code search, their multilingual capabilities remain a major hurdle, plagued by data imbalance, cross-lingual semantic interference, and the loss of critical information from existing unified representations like Abstract Syntax Trees (ASTs) or Intermediate Representations (IRs). Furthermore, conventional contrastive learning strategies often rely on simplistic hard negative sampling while overlooking the potential of mining hard positives to learn code's intrinsic semantic invariance. To address these challenges, we introduce UNICS, a framework for multilingual code search built on a two-stage training strategy. In the first stage, UNICS is pre-trained on a novel dataset we constructed, which uses pseudo-code as a unified representation to learn a cross-lingual, algorithm-level logic that preserves full semantic fidelity. The second stage employs a multi-task transfer learning strategy that adapts this general knowledge to specific languages by decomposing code into semantic slices (e.g., API calls, function bodies) and incorporating tasks for hard positive mining and cross-lingual dynamic hard negative sampling. Experimental results demonstrate that UNICS achieves state-of-the-art performance across multiple multilingual and cross-lingual benchmarks, showcasing superior generalization and performance balance, especially in zero-shot transfer tasks to low-resource languages.
• Abstract（参考訳）: 事前訓練されたモデルはコード検索で顕著に成功したが、その多言語機能は依然として大きなハードルであり、データ不均衡、言語間セマンティック干渉、抽象構文木(AST)や中間表現(IR)といった既存の統一表現から重要な情報が失われることに悩まされている。 さらに、従来のコントラスト学習戦略は、コードの本質的な意味的不変性を学ぶために、ハードポジティブをマイニングする可能性を見越しながら、単純なハードネガティブサンプリングに依存することが多い。 これらの課題に対処するため、2段階のトレーニング戦略に基づいて構築された多言語コード検索のためのフレームワークであるUNICSを紹介した。 最初の段階では、UNICSは、私たちが構築した新しいデータセットに基づいて事前訓練され、擬似コードを統一表現として使用して、完全な意味的忠実性を保持する言語間論理を学習する。 第2段階では、コードのセマンティックスライス(API呼び出し、関数本体など)への分解と、ハードポジティブマイニングとクロスリンガルな動的ハードネガティブサンプリングのためのタスクの導入によって、この一般的な知識を特定の言語に適応させるマルチタスク転送学習戦略を採用している。 実験結果から,UNICSは複数の多言語および言語間ベンチマークで最先端のパフォーマンスを実現し,特に低リソース言語へのゼロショット転送タスクにおいて,優れた一般化と性能バランスを示すことがわかった。

関連論文リスト

• Disentangled Contrastive Learning for Zero-Shot Multilingual Dense Retrieval [18.12664959335536]
  本稿では,多言語高密度検索のための非交叉型コントラスト学習(DCL)手法を提案する。 具体的には、階層的セマンティックアライメントとコントラスト学習の言語不偏に基づく、非絡み合った最適化目標を設計する。 提案手法は、その有効性と一般化能力を示すとともに、いくつかの強いベースラインを一貫して上回ります。
  論文  参考訳（メタデータ） (2026-08-03T13:13:15Z)
• What Language is This? Ask Your Tokenizer [32.28976119949841]
  言語識別(LID)は多くの多言語自然言語処理パイプラインの重要なコンポーネントである。 我々は,UnigramLMトークン化アルゴリズムに基づくシンプルで効率的なLID手法UniLIDを紹介する。 我々の定式化は、データと計算効率が良く、既存のモデルを再訓練することなく、新しい言語の漸進的な追加をサポートしています。
  論文  参考訳（メタデータ） (2026-02-19T18:58:39Z)
• What Drives Cross-lingual Ranking? Retrieval Approaches with Multilingual Language Models [0.19116784879310025]
  リソース、スクリプト、埋め込みモデルにおける弱い言語間セマンティックアライメントの相違により、言語間情報検索は困難である。 既存のパイプラインは、しばしば翻訳と単言語検索に依存し、計算オーバーヘッドとノイズ、パフォーマンスを追加する。 この研究は、文書翻訳、事前訓練されたエンコーダによる多言語密集検索、単語、フレーズ、クエリー文書レベルのコントラスト学習、および3つのベンチマークデータセットにおけるクロスエンコーダの再ランク付けという、4つの介入タイプを体系的に評価する。
  論文  参考訳（メタデータ） (2025-11-24T17:17:40Z)
• Align, Generate, Learn: A Novel Closed-Loop Framework for Cross-Lingual In-Context Learning [0.0]
  言語間インコンテキスト学習(XICL)は、多言語タスクに対処するために大規模言語モデル(LLM)を活用するための変換パラダイムとして登場した。 タスク関連事例を内部的に選択・活用するために, LLMの生成能力を活用する, 自己管理型フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-12T05:36:51Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Multi-level Contrastive Learning for Cross-lingual Spoken Language Understanding [90.87454350016121]
  コントラスト学習のための難解なサンプルを, あらゆるレベルで生成するコードスイッチング手法を開発した。 言語間知識伝達にラベルセマンティクスを利用するラベル認識ジョイントモデルを開発した。
  論文  参考訳（メタデータ） (2022-05-07T13:44:28Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• IGLUE: A Benchmark for Transfer Learning across Modalities, Tasks, and Languages [87.5457337866383]
  画像認識言語理解評価ベンチマークについて紹介する。 IGLUEは、視覚的質問応答、クロスモーダル検索、グラウンドド推論、20言語にわたるグラウンドドエンターテイメントタスクをまとめて提供する。 翻訳-テストの転送はゼロショットの転送よりも優れており、少数ショットの学習は多くのタスクに役立てることが難しい。
  論文  参考訳（メタデータ） (2022-01-27T18:53:22Z)
• Evaluating Multilingual Text Encoders for Unsupervised Cross-Lingual Retrieval [51.60862829942932]
  本稿では,言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性に着目した体系的実証研究を行う。 文レベルのCLIRでは、最先端のパフォーマンスが達成できることを実証する。 しかし、ピーク性能は、汎用の多言語テキストエンコーダをオフ・ザ・シェルフで使うのではなく、文の理解タスクにさらに特化したバリエーションに依存している。
  論文  参考訳（メタデータ） (2021-01-21T00:15:38Z)
• On Learning Universal Representations Across Languages [37.555675157198145]
  文レベルの表現を学習するための既存のアプローチを拡張し、言語間理解と生成の有効性を示す。 具体的には,複数の言語に分散した並列文の普遍表現を学習するための階層型コントラスト学習(HiCTL)手法を提案する。 我々は、XTREMEと機械翻訳という2つの難解な言語間タスクについて評価を行う。
  論文  参考訳（メタデータ） (2020-07-31T10:58:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。