論文の概要: Task-Conditional Flow Matching for Balanced Multilingual Text Embedding Adaptation
- arxiv url: http://arxiv.org/abs/2608.05785v1
- Date: Thu, 06 Aug 2026 09:19:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 15:25:20.864615
- Title: Task-Conditional Flow Matching for Balanced Multilingual Text Embedding Adaptation
- Title(参考訳): バランスの取れた多言語テキスト埋め込み適応のためのタスクコンディショナルフローマッチング
- Abstract要約: Task-Conditional Flow Matchingは多言語埋め込み適応フレームワークである。
翻訳タスクにフローマッチングを適用し、検索、分類、ペア分類タスクを最適化する。
Indic Massive Text Embedding Benchmarkによる評価
- 参考スコア(独自算出の注目度): 0.6980863185266349
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilingual text embedding models are commonly adapted using a single training objective across diverse tasks, despite different tasks requiring fundamentally different optimization strategies. We introduce Task-Conditional Flow Matching (TCFM), a multilingual embedding adaptation framework that selectively applies Flow Matching to translation tasks while optimizing retrieval, classification, and pair-classification tasks with objectives better aligned to their learning dynamics. TCFM further combines teacher-guided representation preservation with a three-stage curriculum to enable stable adaptation. Evaluated on the Indic Massive Text Embedding Benchmark, TCFM establishes a new state-of-the-art, consistently improving embedding quality across a diverse set of multilingual tasks and generalizing across embedding model families. We will publicly release the codebase and datasets upon acceptance of the paper.
- Abstract(参考訳): 多言語テキスト埋め込みモデルは、基本的に異なる最適化戦略を必要とする異なるタスクにもかかわらず、様々なタスクにまたがる単一の訓練目標を用いて一般的に適応される。
本稿では,翻訳タスクにフローマッチングを選択的に適用し,検索,分類,ペア分類タスクを最適化する多言語埋め込み適応フレームワークTCFMを紹介する。
TCFMはさらに、教師が指導する表現保存と3段階のカリキュラムを組み合わせることで、安定した適応を可能にする。
TCFMはIndic Massive Text Embedding Benchmarkに基づいて、新しい最先端技術を確立し、多言語タスクの多様なセットにまたがる埋め込み品質を一貫して改善し、埋め込みモデルファミリをまたいで一般化する。
論文の受理後、コードベースとデータセットを公開します。
関連論文リスト
- COMPASS: COntinual Multilingual PEFT with Adaptive Semantic Sampling [0.023074632109535153]
ターゲット言語に大規模言語モデルを適用するための,データ中心のフレームワークを導入する。
我々は、既存のトレーニングデータとターゲット利用分布のセマンティックギャップを特定するために、分布対応サンプリング戦略を用いる。
我々はこれを継続的学習フレームワークに拡張し、本番環境でのデータ分散シフトを監視し、アダプタを動的に更新し、モデルの不安定さを防ぐ。
論文 参考訳(メタデータ) (2026-04-22T16:07:10Z) - CoT Referring: Improving Referring Expression Tasks with Grounded Reasoning [67.18702329644526]
CoT Referringは、構造化されたチェーン・オブ・シークレット・トレーニングデータ構造を通じて、モデル推論をモダリティにわたって強化する。
トレーニングデータを再構築して、新たな出力フォームを実行し、既存のデータセットに新たなアノテーションを提供します。
また、検出とセグメント化機能を統合MLLMフレームワークに統合し、新しい適応重み付き損失で学習して性能を最適化する。
論文 参考訳(メタデータ) (2025-10-03T08:50:21Z) - SOI Matters: Analyzing Multi-Setting Training Dynamics in Pretrained Language Models via Subsets of Interest [5.882817862856554]
本研究では,マルチタスク,マルチ言語,マルチソースの学習アプローチが,事前学習した言語モデルの堅牢性と性能に与える影響について検討する。
興味のサブセット(SOI)は、忘れられない例、未学習例、常に正しい例を含む、トレーニング中の6つの異なる学習行動パターンを特定する。
その結果,マルチタスク学習は相似したタスクの組み合わせにおいて,相似した結果と相似した結果を示す一方,マルチタスク学習は分配性能を最大7%向上させることがわかった。
論文 参考訳(メタデータ) (2025-07-21T04:43:21Z) - Multi-Scale and Multi-Objective Optimization for Cross-Lingual Aspect-Based Sentiment Analysis [0.808899919316203]
言語間ABSAのための新しいフレームワークであるMulti-Scale and Multi-Objective Optimization (MSMO)を提案する。
我々は、異なる文脈環境におけるアスペクト項の特徴を整合させて、言語間の文レベルとアスペクトレベルのアライメントを実現する。
その結果,MSMOは複数の言語やモデルにまたがって最先端の性能を実現することで,言語間ABSAを著しく向上させることがわかった。
論文 参考訳(メタデータ) (2025-02-19T13:43:33Z) - Meta-Task Prompting Elicits Embeddings from Large Language Models [54.757445048329735]
本稿では,新しい教師なしテキスト埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを紹介する。
モデル微調整を必要とせずに,大規模言語モデルから高品質な文埋め込みを生成する。
提案法は,多種多様なシナリオにまたがって生成を組み込む汎用的で資源効率のよい手法を提供する。
論文 参考訳(メタデータ) (2024-02-28T16:35:52Z) - Multi-Task Learning for Front-End Text Processing in TTS [15.62497569424995]
テキストから音声のフロントエンドで一般的に解決される3つのタスクを共同で実行するためのマルチタスク学習(MTL)モデルを提案する。
我々のフレームワークは、共有表現を学習するトランクを持つ木のような構造を利用し、その後にタスク固有ヘッドを分離する。
論文 参考訳(メタデータ) (2024-01-12T02:13:21Z) - Improving Multi-task Generalization Ability for Neural Text Matching via
Prompt Learning [54.66399120084227]
最近の最先端のニューラルテキストマッチングモデル(PLM)は、様々なタスクに一般化することが難しい。
我々は、特殊化一般化訓練戦略を採用し、それをMatch-Promptと呼ぶ。
特殊化段階では、異なるマッチングタスクの記述はいくつかのプロンプトトークンにマッピングされる。
一般化段階において、テキストマッチングモデルは、多種多様なマッチングタスクを訓練することにより、本質的なマッチング信号を探索する。
論文 参考訳(メタデータ) (2022-04-06T11:01:08Z) - Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。
マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。
タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
論文 参考訳(メタデータ) (2021-04-28T16:45:56Z) - Improving Generalization in Meta-learning via Task Augmentation [69.83677015207527]
本稿ではMetaMixとChannel Shuffleの2つのタスク拡張手法を提案する。
MetaMixとChannel Shuffleはどちらも、多くのデータセットにまたがる大きなマージンによって、最先端の結果を上回っている。
論文 参考訳(メタデータ) (2020-07-26T01:50:42Z) - Pre-training via Paraphrasing [96.79972492585112]
教師なし多言語パラフレージング目的を用いて学習した,事前学習されたシーケンス・ツー・シーケンスモデルであるMARGEを紹介する。
ランダムな初期化のみを前提として,検索と再構築を共同で行うことができることを示す。
例えば、追加のタスク固有のトレーニングがなければ、文書翻訳のBLEUスコアは最大35.8に達する。
論文 参考訳(メタデータ) (2020-06-26T14:43:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。