論文の概要: Preserving Multilingual Quality While Tuning Query Encoder on English Only

• arxiv url: http://arxiv.org/abs/2407.00923v3
• Date: Sat, 14 Dec 2024 01:23:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:51:22.034347
• Title: Preserving Multilingual Quality While Tuning Query Encoder on English Only
• Title（参考訳）: 問合せエンコーダを英語のみに調整した多言語品質の保存
• Authors: Oleg Vasilyev, Randy Sawaya, John Bohannon,
• Abstract要約: 二重経路検索システムのクエリエンコーダは、特定の種類のクエリやドメインに対してチューニングすることができる。 あるクエリエンコーダから別のクエリエンコーダへの切り替えは、容易に実現できます。 エンコーダの汎用的でオリジナルな品質は、狭義のドメインでチューニングされた場合、保存するか、あるいは少なくともあまり劣化しないままにしておくことができるだろうか?
• 参考スコア（独自算出の注目度）: 17.799340858082907
• License:
• Abstract: A query encoder of a dual passage retrieval system can be tuned for specific types of queries or domains, while the precomputed and stored documents representations are kept intact. Switching from one query encoder to another when needed is easily feasible, unlike overhauling the embeddings of a whole knowledge base. In this work we raise a question: Can the generic, original qualities of the encoder be preserved or at least left not too degraded when it is tuned on a narrow domain? We conducted experiments on a high quality multilingual embedding model: Tuning it on a single English-only dataset, we observe that the tuning not only preserves the multilingual qualities, but even improves them. The embedding qualities on distinctly different data are also improved or at least preserved. Drawing on our observations, we suggest a more general hypothesis: Tuning with intentionally low learning rate can preserve or improve a system's properties acquired in training, but not specifically targeted by tuning. We call this adiabatic tuning and provide tentative explanations.
• Abstract（参考訳）: 二重経路検索システムのクエリエンコーダは特定の種類のクエリやドメインに対して調整可能であり、プリ計算および格納された文書表現はそのまま保持される。 あるクエリエンコーダから別のクエリエンコーダへの切り替えは、知識ベース全体の埋め込みをオーバーホールするのとは異なり、容易に実現できます。 エンコーダの汎用的でオリジナルな性質は、狭いドメインでチューニングされたときに保存されるか、少なくともあまり劣化しないままにするか? 我々は、高品質な多言語埋め込みモデルの実験を行った: 単一の英語のみのデータセットでチューニングすると、チューニングは多言語品質を保っているだけでなく、改善している。 個別に異なるデータへの埋め込み品質も改善されるか、少なくとも保存される。 意図的な学習率の低いチューニングは、トレーニング時に取得したシステムの特性を保存または改善できますが、チューニングを特に対象としていません。 私たちはこれを断続的なチューニングと呼び、暫定的な説明を提供します。

関連論文リスト

• UMFC: Unsupervised Multi-Domain Feature Calibration for Vision-Language Models [75.77651291095565]
  我々は、視覚言語モデルの転送可能性を高めるために、自然に複数のドメインにまたがるラベルのないデータを活用する。 この教師なしマルチドメイン設定の下で、我々はCLIP内の固有モデルバイアスを特定した。 このモデルバイアスを軽減するために,Unsupervised Multi-domain Feature (UMFC)を提案する。
  論文  参考訳（メタデータ） (2024-11-11T12:25:02Z)
• FPT: Feature Prompt Tuning for Few-shot Readability Assessment [14.058586527866426]
  豊かな言語知識を取り入れた新しいプロンプトベースのチューニングフレームワークを提案する。 具体的には,テキストから言語的特徴を抽出し,訓練可能なソフトプロンプトに組み込む。 提案手法は,言語関連タスクへの言語的特徴の適応方法に光を当てる,即時チューニングのための新しいアーキテクチャを確立する。
  論文  参考訳（メタデータ） (2024-04-03T14:39:47Z)
• Why Is Prompt Tuning for Vision-Language Models Robust to Noisy Labels? [41.56585313495218]
  視覚言語モデルは、数発のプロンプトチューニングによって、新しい分類タスクに適応することができる。 本稿では,プロンプトチューニングパラダイムの堅牢性に寄与する主な理由について考察する。 ノイズの多いCLIPからのゼロショット予測は、独自のプロンプトをチューニングするために使用できることを示す。
  論文  参考訳（メタデータ） (2023-07-22T04:20:30Z)
• Universality and Limitations of Prompt Tuning [65.8354898840308]
  トランスフォーマーアーキテクチャにおけるソフトプロンプトチューニングの役割を理解するための最初のステップの1つを取り上げる。 連続値関数に対する有限深度事前学習型変圧器を用いて、普遍性と制限のレンズからの即時チューニングを解析する。 この結果は、リプシッツ関数の集合における任意の列列列関数を近似するプロンプトを持つ強変換器の存在を保証する。
  論文  参考訳（メタデータ） (2023-05-30T06:47:07Z)
• Hidden State Variability of Pretrained Language Models Can Guide Computation Reduction for Transfer Learning [16.60284838029852]
  我々は、どのレイヤのサブセットに適応すべきか、タスク固有の選択ができるかどうかを検討する。 本稿では,タスク固有のコーパスを与えられた隠れ状態の可変性に基づいて,階層を選択することを提案する。
  論文  参考訳（メタデータ） (2022-10-18T17:58:43Z)
• On Cross-Lingual Retrieval with Multilingual Text Encoders [51.60862829942932]
  言語間文書・文検索タスクにおける最先端多言語エンコーダの適合性について検討する。 教師なしのアドホック文と文書レベルのCLIR実験でそれらの性能をベンチマークする。 我々は、ゼロショット言語とドメイン転送CLIR実験のシリーズにおける英語関連データに基づいて、教師付き方式で微調整された多言語エンコーダの評価を行った。
  論文  参考訳（メタデータ） (2021-12-21T08:10:27Z)
• Revisiting Deep Local Descriptor for Improved Few-Shot Classification [56.74552164206737]
  textbfDense textbfClassification と textbfAttentive textbfPooling を利用して埋め込みの質を向上させる方法を示す。 広範に使われているグローバル平均プール (GAP) の代わりに, 注意深いプールを施し, 特徴マップをプールすることを提案する。
  論文  参考訳（メタデータ） (2021-03-30T00:48:28Z)
• First Align, then Predict: Understanding the Cross-Lingual Ability of Multilingual BERT [2.2931318723689276]
  言語間移動は、ある言語への関心のタスクを微調整し、ある言語を個別に評価することから生じる。 多言語bertは,マルチリンガルエンコーダとタスク固有言語非依存予測器の2つのサブネットワークの積み重ねと見なすことができる。 エンコーダは言語間移動に不可欠であり、微調整中はほとんど変化しないが、タスク予測器は転写にほとんど重要ではなく、微調整時に赤くなる。
  論文  参考訳（メタデータ） (2021-01-26T22:12:38Z)
• Intrinsic Probing through Dimension Selection [69.52439198455438]
  現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。 このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。 本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
  論文  参考訳（メタデータ） (2020-10-06T15:21:08Z)
• Fixed Encoder Self-Attention Patterns in Transformer-Based Machine Translation [73.11214377092121]
  我々は,各エンコーダ層の注意頭数のみを,単純な固定型(非学習型)の注意パターンに置き換えることを提案する。 異なるデータサイズと複数の言語ペアを用いた実験により、トレーニング時にトランスフォーマーのエンコーダ側でアテンションヘッドを固定することは翻訳品質に影響を与えないことが示された。
  論文  参考訳（メタデータ） (2020-02-24T13:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。