論文の概要: Enhancing Contrastive Demonstration Selection with Semantic Diversity for Robust In-Context Machine Translation

• arxiv url: http://arxiv.org/abs/2504.09305v1
• Date: Sat, 12 Apr 2025 18:35:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:53:08.051520
• Title: Enhancing Contrastive Demonstration Selection with Semantic Diversity for Robust In-Context Machine Translation
• Title（参考訳）: ロバストなインコンテキスト機械翻訳のための意味的多様性によるコントラスト記述選択の強化
• Authors: Owen Patterson, Chee Ng,
• Abstract要約: 機械翻訳のためのインコンテキスト学習におけるデモ選択のための新しいアプローチであるDiverseConEを提案する。 本手法は, 組込み空間の相似性に基づく多様性向上のステップを組み込むことにより, コントラスト選択に基づく。 以上の結果から,DiverseConEはランダム選択,BM25,TopK,最先端のコントラスト選択など,強いベースライン手法を一貫して上回っていることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In-Context Learning (ICL) empowers large language models to perform tasks by conditioning on a few input-output examples. However, the performance of ICL is highly sensitive to the selection of these demonstrations. While existing methods focus on similarity or contrastive selection, they often overlook the importance of diversity among the chosen examples. In this paper, we propose DiverseConE (Diversity-Enhanced Contrastive Example Selection), a novel approach for demonstration selection in in-context learning for machine translation. Our method builds upon contrastive selection by incorporating a diversity enhancement step based on embedding space dissimilarity. We conduct extensive experiments on the Llama2-7b model across four language pairs (English-Chinese, Chinese-English, Russian-German, German-Russian) in 1-shot and 3-shot settings, using COMET20 and COMET22 for evaluation. Our results demonstrate that DiverseConE consistently outperforms strong baseline methods, including random selection, BM25, TopK, and a state-of-the-art contrastive selection method. Further analysis, including diversity metrics and human evaluation, validates the effectiveness of our approach and highlights the benefits of considering demonstration diversity for improved translation quality.
• Abstract（参考訳）: In-Context Learning (ICL)は、いくつかのインプット・アウトプット・サンプルを条件にすることで、大規模言語モデルにタスクを実行する権限を与える。 しかし、ICLの性能はこれらのデモの選択に非常に敏感である。 既存の手法は類似性や対照的な選択に重点を置いているが、多くの場合、選択された例間の多様性の重要性を見落としている。 本稿では,機械翻訳のためのテキスト内学習における実演選択のための新しい手法であるDiverseConE(Diversity-Enhanced Contrastive Example Selection)を提案する。 本手法は, 組込み空間の相似性に基づく多様性向上のステップを組み込むことにより, コントラスト選択に基づく。 COMET20 と COMET22 を用いて,Llama2-7b モデルを4つの言語対 (英語・中国語・中国語・ロシア語・ドイツ語・ロシア語) で1ショット,3ショット設定で広範囲に実験した。 以上の結果から,DiverseConEはランダム選択,BM25,TopK,最先端のコントラスト選択など,強いベースライン手法を一貫して上回っていることがわかった。 多様性指標と人的評価を含むさらなる分析は、我々のアプローチの有効性を検証し、翻訳品質を向上させるための実証的多様性を検討する利点を強調している。

関連論文リスト

• Affinity and Diversity: A Unified Metric for Demonstration Selection via Internal Representations [2.4866936275046405]
  我々は、ICLモデルの内部表現を活用する統一されたメートル法-親和性と多様性-を提案する。 実験の結果,親和性と多様性は試験精度と強く相関し,実演選択の有効性が示唆された。
  論文  参考訳（メタデータ） (2025-02-20T09:12:51Z)
• Balanced Multi-Factor In-Context Learning for Multilingual Large Language Models [53.38288894305388]
  MLLM(Multilingual Large Language Model)は,言語間知識伝達をパラメータ更新なしで活用することにより,文脈内学習(ICL)を活用して高い性能を実現する。 1) 意味的類似性,(2) 言語的アライメント,(3) 言語固有のパフォーマンスの3つの要因が多言語ICLに影響を与える。 我々は,これらの因子を定量化し,最適にバランスをとる手法として,バランスの取れた多要素ICL(textbfBMF-ICL)を提案する。
  論文  参考訳（メタデータ） (2025-02-17T06:56:33Z)
• Demonstration Selection for In-Context Learning via Reinforcement Learning [16.103533806505403]
  Relevance-Diversity Enhanced Selection (RDES)は、テキスト分類タスクにおける多様な参照デモの選択を最適化するための革新的なアプローチである。 RDESはQラーニングフレームワークを使用して、多様性と分類目標との関連性を最大化するデモを動的に識別する。 RDESは,確立された10のベースラインと比較して,分類精度を著しく向上することを示した。
  論文  参考訳（メタデータ） (2024-12-05T08:33:52Z)
• Effective Demonstration Annotation for In-Context Learning via Language Model-Based Determinantal Point Process [45.632012199451275]
  In-context Learning(ICL)は、インプット・アウトプット・ペアを通じてマッピングを学習する、数発の学習パラダイムである。 既存の作業は大規模にラベル付けされたサポートセットに大きく依存しているため、現実的なシナリオでは必ずしも実現できない。 言語モデルに基づく決定点プロセス(LM-DPP)を導入し、最適選択のための未ラベルインスタンスの不確かさと多様性を同時に検討する。
  論文  参考訳（メタデータ） (2024-08-04T18:08:15Z)
• ParaICL: Towards Robust Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• Revisiting Demonstration Selection Strategies in In-Context Learning [66.11652803887284]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)を用いて広範囲のタスクを実行するという印象的な能力を示している。 本研究ではまず,データとモデルの両方の側面から,この分散に寄与する要因を再検討し,実演の選択がデータとモデルに依存していることを確かめる。 本研究では,データとモデルに依存した実演選択手法である textbfTopK + ConE を提案する。
  論文  参考訳（メタデータ） (2024-01-22T16:25:27Z)
• In-Context Demonstration Selection with Cross Entropy Difference [95.21947716378641]
  大規模言語モデル(LLM)は、ゼロショットタスクのパフォーマンスを改善するためにコンテキスト内デモを使用することができる。 テキスト内デモを選択するためのクロスエントロピー差分法(CED)を提案する。
  論文  参考訳（メタデータ） (2023-05-24T05:04:00Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• Informed Sampling for Diversity in Concept-to-Text NLG [8.883733362171034]
  本稿では,言語生成モデルが確実に生成できる多様性のレベルを探索するために,Imitation Learningアプローチを提案する。 具体的には、任意のタイミングでどの単語が高品質な出力につながるかを識別するように訓練されたメタ分類器を用いて復号処理を強化する。
  論文  参考訳（メタデータ） (2020-04-29T17:43:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。