論文の概要: Failures Are the Stepping Stones to Success: Enhancing Few-Shot In-Context Learning by Leveraging Negative Samples

• arxiv url: http://arxiv.org/abs/2507.23211v1
• Date: Thu, 31 Jul 2025 03:06:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-01 17:19:09.016577
• Title: Failures Are the Stepping Stones to Success: Enhancing Few-Shot In-Context Learning by Leveraging Negative Samples
• Title（参考訳）: 失敗は失敗に終わる - 負のサンプルを活用すれば、ほとんどショットのないインテクストの学習を促進する
• Authors: Yunhao Liang, Ruixuan Ying, Takuya Taniguchi, Zhe Cui,
• Abstract要約: 大規模言語モデルは強力なインコンテキスト学習(ICL)能力を示すが、その性能は提供された例に非常に敏感である。 最近の研究は、各入力クエリの対応する例の検索に重点を置いている。 提案手法は, 正のサンプルをよりよく選択するために負のサンプルを利用する新しい方法である。
• 参考スコア（独自算出の注目度）: 3.4511221986774516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models exhibit powerful few-shot in-context learning (ICL) capabilities, but the performance is highly sensitive to provided examples. Recent research has focused on retrieving corresponding examples for each input query, not only enhancing the efficiency and scalability of the learning process but also mitigating inherent biases in manual example selection. However, these studies have primarily emphasized leveraging Positive samples while overlooking the additional information within Negative samples for contextual learning. We propose a novel method that utilizes Negative samples to better select Positive sample examples, thereby enhancing the performance of few-shot ICL. Initially, we construct Positive and Negative sample corpora based on Zero-Shot-Cot. Then, during inference, we employ a semantic similarity-based approach to select the most similar examples from both the Positive and Negative corpora for a given query. Subsequently, we further retrieve Positive examples from the Positive sample corpus based on semantic similarity to the Negative examples, then concatenating them with the previously selected Positive examples to serve as ICL demonstrations. Experimental results demonstrate that our approach surpasses methods solely relying on the most similar positive examples for context, validating that the additional information in negative samples aids in enhancing ICL performance through improved Positive sample selection.
• Abstract（参考訳）: 大規模言語モデルは強力なインコンテキスト学習(ICL)能力を示すが、その性能は提供された例に非常に敏感である。 近年の研究では、各入力クエリの対応するサンプルの検索に重点を置いており、学習プロセスの効率性とスケーラビリティの向上だけでなく、手動のサンプル選択における固有のバイアスの軽減にも力を入れている。 しかしながら、これらの研究は主に、文脈学習のための負のサンプルに含まれる追加情報を見越しながら、正のサンプルを活用することを強調してきた。 そこで本研究では,Negative サンプルを用いてPositive サンプルのより優れた選択を行う手法を提案する。 当初、Zero-Shot-Cotに基づく正負のサンプルコーパスを構築した。 そして、推論中に、あるクエリに対して正と負の両方のコーパスから最も類似した例を選択するために、意味的類似性に基づくアプローチを採用する。 その後、ネガティブな例と意味的類似性に基づいてPositiveサンプルコーパスからPositiveサンプルを検索し、以前に選択したPositiveサンプルと結合してICLデモとして機能する。 実験結果から,提案手法は文脈において最も類似した正の例にのみ依存する手法を超越し,正の正のサンプル選択を改良してICLの性能向上に寄与することを示す。

関連論文リスト

• Weakly Supervised Temporal Sentence Grounding via Positive Sample Mining [64.25904019001449]
  WSTSGの課題は、ビデオレベルのビデオ言語対応のみで、未編集ビデオから言語記述に対応する時間間隔を検出することである。 アンカーサンプルの場合、既存のほとんどのアプローチは、対照的な学習のために、他のビデオまたは同じビデオから負のサンプルを生成する。 我々は,より差別的な監視を提供するために,トレーニングセットから正のサンプルをマイニングする新しいフレームワークである正のサンプルマイニング(PSM)を提案する。
  論文  参考訳（メタデータ） (2025-05-10T08:03:00Z)
• SCENE: Self-Labeled Counterfactuals for Extrapolating to Negative Examples [23.77077091225583]
  SCENE(Self-labeled Counterfactuals for Extrapolating to Negative Examples)は、学習データを自動合成する手法である。 SCENEは、答え可能なトレーニング例のみにアクセスすることで、SQuAD 2.0のパフォーマンスギャップの69.6%を埋めることができる。
  論文  参考訳（メタデータ） (2023-05-13T19:30:58Z)
• Finding Support Examples for In-Context Learning [73.90376920653507]
  本稿では,この課題を2段階に解決するためのfilter-thEN-Search法であるLENSを提案する。 まず、データセットをフィルタリングして、個別に情報的インコンテキストの例を得る。 そこで本研究では,反復的に改良し,選択したサンプル順列を評価可能な多様性誘導型サンプル探索を提案する。
  論文  参考訳（メタデータ） (2023-02-27T06:32:45Z)
• Hard Negative Sampling Strategies for Contrastive Representation Learning [4.1531215150301035]
  UnReMixは、アンカーの類似性、モデルの不確実性、代表性を考慮に入れた、ハードネガティブなサンプリング戦略である。 いくつかのベンチマークによる実験結果から,UnReMixは正のサンプル選択を改良し,その後,最先端のコントラスト学習法と比較した場合の下流性能が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-02T17:55:15Z)
• Feature Extraction Framework based on Contrastive Learning with Adaptive Positive and Negative Samples [1.4467794332678539]
  フレームワークは、教師なし、教師なし、および半教師なしの単一ビュー特徴抽出に適している。 CL-FEFAは、特徴抽出の結果から正および負のサンプルを適応的に構成する。 CL-FEFAは、ポテンシャル構造の類似したサンプルである正のサンプル間の相互情報を考慮し、特徴抽出の利点を理論的に支持する。
  論文  参考訳（メタデータ） (2022-01-11T13:34:03Z)
• Contrastive Attraction and Contrastive Repulsion for Representation Learning [131.72147978462348]
  コントラスト学習(CL)法は,複数の負のサンプルに対して,エンコーダが各正のサンプルと対比する自己超越的な方法でデータ表現を学習する。 最近のCL法は、ImageNetのような大規模データセットで事前訓練された場合、有望な結果を得た。 自己グループ内の正と負のサンプルを別々に比較し、正と負の群を対比して進行する2つのCL戦略を提案する。
  論文  参考訳（メタデータ） (2021-05-08T17:25:08Z)
• Doubly Contrastive Deep Clustering [135.7001508427597]
  本稿では、サンプルビューとクラスビューの両方でコントラスト損失を構築する新しい二重コントラストディープクラスタリング(DCDC)フレームワークを紹介します。 具体的には、サンプルビューに対して、元のサンプルとその拡張バージョンのクラス分布を正のサンプルペアとして設定する。 クラスビューでは、クラスのサンプル分布から正のペアと負のペアを構築します。 このように、2つのコントラスト損失は、サンプルとクラスレベルでのミニバッチサンプルのクラスタリング結果をうまく制限します。
  論文  参考訳（メタデータ） (2021-03-09T15:15:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。