論文の概要: N2C2: Nearest Neighbor Enhanced Confidence Calibration for Cross-Lingual In-Context Learning

• arxiv url: http://arxiv.org/abs/2503.09218v1
• Date: Wed, 12 Mar 2025 10:05:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-13 15:36:24.581103
• Title: N2C2: Nearest Neighbor Enhanced Confidence Calibration for Cross-Lingual In-Context Learning
• Title（参考訳）: N2C2: 言語間インコンテキスト学習のための最も近い隣り合う信頼度校正
• Authors: Jie He, Simon Yu, Deyi Xiong, Víctor Gutiérrez-Basulto, Jeff Z. Pan,
• Abstract要約: 我々は、言語間シナリオのための文脈内学習(ICL)を徹底的に分析する。 ICLは言語横断のシナリオでは性能が悪く、精度が低く、校正誤差が高い。 そこで我々は,N2C2という新しい手法を提案する。
• 参考スコア（独自算出の注目度）: 49.42251584116942
• License:
• Abstract: Recent advancements of in-context learning (ICL) show language models can significantly improve their performance when demonstrations are provided. However, little attention has been paid to model calibration and prediction confidence of ICL in cross-lingual scenarios. To bridge this gap, we conduct a thorough analysis of ICL for cross-lingual sentiment classification. Our findings suggest that ICL performs poorly in cross-lingual scenarios, exhibiting low accuracy and presenting high calibration errors. In response, we propose a novel approach, N2C2, which employs a -nearest neighbors augmented classifier for prediction confidence calibration. N2C2 narrows the prediction gap by leveraging a datastore of cached few-shot instances. Specifically, N2C2 integrates the predictions from the datastore and incorporates confidence-aware distribution, semantically consistent retrieval representation, and adaptive neighbor combination modules to effectively utilize the limited number of supporting instances. Evaluation on two multilingual sentiment classification datasets demonstrates that N2C2 outperforms traditional ICL. It surpasses fine tuning, prompt tuning and recent state-of-the-art methods in terms of accuracy and calibration errors.
• Abstract（参考訳）: インコンテキスト学習(ICL)の最近の進歩は、実演が提供されると言語モデルの性能が大幅に向上することを示している。 しかし、言語横断シナリオにおいて、ICLのキャリブレーションと予測信頼性のモデル化にはほとんど注意が払われていない。 このギャップを埋めるために、言語間感情分類のためのICLを徹底的に分析する。 ICLは言語横断のシナリオでは不十分であり,精度は低く,校正誤差も高いことが示唆された。 そこで我々はN2C2という新しい手法を提案する。N2C2は -nearest neighbors 拡張分類器を用いて予測信頼性の校正を行う。 N2C2はキャッシュされた数ショットインスタンスのデータストアを活用することで、予測ギャップを狭める。 具体的には、N2C2は、データストアからの予測を統合し、信頼性を意識した分布、セマンティックに一貫した検索表現、およびアダプティブ隣の組合せモジュールを組み込んで、限られた数のサポートインスタンスを効果的に活用する。 2つの多言語感情分類データセットの評価は、N2C2が従来のICLより優れていることを示している。 精度と校正誤差の点で、微調整、即時チューニング、最近の最先端手法を超越している。

関連論文リスト

• Deeper Insights Without Updates: The Power of In-Context Learning Over Fine-Tuning [22.341935761925892]
  ファインチューニングとインコンテキスト学習(ICL)は、タスク固有の知識で大きな言語モデルを出力する2つの一般的な方法である。 暗黙的なパターンを持つタスクに対して、ICLはこれらのパターンを微調整よりもはるかによくキャプチャする。
  論文  参考訳（メタデータ） (2024-10-07T02:12:22Z)
• Refining Corpora from a Model Calibration Perspective for Chinese Spelling Correction [40.11364098789309]
  チャイニーズ・スペルリング・コーパス(CSC)は通常、大規模な高品質コーパスを欠いている。 2つのデータ拡張手法が広く採用されている: (1) 混乱セットのガイダンス付きtextitRandom Replacement と (2) 文字誤用をシミュレートする textitOCR/ASR ベースジェネレーション。
  論文  参考訳（メタデータ） (2024-07-22T09:26:35Z)
• Calibrated Large Language Models for Binary Question Answering [49.1574468325115]
  よく校正されたモデルは、その予測が正しい可能性を正確に反映する確率を生成するべきである。 本稿では、帰納的Venn-Abers予測器(IVAP)を用いて、バイナリラベルに対応する出力トークンに関連する確率をキャリブレーションする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T09:31:03Z)
• NoisyICL: A Little Noise in Model Parameters Calibrates In-context Learning [5.2538258920647944]
  In-Context Learning(ICL)は、事前バイアスが高く、不信感があるため、不満足なパフォーマンスと過小評価に悩まされている。 本稿では,モデルパラメータをランダムノイズで摂動させることで,より優れた性能とキャリブレーションを実現するノイズICLを提案する。
  論文  参考訳（メタデータ） (2024-02-08T09:48:02Z)
• CTC-based Non-autoregressive Speech Translation [51.37920141751813]
  非自己回帰音声翻訳における接続性時間分類の可能性について検討する。 我々は、CTCによって誘導される2つのエンコーダからなるモデルを構築し、ソースおよびターゲットテキストを予測する。 MuST-Cベンチマークの実験では、我々のNASTモデルは平均BLEUスコアが29.5であり、スピードアップは5.67$times$である。
  論文  参考訳（メタデータ） (2023-05-27T03:54:09Z)
• Rapid Adaptation in Online Continual Learning: Are We Evaluating It Right? [135.71855998537347]
  オンライン連続学習(OCL)アルゴリズムの適応性を評価するための一般的な手法を,オンライン精度の指標を用いて再検討する。 空白のブラインド分類器でさえ、非現実的に高いオンライン精度を達成できるため、この指標は信頼できない。 既存のOCLアルゴリズムは、オンラインの精度も高いが、有用な情報の保持は不十分である。
  論文  参考訳（メタデータ） (2023-05-16T08:29:33Z)
• CSCD-NS: a Chinese Spelling Check Dataset for Native Speakers [62.61866477815883]
  CSCD-NSは中国初のネイティブ話者向けスペルチェックデータセットである。 CSCD-NSはスケールが10倍大きく、誤差分布が異なる。 本稿では,入力過程をシミュレーションする新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-16T09:25:42Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。