論文の概要: In-Context Learning with Noisy Labels

• arxiv url: http://arxiv.org/abs/2411.19581v1
• Date: Fri, 29 Nov 2024 09:54:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-02 15:20:48.844347
• Title: In-Context Learning with Noisy Labels
• Title（参考訳）: 雑音ラベルを用いたインコンテキスト学習
• Authors: Junyong Kang, Donghyun Son, Hwanjun Song, Buru Chang,
• Abstract要約: インコンテキスト学習(In-context learning)とは、大規模言語モデル(LLM)が、追加のトレーニングなしでターゲットタスクを実行する能力の出現を指す。 近年の研究では、より有用な実演を選択することで、文脈内学習性能の向上をめざしている。 提案手法は,実環境における課題実証におけるラベルの破損を解消することを目的とした,雑音のあるラベル付きコンテキスト内学習を提案する。
• 参考スコア（独自算出の注目度）: 17.91171764894721
• License:
• Abstract: In-context learning refers to the emerging ability of large language models (LLMs) to perform a target task without additional training, utilizing demonstrations of the task. Recent studies aim to enhance in-context learning performance by selecting more useful demonstrations. However, they overlook the presence of inevitable noisy labels in task demonstrations that arise during the labeling process in the real-world. In this paper, we propose a new task, in-context learning with noisy labels, which aims to solve real-world problems for in-context learning where labels in task demonstrations would be corrupted. Moreover, we propose a new method and baseline methods for the new task, inspired by studies in learning with noisy labels. Through experiments, we demonstrate that our proposed method can serve as a safeguard against performance degradation in in-context learning caused by noisy labels.
• Abstract（参考訳）: インコンテキスト学習(In-context learning)とは、大規模言語モデル(LLM)が、追加のトレーニングなしで目的のタスクを実行し、タスクのデモンストレーションを利用する能力の出現を指す。 近年の研究では、より有用な実演を選択することで、文脈内学習性能の向上をめざしている。 しかし、実世界のラベル付けプロセス中に発生するタスクのデモンストレーションにおいて、避けられないノイズのあるラベルの存在を見落としている。 本稿では, 実環境において, 実環境において, 実環境の課題を解決し, 課題実証におけるラベルの破損を解消することを目的とした, ノイズの多いラベル付きコンテキスト内学習を提案する。 さらに,ノイズラベルを用いた学習に触発された新しいタスクのための新しい手法とベースライン手法を提案する。 実験により,本手法は,雑音ラベルによる文脈内学習における性能劣化対策として有効であることを示す。

関連論文リスト

• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• PICLe: Pseudo-Annotations for In-Context Learning in Low-Resource Named Entity Detection [56.916656013563355]
  In-context Learning (ICL)により、大規模言語モデルでは、デモをほとんど使わずにタスクを実行することができる。 PICLeは、ノイズの多い擬似アノテーション付き実演によるインコンテキスト学習のためのフレームワークである。 バイオメディカルな5つのNEDデータセット上でPICLeを評価し,PICLeが低リソース環境でICLより優れていることを示す。
  論文  参考訳（メタデータ） (2024-12-16T16:09:35Z)
• Vision-Language Models are Strong Noisy Label Detectors [76.07846780815794]
  本稿では、視覚言語モデルに適応するためのDeFTと呼ばれるDenoising Fine-Tuningフレームワークを提案する。 DeFTは、何百万もの補助的な画像テキストペアで事前訓練されたテキストと視覚的特徴のロバストなアライメントを利用して、ノイズの多いラベルを抽出する。 7つの合成および実世界のノイズデータセットの実験結果から,ノイズラベル検出と画像分類の両方においてDeFTの有効性が検証された。
  論文  参考訳（メタデータ） (2024-09-29T12:55:17Z)
• Demonstration Notebook: Finding the Most Suited In-Context Learning Example from Interactions [8.869100154323643]
  実験ノート」と呼ばれる新しい物体を中心に構築された新しいプロンプトエンジニアリングワークフローを提案する。 このノートブックは、LLMの過去のインタラクションから情報を収集して再利用することで、質問に対して最も適したコンテキスト内学習例を特定するのに役立つ。 実験により, 提案手法は, 自動的な実演構築と選択において, 既存の手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-06-16T10:02:20Z)
• Visual In-Context Learning for Large Vision-Language Models [62.5507897575317]
  大規模視覚言語モデル(LVLM)では、言語間相互作用や表現格差の課題により、ICL(In-Context Learning)の有効性が制限されている。 本稿では,視覚的記述型検索,意図的画像要約,意図的記述型合成を含む新しい視覚的記述型学習(VICL)手法を提案する。 提案手法は'Retrieval & Rerank'パラダイムを用いて画像を検索し,タスク意図とタスク固有の視覚的パーシングで画像を要約し,言語による実演を構成する。
  論文  参考訳（メタデータ） (2024-02-18T12:43:38Z)
• Learning to Learn for Few-shot Continual Active Learning [9.283518682371756]
  継続的な学習は、新しいドメインで可塑性を示しながら、以前見たタスクを解く際の安定性を確保するために努力する。 連続学習の最近の進歩は、特にNLPドメインにおいて、主に教師付き学習環境に限られている。 我々はメタラーニングを活用し,メタコンチネンタルアクティブラーニングと呼ばれる手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T05:22:11Z)
• Deep Active Learning in the Presence of Label Noise: A Survey [1.8945921149936182]
  ディープラーニングは、事前に定義されたラベル付け予算内でディープラーニングモデルをトレーニングするための強力なツールとして登場した。 ラベルノイズの存在下での深いアクティブな学習の現状について論じ,ユニークなアプローチ,その強み,弱点を強調した。 本稿では,良質な画像表現を導出するコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2023-02-22T00:27:39Z)
• Rethinking the Role of Demonstrations: What Makes In-Context Learning Work? [112.72413411257662]
  大規模言語モデル(LM)は、いくつかのインプットラベルペア(デモ)を条件付けして、新しいインプットの予測を行うことで、インコンテキストで学習することができる。 実演のラベルをランダムに置き換えることは、パフォーマンスをほとんど損なうものではない。 デモの他の側面が、エンドタスクのパフォーマンスの主要な要因であることに気付きました。
  論文  参考訳（メタデータ） (2022-02-25T17:25:19Z)
• Learning from Demonstrations using Signal Temporal Logic [1.2182193687133713]
  効果的なロボット制御ポリシーを得るための新しいパラダイムである。 我々はSignal Temporal Logicを使ってデモの質を評価しランク付けする。 提案手法は,最先端の最大因果エントロピー逆強化学習よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-02-15T18:28:36Z)
• Learning Not to Learn in the Presence of Noisy Labels [104.7655376309784]
  ギャンブラーの損失と呼ばれる新しい種類の損失関数は、様々なレベルの汚職にまたがってノイズをラベル付けするのに強い堅牢性をもたらすことを示す。 この損失関数によるトレーニングは、ノイズのあるラベルを持つデータポイントでの学習を"維持"することをモデルに促すことを示す。
  論文  参考訳（メタデータ） (2020-02-16T09:12:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。