論文の概要: Controlling Out-of-Domain Gaps in LLMs for Genre Classification and Generated Text Detection

• arxiv url: http://arxiv.org/abs/2412.20595v1
• Date: Sun, 29 Dec 2024 21:54:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:07:28.876923
• Title: Controlling Out-of-Domain Gaps in LLMs for Genre Classification and Generated Text Detection
• Title（参考訳）: ジェネラル分類と生成テキスト検出のためのLLMの外部ギャップ制御
• Authors: Dmitri Roussinov, Serge Sharoff, Nadezhda Puchnina,
• Abstract要約: 本研究は,Large Language Models (LLMs) の現代世代において,事前学習型言語モデル (PLMs) の先行研究において観測された,同じ領域外(OOD) 性能差に悩まされていることを示す。 本稿では,予測指標が使用されるか,分類中に除外されるかを制御する手法を提案する。 このアプローチにより、数ショットのセットアップで最大20パーセントのOODギャップが削減される。
• 参考スコア（独自算出の注目度）: 0.20482269513546458
• License:
• Abstract: This study demonstrates that the modern generation of Large Language Models (LLMs, such as GPT-4) suffers from the same out-of-domain (OOD) performance gap observed in prior research on pre-trained Language Models (PLMs, such as BERT). We demonstrate this across two non-topical classification tasks: 1) genre classification and 2) generated text detection. Our results show that when demonstration examples for In-Context Learning (ICL) come from one domain (e.g., travel) and the system is tested on another domain (e.g., history), classification performance declines significantly. To address this, we introduce a method that controls which predictive indicators are used and which are excluded during classification. For the two tasks studied here, this ensures that topical features are omitted, while the model is guided to focus on stylistic rather than content-based attributes. This approach reduces the OOD gap by up to 20 percentage points in a few-shot setup. Straightforward Chain-of-Thought (CoT) methods, used as the baseline, prove insufficient, while our approach consistently enhances domain transfer performance.
• Abstract（参考訳）: 本研究は,大規模言語モデル(LLM, GPT-4, GPT-4, GPT-4)が,事前学習型言語モデル(PLM, BERTなど)の先行研究で観測された,同じ領域外(OOD)性能差に悩まされていることを示す。 これを2つの非トピック分類タスクにまたがって示す。 1)分類・分類 2) テキスト検出。 In-Context Learning(ICL)の実証例が1つのドメイン(例えば旅行)から得られ、システムが別のドメイン(例えば歴史)でテストされると、分類性能は大幅に低下する。 そこで本研究では,どの予測指標が使用されるか,分類中に除外されるかを制御する手法を提案する。 ここでは2つのタスクについて、トピックの特徴が省略されることを保証し、一方で、モデルはコンテンツベースの属性ではなくスタイリスティックに焦点を合わせるように導かれる。 このアプローチにより、数ショットのセットアップで最大20パーセントのOODギャップが削減される。 ベースラインとして使用されるストレートフォワード・チェーン・オブ・ソート(CoT)法は不十分であり,本手法はドメイン転送性能を継続的に向上させる。

関連論文リスト

• How Useful is Continued Pre-Training for Generative Unsupervised Domain Adaptation? [23.454153602068786]
  生成型UDAにおけるCPT(Continuoused Pre-Training)の有用性について検討した。 以上の結果から,下流の課題を暗黙的に学習し,その課題に有意なマスク付き単語を予測できることが示唆された。
  論文  参考訳（メタデータ） (2024-01-31T00:15:34Z)
• ATTA: Anomaly-aware Test-Time Adaptation for Out-of-Distribution Detection in Segmentation [22.084967085509387]
  ドメインシフトとセマンティックシフトを協調的に扱うための二重レベルOOD検出フレームワークを提案する。 第1のレベルは、グローバルな低レベル機能を活用することで、画像内にドメインシフトが存在するかどうかを区別する。 第2のレベルは、高次特徴写像を高密度に利用することにより、セマンティックシフトを伴う画素を識別する。
  論文  参考訳（メタデータ） (2023-09-12T06:49:56Z)
• Weakly-Supervised Action Localization by Hierarchically-structured Latent Attention Modeling [19.683714649646603]
  弱教師付きアクションローカライゼーションは、ビデオレベルのラベルのみを持つ未トリミングビデオにおけるアクションインスタンスを認識およびローカライズすることを目的としている。 既存のモデルのほとんどはマルチインスタンス学習(MIL)に依存しており、ラベル付きバッグを分類することでラベル付きインスタンスの予測を監督している。 本稿では,特徴セマンティクスの時間的変動を学習するために,新しい注意に基づく階層構造潜在モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-19T08:45:49Z)
• Rationale-Guided Few-Shot Classification to Detect Abusive Language [5.977278650516324]
  乱用言語検出のためのRGFS(Rationale-Guided Few-Shot Classification)を提案する。 2つの理性統合BERTアーキテクチャ(RGFSモデル)を導入し、5つの異なる乱用言語データセット上でシステムを評価する。
  論文  参考訳（メタデータ） (2022-11-30T14:47:14Z)
• Few-Shot Classification in Unseen Domains by Episodic Meta-Learning Across Visual Domains [36.98387822136687]
  興味のあるカテゴリのラベル付き例がほとんどないため、いくつかのショット分類は、分類を実行することを目的としている。 本稿では,ドメイン一般化型少ショット分類のための一意学習フレームワークを提案する。 メタ学習戦略を進めることで、学習フレームワークは複数のソースドメインにまたがるデータを利用して、ドメイン不変の機能をキャプチャします。
  論文  参考訳（メタデータ） (2021-12-27T06:54:11Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• Category Contrast for Unsupervised Domain Adaptation in Visual Tasks [92.9990560760593]
  本稿では,視覚的 UDA タスクのインスタンス識別に先立って,セマンティックな事前情報を導入した新しいカテゴリコントラスト手法(CaCo)を提案する。 CaCoは既存のUDAメソッドを補完し、半教師付き学習や教師なしモデル適応などの他の学習設定に一般化可能である。
  論文  参考訳（メタデータ） (2021-06-05T12:51:35Z)
• Class-Incremental Domain Adaptation [56.72064953133832]
  私たちは、CIDA(Class-Incremental Domain Adaptation)と呼ばれる実践的ドメイン適応(DA)パラダイムを導入します。 既存のDAメソッドはドメインシフトに取り組むが、新しいターゲットドメインクラスを学ぶのには適さない。 提案手法は,CIDAパラダイムにおけるDAメソッドとCIメソッドの両方と比較して,優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-08-04T07:55:03Z)
• Cross-domain Detection via Graph-induced Prototype Alignment [114.8952035552862]
  カテゴリレベルのドメインアライメントを求めるグラフ誘発プロトタイプアライメント(GPA)フレームワークを提案する。 さらに,クラス不均衡がドメイン適応に与える影響を軽減するために,クラス重み付きコントラスト損失を設計する。 我々のアプローチは、既存の手法よりも顕著なマージンで優れています。
  論文  参考訳（メタデータ） (2020-03-28T17:46:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。