論文の概要: Exploring Energy-Based Models for Out-of-Distribution Detection in Dialect Identification

• arxiv url: http://arxiv.org/abs/2406.18067v1
• Date: Wed, 26 Jun 2024 04:52:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-27 14:38:19.370364
• Title: Exploring Energy-Based Models for Out-of-Distribution Detection in Dialect Identification
• Title（参考訳）: 辞書識別におけるアウト・オブ・ディストリビューション検出のためのエネルギーモデルの検討
• Authors: Yaqian Hao, Chenguang Hu, Yingying Gao, Shilei Zhang, Junlan Feng,
• Abstract要約: 本研究は, 方言のOOD検出に特化して, 新たなマージン強化ジョイントエネルギーモデル(MEJEM)を提案する。 生成モデルとエネルギーマージン損失を統合することにより,方言識別システムの堅牢性を高めることを目的とする。
• 参考スコア（独自算出の注目度）: 11.437264025117083
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: The diverse nature of dialects presents challenges for models trained on specific linguistic patterns, rendering them susceptible to errors when confronted with unseen or out-of-distribution (OOD) data. This study introduces a novel margin-enhanced joint energy model (MEJEM) tailored specifically for OOD detection in dialects. By integrating a generative model and the energy margin loss, our approach aims to enhance the robustness of dialect identification systems. Furthermore, we explore two OOD scores for OOD dialect detection, and our findings conclusively demonstrate that the energy score outperforms the softmax score. Leveraging Sharpness-Aware Minimization to optimize the training process of the joint model, we enhance model generalization by minimizing both loss and sharpness. Experiments conducted on dialect identification tasks validate the efficacy of Energy-Based Models and provide valuable insights into their performance.
• Abstract（参考訳）: 方言の多様な性質は、特定の言語パターンに基づいて訓練されたモデルに対する課題を示し、見当たらないデータやアウト・オブ・ディストリビューション(OOD)データに直面すると、エラーの影響を受けやすい。 本研究は, 方言のOOD検出に特化して, 新たなマージン強化ジョイントエネルギーモデル(MEJEM)を提案する。 生成モデルとエネルギーマージン損失を統合することにより,方言識別システムの堅牢性を高めることを目的とする。 さらに,OOD方言検出のための2つのOODスコアを探索し,そのエネルギースコアがソフトマックススコアより優れていることを示す。 シャープネス・アウェアの最小化を利用して関節モデルのトレーニングプロセスを最適化し、損失とシャープネスの両方を最小化してモデル一般化を強化する。 方言識別タスクの実験は、エネルギーベースモデルの有効性を検証し、それらの性能に関する貴重な洞察を提供する。

関連論文リスト

• Self-Calibrated Tuning of Vision-Language Models for Out-of-Distribution Detection [24.557227100200215]
  オープンソースアプリケーションに信頼性の高い機械学習モデルをデプロイするには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 近年のCLIPによるOOD検出の進歩は,IDデータから抽出したOOD特徴に即時調整を施すことによって有望な結果を示した。 提案手法は,SCT(Self-Calibrated Tuning)と呼ばれる新しいフレームワークで,与えられた数ショットのIDデータのみを用いて効果的なOOD検出を行う。
  論文  参考訳（メタデータ） (2024-11-05T02:29:16Z)
• Can OOD Object Detectors Learn from Foundation Models? [56.03404530594071]
  アウト・オブ・ディストリビューション(OOD)オブジェクト検出は、オープンセットのOODデータがないため、難しい課題である。 テキストから画像への生成モデルの最近の進歩に触発されて,大規模オープンセットデータを用いて訓練された生成モデルがOODサンプルを合成する可能性について検討した。 SyncOODは,大規模基盤モデルの能力を活用するシンプルなデータキュレーション手法である。
  論文  参考訳（メタデータ） (2024-09-08T17:28:22Z)
• Deep Metric Learning-Based Out-of-Distribution Detection with Synthetic Outlier Exposure [0.0]
  Denoising Diffusion Probabilistic Models (DDPM) を用いたOODデータ生成のためのラベル混合手法を提案する。 実験の結果,メトリック学習に基づく損失関数はソフトマックスよりも優れていた。 提案手法は従来のOOD検出指標において高いベースラインを達成している。
  論文  参考訳（メタデータ） (2024-05-01T16:58:22Z)
• Evaluating Large Language Models Using Contrast Sets: An Experimental Approach [0.0]
  本研究では,スタンフォード自然言語推論データセットのコントラストセットを生成する革新的な手法を提案する。 我々の戦略は、動詞、副詞、形容詞をその同義語と自動置換して、文の本来の意味を保存することである。 本手法は,モデルの性能が真の言語理解に基づくのか,それとも単にパターン認識に基づくのかを評価することを目的とする。
  論文  参考訳（メタデータ） (2024-04-02T02:03:28Z)
• DPP-Based Adversarial Prompt Searching for Lanugage Models [56.73828162194457]
  Auto-Regressive Selective Replacement Ascent (ASRA)は、決定点プロセス(DPP)と品質と類似性の両方に基づいてプロンプトを選択する離散最適化アルゴリズムである。 6種類の事前学習言語モデルに対する実験結果から,ASRAによる有害成分の抽出の有効性が示された。
  論文  参考訳（メタデータ） (2024-03-01T05:28:06Z)
• Overcoming the Pitfalls of Vision-Language Model Finetuning for OOD Generalization [11.140366256534474]
  既存の視覚言語モデルは、様々な視覚領域やタスクに対して強力な一般化を示す。 本稿では,OOD ゲネラリゼーションを改良するための新しいアプローチである OGEN を提案する。 具体的には、未知のクラスのクラス名のみを使用して、OOD機能を合成するために、クラス条件フィーチャジェネレータが導入された。
  論文  参考訳（メタデータ） (2024-01-29T06:57:48Z)
• Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection Capability [70.72426887518517]
  Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。 本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。 本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
  論文  参考訳（メタデータ） (2023-06-06T14:23:34Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• NoiER: An Approach for Training more Reliable Fine-TunedDownstream Task Models [54.184609286094044]
  補助モデルと付加データなしで問題を解くための学習パラダイムとして,ノイズエントロピー正規化(NoiER)を提案する。 提案手法は,従来の微調整モデルと比較して平均55%改善した。
  論文  参考訳（メタデータ） (2021-08-29T06:58:28Z)
• Joint Energy-based Model Training for Better Calibrated Natural Language Understanding Models [61.768082640087]
  自然言語理解タスクのための事前学習テキストエンコーダの微調整中に、共同エネルギーベースモデル(EBM)トレーニングを検討します。 実験では、EMMトレーニングはモデルが強力なベースラインに匹敵するより良いキャリブレーションに達するのに役立つことが示されています。
  論文  参考訳（メタデータ） (2021-01-18T01:41:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。