論文の概要: Out-of-distribution generalisation in spoken language understanding

• arxiv url: http://arxiv.org/abs/2407.07425v1
• Date: Wed, 10 Jul 2024 07:27:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-11 17:31:45.679161
• Title: Out-of-distribution generalisation in spoken language understanding
• Title（参考訳）: 音声言語理解におけるアウト・オブ・ディストリビューションの一般化
• Authors: Dejan Porjazovski, Anssi Moisio, Mikko Kurimo,
• Abstract要約: テストデータは、トレーニングデータと予期せず異なるときに、アウト・オブ・ディストリビューション(OOD)と呼ばれる。 我々は、SLURPデータセットの修正版を導入し、SLUタスクにおけるOODの一般化をテストするためのデータ分割を特徴とする。 エンドツーエンドのSLUモデルには、一般化のための限られた能力がある。 モデル解釈可能性技術を用いることで、モデルの一般化の難しさに寄与する要因を明らかにした。
• 参考スコア（独自算出の注目度）: 9.361762652324968
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test data is said to be out-of-distribution (OOD) when it unexpectedly differs from the training data, a common challenge in real-world use cases of machine learning. Although OOD generalisation has gained interest in recent years, few works have focused on OOD generalisation in spoken language understanding (SLU) tasks. To facilitate research on this topic, we introduce a modified version of the popular SLU dataset SLURP, featuring data splits for testing OOD generalisation in the SLU task. We call our modified dataset SLURP For OOD generalisation, or SLURPFOOD. Utilising our OOD data splits, we find end-to-end SLU models to have limited capacity for generalisation. Furthermore, by employing model interpretability techniques, we shed light on the factors contributing to the generalisation difficulties of the models. To improve the generalisation, we experiment with two techniques, which improve the results on some, but not all the splits, emphasising the need for new techniques.
• Abstract（参考訳）: テストデータは、トレーニングデータと予期せず異なる場合、アウト・オブ・ディストリビューション(OOD)と呼ばれる。 近年、OODの一般化が注目されているが、音声言語理解(SLU)タスクにおけるOODの一般化に焦点を当てた研究はほとんどない。 本稿では,SLUタスクにおけるOOD一般化テストのためのデータ分割を特徴とする,SLUデータセットSLURPの修正版を紹介する。 修正データセットをSLURP for OOD Generalization(SLURPFOOD)と呼びます。 OODデータ分割を利用すると、エンドツーエンドのSLUモデルには一般化のための限られた能力があることがわかった。 さらに,モデル解釈可能性手法を用いることで,モデルの一般化困難に寄与する要因を明らかにした。 一般化を改善するために,新たな技術の必要性を強調した2つの手法を実験した。

関連論文リスト

• Out-of-distribution generalization via composition: a lens through induction heads in Transformers [0.46085106405479537]
  GPT-4のような大きな言語モデル(LLM)は、しばしば創造的であり、しばしばプロンプトにいくつかのデモがある新しいタスクを解く。 これらのタスクは、トレーニングデータとは異なる分布を一般化するモデルを必要とする -- アウト・オブ・ディストリビューション(OOD)一般化(out-of-distribution)と呼ばれる。 隠れルールに従ってインスタンスが生成される設定におけるOOD一般化について検討する。
  論文  参考訳（メタデータ） (2024-08-18T14:52:25Z)
• UniArk: Improving Generalisation and Consistency for Factual Knowledge Extraction through Debiasing [19.2764682793582]
  本研究は,言語モデルにおける事前学習目標と下流学習目標との相違点を示す。 汎用的で一貫した事実知識抽出のためのアダプタベースのフレームワークUniArkを提案する。
  論文  参考訳（メタデータ） (2024-04-01T17:22:07Z)
• Dive into the Chasm: Probing the Gap between In- and Cross-Topic Generalization [66.4659448305396]
  本研究は,3つの探索型実験を用いて種々のLMを解析し,In- vs. クロストピック一般化ギャップの背景にある理由を明らかにした。 はじめに、一般化ギャップと埋め込み空間の堅牢性は、LM間で大きく異なることを示した。
  論文  参考訳（メタデータ） (2024-02-02T12:59:27Z)
• Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
  継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。 本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2024-01-29T18:27:52Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Wild-Tab: A Benchmark For Out-Of-Distribution Generalization In Tabular Regression [4.532517021515834]
  アウト・オブ・ディストリビューション(OOD)の一般化は、ディープラーニングにおいて進行中の課題である。 表回帰タスクにおけるOOD一般化に適したベンチマークであるWild-Tabを提案する。 このベンチマークでは、天気予報や消費電力推定といった分野から得られた3つの産業データセットが組み込まれている。 これらの手法の多くは、未確認データのハイパフォーマンスレベルを維持するのに苦労することが多く、OOD性能は、分配性能と比較して顕著な低下を示している。
  論文  参考訳（メタデータ） (2023-12-04T10:27:38Z)
• It Ain't That Bad: Understanding the Mysterious Performance Drop in OOD Generalization for Generative Transformer Models [6.065846799248359]
  大規模言語モデル (LLM) は多様な問題を解決するのに優れた能力を発揮している。 しかし、それらの一般化能力は必ずしも満足しておらず、一般化問題は一般に生成トランスモデルに共通である。 n-digit操作のトレーニングモデルでは,n-digit入力に対してモデルが正常に一般化されるが,もっと長い,見えないケースではフェールすることを示す。
  論文  参考訳（メタデータ） (2023-08-16T10:09:42Z)
• On the Compositional Generalization Gap of In-Context Learning [73.09193595292233]
  In-distriion (ID) と Out-of-distriion (OOD) の相違について考察する。 我々は,3つの意味解析データセットを用いて,OPT,BLOOM,CodeGen,Codexの4つのモデルファミリを評価する。
  論文  参考訳（メタデータ） (2022-11-15T19:56:37Z)
• WOODS: Benchmarks for Out-of-Distribution Generalization in Time Series [9.181035389003759]
  WOODS: さまざまなデータモダリティをカバーする8つのオープンソースの時系列ベンチマークについて紹介する。 我々は、時系列タスクのための既存のOOD一般化アルゴリズムを改訂し、体系的なフレームワークを用いて評価する。 実験の結果,データセット上での経験的リスク最小化とOOD一般化アルゴリズムの改善の余地が広いことがわかった。
  論文  参考訳（メタデータ） (2022-03-18T14:12:54Z)
• Generalization in NLI: Ways (Not) To Go Beyond Simple Heuristics [78.6177778161625]
  BERTアーキテクチャにおけるNLIの一般化のケーススタディを行う。 2つの成功と3つの失敗戦略を報告し、いずれもTransformerベースのモデルがどのように一般化するかについての洞察を提供する。
  論文  参考訳（メタデータ） (2021-10-04T15:37:07Z)
• Evading the Simplicity Bias: Training a Diverse Set of Models Discovers Solutions with Superior OOD Generalization [93.8373619657239]
  SGDで訓練されたニューラルネットワークは最近、線形予測的特徴に優先的に依存することが示された。 この単純さバイアスは、分布外堅牢性(OOD)の欠如を説明することができる。 単純さのバイアスを軽減し,ood一般化を改善できることを実証する。
  論文  参考訳（メタデータ） (2021-05-12T12:12:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。