論文の概要: Combining Deep Learning and String Kernels for the Localization of Swiss German Tweets

• arxiv url: http://arxiv.org/abs/2010.03614v1
• Date: Wed, 7 Oct 2020 19:16:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 23:29:46.734260
• Title: Combining Deep Learning and String Kernels for the Localization of Swiss German Tweets
• Title（参考訳）: 深層学習と文字列カーネルの組み合わせによるドイツ語ツイートのローカライズ
• Authors: Mihaela Gaman, Radu Tudor Ionescu
• Abstract要約: 2番目のサブタスクは、約3万のスイスのドイツのJodelからなるデータセットをターゲットにしています。 我々は、このタスクを2重回帰問題とみなし、緯度と経度の両方を予測するために、さまざまな機械学習アプローチを採用している。 実験結果から,文字列カーネルに基づく手作りモデルの方が,ディープラーニングのアプローチよりも優れていたことが示唆された。
• 参考スコア（独自算出の注目度）: 28.497747521078647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we introduce the methods proposed by the UnibucKernel team in solving the Social Media Variety Geolocation task featured in the 2020 VarDial Evaluation Campaign. We address only the second subtask, which targets a data set composed of nearly 30 thousand Swiss German Jodels. The dialect identification task is about accurately predicting the latitude and longitude of test samples. We frame the task as a double regression problem, employing a variety of machine learning approaches to predict both latitude and longitude. From simple models for regression, such as Support Vector Regression, to deep neural networks, such as Long Short-Term Memory networks and character-level convolutional neural networks, and, finally, to ensemble models based on meta-learners, such as XGBoost, our interest is focused on approaching the problem from a few different perspectives, in an attempt to minimize the prediction error. With the same goal in mind, we also considered many types of features, from high-level features, such as BERT embeddings, to low-level features, such as characters n-grams, which are known to provide good results in dialect identification. Our empirical results indicate that the handcrafted model based on string kernels outperforms the deep learning approaches. Nevertheless, our best performance is given by the ensemble model that combines both handcrafted and deep learning models.
• Abstract（参考訳）: 本研究では,UnibucKernelチームが提案する,2020 Vardial Evaluation Campaign におけるソーシャルメディアのバラエティ測地課題の解決手法を紹介する。 3万近いスイス系ドイツ人ジョデルからなるデータセットを対象にした,第2のサブタスクにのみ対処します。 方言識別タスクは、試験試料の緯度と経度を正確に予測することである。 我々は、緯度と経度の両方を予測するために、さまざまな機械学習アプローチを用いて、タスクを二重回帰問題として構成する。 ベクトル回帰支援などの単純な回帰モデルから、長期短期記憶ネットワークや文字レベルの畳み込みニューラルネットワークなどのディープニューラルネットワーク、そして最後に、xgboostのようなメタリーナーに基づくアンサンブルモデルに至るまで、予測誤差を最小限に抑えるために、いくつかの異なる視点からこの問題にアプローチすることに注力しています。 同じ目標を念頭に置いて、bert埋め込みのようなハイレベルな特徴から、方言識別に優れた結果をもたらす文字n-gramのような低レベルな特徴まで、多くの種類の特徴を検討した。 実験の結果,文字列カーネルに基づく手作りモデルは,ディープラーニングのアプローチよりも優れていた。 それでも、私たちの最高のパフォーマンスは、手作りモデルとディープラーニングモデルの両方を組み合わせたアンサンブルモデルによって得られます。

関連論文リスト

• The Languini Kitchen: Enabling Language Modelling Research at Different Scales of Compute [66.84421705029624]
  本稿では,アクセル時間で測定された等価計算に基づくモデル比較を可能にする実験的プロトコルを提案する。 私たちは、既存の学術的ベンチマークを上回り、品質、多様性、文書の長さで上回る、大規模で多様で高品質な書籍データセットを前処理します。 この研究は、GPT-2アーキテクチャから派生したフィードフォワードモデルと、10倍のスループットを持つ新しいLSTMの形式でのリカレントモデルという2つのベースラインモデルも提供する。
  論文  参考訳（メタデータ） (2023-09-20T10:31:17Z)
• Analyzing Vietnamese Legal Questions Using Deep Neural Networks with Biaffine Classifiers [3.116035935327534]
  我々は深層ニューラルネットワークを用いてベトナムの法的問題から重要な情報を抽出することを提案する。 自然言語で法的疑問が与えられた場合、その疑問に答えるために必要な情報を含む全てのセグメントを抽出することが目的である。
  論文  参考訳（メタデータ） (2023-04-27T18:19:24Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
  我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。 本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。 提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2022-04-11T18:31:53Z)
• Compare learning: bi-attention network for few-shot learning [6.559037166322981]
  距離学習と呼ばれる数ショットの学習手法の1つは、画像のペアが同じカテゴリに属しているかどうかを判断するために、まず遠距離計量を学習することで、この課題に対処する。 本稿では, インスタンスの埋め込みの類似性を正確に, グローバルかつ効率的に測定できる, Bi-attention Network という新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-03-25T07:39:10Z)
• UnibucKernel: Geolocating Swiss-German Jodels Using Ensemble Learning [15.877673959068455]
  我々は、スイスの約3万のドイツのジョデルからなるデータセットに基づいて、第2のサブタスクに焦点を当てる。 方言識別タスクは、試験サンプルの緯度と経度を正確に予測することです。 我々は、xgboostメタリーナーとさまざまな機械学習アプローチの結合パワーを用いて、タスクを二重回帰問題として構成する。
  論文  参考訳（メタデータ） (2021-02-18T14:26:00Z)
• Solving Mixed Integer Programs Using Neural Networks [57.683491412480635]
  本稿では,mipソルバの2つのキーサブタスクに学習を適用し,高品質なジョイント変数割当を生成し,その割当と最適課題との客観的値の差を限定する。 提案手法は,ニューラルネットワークに基づく2つのコンポーネントであるニューラルダイバーディングとニューラルブランチを構築し,SCIPなどのベースMIPソルバで使用する。 2つのGoogle生産データセットとMIPLIBを含む6つの現実世界データセットに対するアプローチを評価し、それぞれに別々のニューラルネットワークをトレーニングする。
  論文  参考訳（メタデータ） (2020-12-23T09:33:11Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。