論文の概要: How does a Pre-Trained Transformer Integrate Contextual Keywords? Application to Humanitarian Computing

• arxiv url: http://arxiv.org/abs/2111.04052v1
• Date: Sun, 7 Nov 2021 11:24:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-10 07:01:05.504369
• Title: How does a Pre-Trained Transformer Integrate Contextual Keywords? Application to Humanitarian Computing
• Title（参考訳）: 事前学習変換器は文脈キーワードをどのように統合するか? 人道コンピューティングへの応用
• Authors: Barriere Valentin, Jacquet Guillaume
• Abstract要約: 本稿では,各ツイートに危機イベントタイプを追加して人道的分類タスクを改善する方法について述べる。 これは、提案されたニューラルネットワークアプローチが、Crisis Benchmarkの特殊性を部分的に過度に適合しているかを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In a classification task, dealing with text snippets and metadata usually requires dealing with multimodal approaches. When those metadata are textual, it is tempting to use them intrinsically with a pre-trained transformer, in order to leverage the semantic information encoded inside the model. This paper describes how to improve a humanitarian classification task by adding the crisis event type to each tweet to be classified. Based on additional experiments of the model weights and behavior, it identifies how the proposed neural network approach is partially over-fitting the particularities of the Crisis Benchmark, to better highlight how the model is still undoubtedly learning to use and take advantage of the metadata's textual semantics.
• Abstract（参考訳）: 分類タスクでは、テキストスニペットとメタデータを扱う場合、通常マルチモーダルアプローチを扱う必要がある。 これらのメタデータがテキストである場合、モデル内でエンコードされるセマンティック情報を活用するために、事前学習されたトランスフォーマーを内在的に使用する傾向があります。 本稿では,各ツイートに危機イベントタイプを追加して人道的分類タスクを改善する方法について述べる。 モデルウェイトと振る舞いのさらなる実験に基づいて、提案されたニューラルネットワークアプローチが、Crisis Benchmarkの特殊性を部分的に過度に適合させていることを特定し、モデルが依然として使用方法を学習し、メタデータのテキストセマンティクスを活用する方法をより強調する。

関連論文リスト

• CAST: Corpus-Aware Self-similarity Enhanced Topic modelling [16.562349140796115]
  CAST: Corpus-Aware Self-similarity Enhanced Topic modelling, a novel topic modelling methodを紹介する。 機能的単語が候補話題語として振る舞うのを防ぐための効果的な指標として自己相似性を見出した。 提案手法は,生成したトピックの一貫性と多様性,およびノイズの多いデータを扱うトピックモデルの能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-10-19T15:27:11Z)
• Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [70.64617500380287]
  継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
  論文  参考訳（メタデータ） (2024-08-02T07:51:44Z)
• A Fixed-Point Approach to Unified Prompt-Based Counting [51.20608895374113]
  本研究の目的は,ボックス,ポイント,テキストなど,さまざまなプロンプト型で示されるオブジェクトの密度マップを生成することができる包括的プロンプトベースのカウントフレームワークを確立することである。 本モデルは,クラスに依存しない顕著なデータセットに優れ,データセット間の適応タスクにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2024-03-15T12:05:44Z)
• ST-KeyS: Self-Supervised Transformer for Keyword Spotting in Historical Handwritten Documents [3.9688530261646653]
  歴史的文書におけるキーワードスポッティング(KWS)は、デジタル化されたコレクションを最初に探究するための重要なツールである。 マスク・アンド・予測パラダイムに基づく視覚変換器をベースとしたマスク付き自動エンコーダモデルST-KeySを提案する。 微調整段階において、事前訓練されたエンコーダは、入力画像から特徴埋め込みを改善するために微調整されたサイムズニューラルネットワークモデルに統合される。
  論文  参考訳（メタデータ） (2023-03-06T13:39:41Z)
• Supporting Vision-Language Model Inference with Confounder-pruning Knowledge Prompt [71.77504700496004]
  視覚言語モデルは、オープンセットの視覚概念を扱うために、画像とテキストのペアを共通の空間に整列させることで事前訓練される。 事前訓練されたモデルの転送可能性を高めるため、最近の研究では、固定または学習可能なプロンプトが採用されている。 しかし、どのようにして、どのプロンプトが推論性能を改善するのかは、まだ不明である。
  論文  参考訳（メタデータ） (2022-05-23T07:51:15Z)
• Learning Disentangled Textual Representations via Statistical Measures of Similarity [35.74568888409149]
  トレーニングを必要としない不整合表現を学習するための正規化器のファミリーを導入する。 我々の新しい正規化器は、追加のトレーニングを必要とせず、より速く、追加のチューニングを伴わない。
  論文  参考訳（メタデータ） (2022-05-07T08:06:22Z)
• Generating More Pertinent Captions by Leveraging Semantics and Style on Multi-Source Datasets [56.018551958004814]
  本稿では,データソースの非一様結合をトレーニングすることで,流動的な記述を生成するタスクに対処する。 ノイズの多い画像とテキストのペアを持つ大規模データセットは、サブ最適の監視源を提供する。 本稿では,検索コンポーネントから抽出したスタイルトークンとキーワードを組み込むことにより,セマンティクスと記述スタイルを活用・分離することを提案する。
  論文  参考訳（メタデータ） (2021-11-24T19:00:05Z)
• ShufText: A Simple Black Box Approach to Evaluate the Fragility of Text Classification Models [0.0]
  CNN、LSTM、Transformersに基づくディープラーニングアプローチは、テキスト分類における事実上のアプローチである。 これらのシステムは、分類に有用なテキストに現れる重要な単語に過度に依存していることを示す。
  論文  参考訳（メタデータ） (2021-01-30T15:18:35Z)
• Robust Document Representations using Latent Topics and Metadata [17.306088038339336]
  本稿では,文書分類問題に対する事前学習型ニューラルネットワークモデルの微調整手法を提案する。 テキストとメタデータの両方をタスク形式でキャプチャする文書表現を生成します。 私たちのソリューションでは、メタデータを単にテキストで拡張するのではなく、明示的に組み込んでいます。
  論文  参考訳（メタデータ） (2020-10-23T21:52:38Z)
• Text Classification with Few Examples using Controlled Generalization [58.971750512415134]
  現在の実践は、トレーニング中に見えない単語を、類似した単語とマッピングするために、事前訓練された単語埋め込みに依存している。 私たちの代替案は、未ラベルのパースコーパスから派生したスパース事前訓練された表現から始まります。 これらのベクトル上のフィードフォワードネットワークは、特に低データシナリオにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-18T06:04:58Z)
• Temporal Embeddings and Transformer Models for Narrative Text Understanding [72.88083067388155]
  キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。 これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。 最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
  論文  参考訳（メタデータ） (2020-03-19T14:23:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。