論文の概要: Investigating Cross-Domain Behaviors of BERT in Review Understanding

• arxiv url: http://arxiv.org/abs/2306.15123v2
• Date: Wed, 28 Jun 2023 01:26:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-29 11:22:28.913990
• Title: Investigating Cross-Domain Behaviors of BERT in Review Understanding
• Title（参考訳）: bertのクロスドメイン挙動のレビュー理解における検討
• Authors: Albert Lu and Meng Jiang
• Abstract要約: 単一ドメインおよび複数ドメインのAmazonレビューデータに基づいて細調整されたBERTモデルについて検討する。 単一ドメインモデルの微調整によって精度がわずかに向上するが、ドメイン間でよく機能するマルチドメインモデルを利用することで、計算資源とコストを削減できる。
• 参考スコア（独自算出の注目度）: 17.653623842967807
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Review score prediction requires review text understanding, a critical real-world application of natural language processing. Due to dissimilar text domains in product reviews, a common practice is fine-tuning BERT models upon reviews of differing domains. However, there has not yet been an empirical study of cross-domain behaviors of BERT models in the various tasks of product review understanding. In this project, we investigate text classification BERT models fine-tuned on single-domain and multi-domain Amazon review data. In our findings, though single-domain models achieved marginally improved performance on their corresponding domain compared to multi-domain models, multi-domain models outperformed single-domain models when evaluated on multi-domain data, single-domain data the single-domain model was not fine-tuned on, and on average when considering all tests. Though slight increases in accuracy can be achieved through single-domain model fine-tuning, computational resources and costs can be reduced by utilizing multi-domain models that perform well across domains.
• Abstract（参考訳）: レビュースコアの予測には、自然言語処理の現実的な応用であるレビューテキスト理解が必要である。 製品レビューにおける異種テキストドメインのため、共通するプラクティスは、異なるドメインのレビューに基づいてBERTモデルを微調整することである。 しかし、製品レビュー理解の様々なタスクにおいて、BERTモデルのクロスドメイン動作に関する実証的研究は未だ行われていない。 本稿では,単一ドメインおよび複数ドメインのAmazonレビューデータに基づいて,BERTモデルのテキスト分類を行う。 以上の結果から,マルチドメインモデルと比較した場合,単一ドメインモデルの性能は若干向上したが,マルチドメインモデルでは,マルチドメインデータで評価した場合の単一ドメインモデルよりも優れており,単一ドメインモデルでは微調整が行えず,すべてのテストで平均的に性能が向上した。 単一ドメインモデルの微調整によって精度がわずかに向上するが、ドメイン間でよく機能するマルチドメインモデルを利用することで、計算資源とコストを削減できる。

関連論文リスト

• Deep Domain Specialisation for single-model multi-domain learning to rank [1.534667887016089]
  複数のモデルをトレーニングし、メンテナンスし、更新するコストは、すべてのドメインに責任を持つ単一のモデルを持つよりも高い。 本稿では,複数のドメインをひとつのモデルに統合するディープ・ドメイン・スペシャライゼーション(DDS)のアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-07-01T08:19:19Z)
• DIGIC: Domain Generalizable Imitation Learning by Causal Discovery [69.13526582209165]
  因果性は機械学習と組み合わせて、ドメインの一般化のための堅牢な表現を生成する。 我々は、実証データ分布を活用して、ドメインの一般化可能なポリシーの因果的特徴を発見するために、異なる試みを行っている。 DIGICと呼ばれる新しいフレームワークを設計し、実演データ分布から専門家行動の直接的な原因を見出すことにより因果的特徴を識別する。
  論文  参考訳（メタデータ） (2024-02-29T07:09:01Z)
• Improving Domain Generalization with Domain Relations [77.63345406973097]
  本稿では、モデルがトレーニングされたドメインと異なる新しいドメインに適用されたときに発生するドメインシフトに焦点を当てる。 ドメイン固有モデルを学習するためのD$3$Gという新しい手法を提案する。 以上の結果から,D$3$Gは最先端の手法より一貫して優れていた。
  論文  参考訳（メタデータ） (2023-02-06T08:11:16Z)
• Normalization Perturbation: A Simple Domain Generalization Method for Real-World Domain Shifts [133.99270341855728]
  実世界のドメインスタイルは環境の変化やセンサノイズによって大きく変化する可能性がある。 深層モデルはトレーニングドメインスタイルしか知らない。 このドメインスタイルのオーバーフィット問題を解決するために,正規化摂動を提案する。
  論文  参考訳（メタデータ） (2022-11-08T17:36:49Z)
• Multi-Domain Long-Tailed Learning by Augmenting Disentangled Representations [80.76164484820818]
  多くの現実世界の分類問題には、避けられない長い尾のクラスバランスの問題がある。 本稿では,この多領域長鎖学習問題について検討し,すべてのクラスとドメインにまたがってよく一般化されたモデルを作成することを目的とする。 TALLYは、選択的均衡サンプリング戦略に基づいて、ある例のセマンティック表現と別の例のドメイン関連ニュアンスを混合することでこれを達成している。
  論文  参考訳（メタデータ） (2022-10-25T21:54:26Z)
• Improving Fake News Detection of Influential Domain via Domain- and Instance-Level Transfer [16.886024206337257]
  フェイクニュース検出(DITFEND)のためのドメインレベルおよびインスタンスレベルの転送フレームワークを提案する。 DITFENDは特定のターゲットドメインの性能を向上させることができる。 オンライン実験は、現実世界のシナリオにおいて、ベースモデルにさらなる改善をもたらすことを示している。
  論文  参考訳（メタデータ） (2022-09-19T10:21:13Z)
• FactMix: Using a Few Labeled In-domain Examples to Generalize to Cross-domain Named Entity Recognition [42.32824906747491]
  本稿では,モデルの一般化能力を向上させるために,2段階の有理中心データ拡張手法を提案する。 いくつかのデータセットの結果から,モデルに依存しない手法はドメイン間NERタスクの性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2022-08-24T12:12:38Z)
• Domain Generalization via Selective Consistency Regularization for Time Series Classification [16.338176636365752]
  ドメイン一般化手法は、限られた数のソースドメインからのデータで、ドメインシフトに頑健なモデルを学習することを目的としている。 本稿では,ソースドメイン間の予測一貫性を選択的に適用する表現学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-16T01:57:35Z)
• Inferring Latent Domains for Unsupervised Deep Domain Adaptation [54.963823285456925]
  Unsupervised Domain Adaptation (UDA)は、ラベル付きデータが利用できないターゲットドメインでモデルを学習する問題を指す。 本稿では,視覚データセット中の潜在ドメインを自動的に発見することにより,udaの問題に対処する新しい深層アーキテクチャを提案する。 提案手法を公開ベンチマークで評価し,最先端のドメイン適応手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-03-25T14:33:33Z)
• Domain2Vec: Domain Embedding for Unsupervised Domain Adaptation [56.94873619509414]
  従来の教師なしドメイン適応は、限られた数のドメイン間の知識伝達を研究する。 本稿では,特徴不整合とグラム行列の連成学習に基づいて,視覚領域のベクトル表現を提供する新しいDomain2Vecモデルを提案する。 我々の埋め込みは、異なるドメイン間の視覚的関係に関する直感と一致するドメイン類似性を予測できることを示した。
  論文  参考訳（メタデータ） (2020-07-17T22:05:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。