論文の概要: Cross-Domain Generalization and Knowledge Transfer in Transformers Trained on Legal Data

• arxiv url: http://arxiv.org/abs/2112.07870v1
• Date: Wed, 15 Dec 2021 04:23:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-16 13:57:04.145730
• Title: Cross-Domain Generalization and Knowledge Transfer in Transformers Trained on Legal Data
• Title（参考訳）: 法定データに基づくトランスフォーマーのクロスドメイン一般化と知識伝達
• Authors: Jaromir Savelka, Hannes Westermann, Karim Benyekhlef
• Abstract要約: 異なる型システムで注釈付けされたデータセット間で知識を伝達する事前学習言語モデルの解析を行う。 文がケース決定で果たす修辞的役割の予測は、AI & Lawにおいて重要かつしばしば研究される課題である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We analyze the ability of pre-trained language models to transfer knowledge among datasets annotated with different type systems and to generalize beyond the domain and dataset they were trained on. We create a meta task, over multiple datasets focused on the prediction of rhetorical roles. Prediction of the rhetorical role a sentence plays in a case decision is an important and often studied task in AI & Law. Typically, it requires the annotation of a large number of sentences to train a model, which can be time-consuming and expensive. Further, the application of the models is restrained to the same dataset it was trained on. We fine-tune language models and evaluate their performance across datasets, to investigate the models' ability to generalize across domains. Our results suggest that the approach could be helpful in overcoming the cold-start problem in active or interactvie learning, and shows the ability of the models to generalize across datasets and domains.
• Abstract（参考訳）: 我々は、異なる型システムでアノテートされたデータセット間で知識を伝達し、訓練されたドメインとデータセットを超えて一般化する、事前訓練された言語モデルの能力を分析する。 我々は、修辞的役割の予測に焦点を当てた複数のデータセットにメタタスクを作成する。 文がケース決定で果たす修辞的役割の予測は、AI & Lawにおいて重要かつしばしば研究される課題である。 通常、モデルのトレーニングには大量の文のアノテーションが必要です。 さらに、モデルの応用は、トレーニングされた同じデータセットに制限される。 言語モデルを微調整し、データセット間での性能を評価し、ドメイン間で一般化するモデルの能力を調べる。 このアプローチは、アクティブな学習や対話型学習におけるコールドスタート問題を克服する上で有用であり、モデルがデータセットとドメインをまたいで一般化する能力を示している。

関連論文リスト

• Adapting Large Language Models to Domains via Reading Comprehension [86.24451681746676]
  ドメイン固有コーパスの事前学習が大規模言語モデルに与える影響について検討する。 生のコーパスでのトレーニングはドメイン知識でモデルを養うが、問合せ能力を大幅に損なう。 生コーパスを可読テキストに変換する簡単な方法を提案する。
  論文  参考訳（メタデータ） (2023-09-18T07:17:52Z)
• Visual Explanations with Attributions and Counterfactuals on Time Series Classification [15.51135925107216]
  グローバルな説明とローカルな説明のシームレスな遷移をサポートするビジュアル分析ワークフローを提案する。 グローバルな概要を生成するために、データに局所帰属法を適用し、データセット全体の説明を作成する。 さらに、モデル決定と潜在的なデータエラーを検査するために、What-if分析は仮説生成と検証を容易にする。
  論文  参考訳（メタデータ） (2023-07-14T10:01:30Z)
• A Data Fusion Framework for Multi-Domain Morality Learning [3.0671872389903547]
  複数の異種データセットをトレーニングするためのデータ融合フレームワークについて述べる。 提案フレームワークは,道徳的推論における先行研究と比較して,異なるデータセットにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-04-04T22:05:02Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• Pre-Training a Graph Recurrent Network for Language Representation [34.4554387894105]
  本稿では,言語モデルの事前学習のためのグラフリカレントネットワークについて考察し,各シーケンスのグラフ構造を局所的なトークンレベルの通信で構築する。 我々のモデルは、既存の注意に基づくモデルよりもコンテキスト化された特徴冗長性が少なく、より多様な出力を生成することができる。
  論文  参考訳（メタデータ） (2022-09-08T14:12:15Z)
• QAGAN: Adversarial Approach To Learning Domain Invariant Language Features [0.76146285961466]
  ドメイン不変の特徴を学習するための敵対的学習手法について検討する。 EMスコアが15.2%改善され、ドメイン外の検証データセットでF1スコアが5.6%向上しました。
  論文  参考訳（メタデータ） (2022-06-24T17:42:18Z)
• CHALLENGER: Training with Attribution Maps [63.736435657236505]
  ニューラルネットワークのトレーニングに属性マップを利用すると、モデルの正規化が向上し、性能が向上することを示す。 特に、我々の汎用的なドメインに依存しないアプローチは、ビジョン、自然言語処理、時系列タスクにおける最先端の結果をもたらすことを示す。
  論文  参考訳（メタデータ） (2022-05-30T13:34:46Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。