論文の概要: To Tune or Not To Tune? Zero-shot Models for Legal Case Entailment
- arxiv url: http://arxiv.org/abs/2202.03120v1
- Date: Mon, 7 Feb 2022 13:02:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 14:07:46.577221
- Title: To Tune or Not To Tune? Zero-shot Models for Legal Case Entailment
- Title（参考訳）: チューニングするか、チューニングしないか?
訴訟解決のためのゼロショットモデル
- Authors: Guilherme Moraes Rosa, Ruan Chaves Rodrigues, Roberto de Alencar
Lotufo, Rodrigo Nogueira
- Abstract要約: 多様なデータセットに微調整された事前訓練された言語モデルは、様々なドメイン外タスクにうまく転送可能であることを示す。
我々は,COLIEE 2021の判例提出作業に参加し,対象領域に適応しないモデルを用いた。
本実験は,事前学習型言語モデルの新しいパラダイムにおいて,直感に反する結果であることを確認した。
- 参考スコア（独自算出の注目度）: 4.9069311006119865
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There has been mounting evidence that pretrained language models fine-tuned
on large and diverse supervised datasets can transfer well to a variety of
out-of-domain tasks. In this work, we investigate this transfer ability to the
legal domain. For that, we participated in the legal case entailment task of
COLIEE 2021, in which we use such models with no adaptations to the target
domain. Our submissions achieved the highest scores, surpassing the second-best
team by more than six percentage points. Our experiments confirm a
counter-intuitive result in the new paradigm of pretrained language models:
given limited labeled data, models with little or no adaptation to the target
task can be more robust to changes in the data distribution than models
fine-tuned on it. Code is available at https://github.com/neuralmind-ai/coliee.
- Abstract（参考訳）: 大規模で多様な教師付きデータセットに微調整された事前訓練された言語モデルが、さまざまなドメイン外タスクにうまく移行できるという証拠がいくつかある。
本研究では,本法域への移転能力について検討する。
そこで我々は,COLIEE 2021の判例提出作業に参加し,対象領域に適応しないモデルを用いた。
我々の応募は最高得点を達成し、第2位を6ポイント以上上回った。
我々の実験は、事前訓練された言語モデルの新たなパラダイムにおける反直感的な結果を確認した: 限定ラベル付きデータに対して、ターゲットタスクへの適応がほとんど、あるいは全くないモデルは、その上で微調整されたモデルよりも、データ分散の変化に対してより堅牢である。
コードはhttps://github.com/neuralmind-ai/colieeで入手できる。
関連論文リスト
- TransformLLM: Adapting Large Language Models via LLM-Transformed Reading Comprehension Text [5.523385345486362]
法的な応用に特化して設計された言語モデルを開発した。
我々の革新的なアプローチは、Large Language Models (LLMs) を用いて、生のトレーニングデータを読解テキストに変換することによって、法的タスクの能力を大幅に向上させる。
論文 参考訳（メタデータ） (2024-10-28T19:32:18Z) - A Small Claims Court for the NLP: Judging Legal Text Classification Strategies With Small Datasets [0.0]
本稿では,小ラベル付きデータセットと大量の未ラベルデータの使用を最適化するための最善の戦略について検討する。
我々は,ブラジルの検察官事務所に要求の記録を用いて,対象の1つに記述を割り当てる。
その結果, BERTとデータ拡張, 半教師付き学習戦略を併用したUnsupervised Data Augmentation (UDA) が得られた。
論文 参考訳（メタデータ） (2024-09-09T18:10:05Z) - Pre-Trained Model Recommendation for Downstream Fine-tuning [22.343011779348682]
モデル選択は、市販の事前訓練されたモデルをランク付けし、新しいターゲットタスクに最も適したモデルを選択することを目的としている。
既存のモデル選択テクニックはスコープ内で制約されることが多く、モデルとタスク間の微妙な関係を見落としてしまう傾向があります。
我々は,多種多様な大規模モデルリポジトリを探索する実用的フレームワーク textbfFennec を提案する。
論文 参考訳（メタデータ） (2024-03-11T02:24:32Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳（メタデータ） (2024-02-07T13:41:53Z) - $\Delta$-Patching: A Framework for Rapid Adaptation of Pre-trained
Convolutional Networks without Base Performance Loss [71.46601663956521]
大規模なデータセットで事前トレーニングされたモデルはしばしば、時間とともにやってくる新しいタスクやデータセットをサポートするように微調整される。
モデルコピーを格納することなく、効率よく微調整ニューラルネットワークモデルに$Delta$-Patchingを提案する。
我々の実験によると、$Delta$-Networksは、トレーニングされるパラメータのごく一部しか必要とせず、初期のモデルパッチ作業より優れています。
論文 参考訳（メタデータ） (2023-03-26T16:39:44Z) - eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。
視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。
総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
論文 参考訳（メタデータ） (2023-03-20T19:20:34Z) - BudgetLongformer: Can we Cheaply Pretrain a SotA Legal Language Model
From Scratch? [0.0]
我々はLongformerモデルを法的なデータに基づいて効率的なRTDタスクで訓練し、より少ない計算量で効率的なLMを事前学習できることを実証する。
私たちは、小さなモデルとベースモデルの両方が、ドメイン内BillSumとドメイン外タスクのベースラインを上回っていることに気付きました。
論文 参考訳（メタデータ） (2022-11-30T16:09:20Z) - A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained
Models [87.7086269902562]
サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。
我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
論文 参考訳（メタデータ） (2022-10-13T15:47:09Z) - Billions of Parameters Are Worth More Than In-domain Training Data: A
case study in the Legal Case Entailment Task [4.186775801993103]
言語モデルにおけるパラメータのスケーリングは、以前のゼロショット結果のF1スコアを6ポイント以上向上させることを示す。
大規模な言語モデルによってもたらされる課題にも拘わらず、我々はゼロショットの monoT5-3b モデルが検索エンジンとして本番で使用されていることを実演する。
論文 参考訳（メタデータ） (2022-05-30T15:21:26Z) - Comparing Test Sets with Item Response Theory [53.755064720563]
我々は,18の事前学習トランスフォーマーモデルから予測した29のデータセットを個別のテスト例で評価した。
Quoref、HellaSwag、MC-TACOは最先端のモデルを区別するのに最適である。
また、QAMRやSQuAD2.0のようなQAデータセットに使用されるスパン選択タスク形式は、強いモデルと弱いモデルとの差別化に有効である。
論文 参考訳（メタデータ） (2021-06-01T22:33:53Z) - $n$-Reference Transfer Learning for Saliency Prediction [73.17061116358036]
本稿では,サリエンシ予測のための数発のトランスファー学習パラダイムを提案する。
提案するフレームワークは勾配ベースでモデルに依存しない。
その結果,提案フレームワークは大幅な性能向上を実現していることがわかった。
論文 参考訳（メタデータ） (2020-07-09T23:20:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。