Fugu-MT 論文翻訳(概要): Knesset-DictaBERT: A Hebrew Language Model for Parliamentary Proceedings

論文の概要: Knesset-DictaBERT: A Hebrew Language Model for Parliamentary Proceedings

arxiv url: http://arxiv.org/abs/2407.20581v1
Date: Tue, 30 Jul 2024 06:29:01 GMT
ステータス: 処理完了
システム内更新日: 2024-07-31 18:09:21.296032
Title: Knesset-DictaBERT: A Hebrew Language Model for Parliamentary Proceedings
Title（参考訳）: Knesset-DictaBERT: 立法手続のためのヘブライ語モデル
Authors: Gili Goldin, Shuly Wintner,
Abstract要約: 我々はヘブライ語モデルであるKnesset-DictaBERTを紹介した。このモデルはDictaBERTアーキテクチャに基づいており、そのタスクに従って議会言語を理解する上での大幅な改善を示している。
参考スコア（独自算出の注目度）: 2.1945750784330067
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: We present Knesset-DictaBERT, a large Hebrew language model fine-tuned on the Knesset Corpus, which comprises Israeli parliamentary proceedings. The model is based on the DictaBERT architecture and demonstrates significant improvements in understanding parliamentary language according to the MLM task. We provide a detailed evaluation of the model's performance, showing improvements in perplexity and accuracy over the baseline DictaBERT model.
Abstract（参考訳）: 我々は、イスラエル議会の議事録を含むクネセト・コーパスに微調整されたヘブライ語モデルであるクネセト・ディクタベルトを提示する。このモデルはDictaBERTアーキテクチャに基づいており、MLMタスクによる議会言語理解の大幅な改善を示す。モデルの性能を詳細に評価し,ベースラインDictaBERTモデルよりも複雑度と精度が向上したことを示す。

関連論文リスト

A Large-Scale Evaluation of Speech Foundation Models [110.95827399522204]
音声処理ユニバーサルパフォーマンスベンチマーク(SUPERB)を構築し,基礎モデルパラダイムの有効性について検討する。凍結基盤モデルを用いてSUPERBにおける音声処理タスクに対処する統合マルチタスクフレームワークを提案する。
論文参考訳（メタデータ） (2024-04-15T00:03:16Z)
Calibrating the Confidence of Large Language Models by Eliciting Fidelity [52.47397325111864]
RLHFのようなテクニックで最適化された大規模な言語モデルは、有用で無害な点において優れた整合性を実現している。調整後、これらの言語モデルはしばしば過剰な自信を示し、表現された自信は正確さの度合いで正確に校正しない。本稿では,言語モデルの信頼度を推定するプラグイン・アンド・プレイ手法を提案する。
論文参考訳（メタデータ） (2024-04-03T11:36:12Z)
Introducing DictaLM -- A Large Generative Language Model for Modern Hebrew [2.1547347528250875]
現代ヘブライ語に合わせた大規模言語モデルであるDictaLMについて紹介する。ヘブライ語における研究・開発促進の取り組みとして,創造コモンズライセンスの下で基礎モデルと教科モデルの両方をリリースする。
論文参考訳（メタデータ） (2023-09-25T22:42:09Z)
Improving Aspect-Based Sentiment with End-to-End Semantic Role Labeling Model [6.85316573653194]
本稿では,Aspect-Based Sentiment Analysis(ABSA)の性能向上を目的とした一連のアプローチを提案する。本稿では,トランスフォーマーの隠蔽状態における構造的意味情報の大部分を効果的にキャプチャする,エンドツーエンドのセマンティックロールラベルモデルを提案する。 ELECTRA小モデルを用いて,提案したモデルを英語とチェコ語で評価した。
論文参考訳（メタデータ） (2023-07-27T11:28:16Z)
Improving Massively Multilingual ASR With Auxiliary CTC Objectives [40.10307386370194]
FLEURSは102言語によるオープンASRベンチマークである。我々は,最近のコネクショニスト時間分類(CTC)研究から着想を得た手法を考察し,モデルが多数の言語を扱えるようにした。コンバータアーキテクチャを用いた自己教師型モデルを用いた最先端システムでは,相対28.4%CERによるFLEURSの先行研究よりも改善されている。
論文参考訳（メタデータ） (2023-02-24T18:59:51Z)
M-SpeechCLIP: Leveraging Large-Scale, Pre-Trained Models for Multilingual Speech to Image Retrieval [56.49878599920353]
本研究は,多言語画像音声検索におけるCLIPとHuBERTの大規模,英語のみの事前学習モデル(CLIPとHuBERT)の利用について検討する。非英語画像音声検索では、各言語毎に個別のモデルを訓練する場合と、3言語すべてで音声を処理する1つのモデルの両方において、最先端のパフォーマンスを幅広いマージンで上回ります。
論文参考訳（メタデータ） (2022-11-02T14:54:45Z)
Training dataset and dictionary sizes matter in BERT models: the case of Baltic languages [0.0]
我々はリトアニア語、ラトビア語、英語の3言語モデルLitLat BERTとエストニア語の単言語モデルEst-RoBERTaを訓練する。提案手法は,エンティティ認識,依存性解析,パート・オブ・音声タグ付け,単語類似処理の4つのダウンストリームタスクにおいて,その性能を評価する。
論文参考訳（メタデータ） (2021-12-20T14:26:40Z)
SlovakBERT: Slovak Masked Language Model [0.0]
スロバキアのマスキング言語モデル「BarberT」を紹介した。これはスロバキアのみのトランスフォーマーベースのモデルで、大きなコーパスで訓練された最初のものである。
論文参考訳（メタデータ） (2021-09-30T16:36:49Z)
InfoBERT: Improving Robustness of Language Models from An Information Theoretic Perspective [84.78604733927887]
BERTのような大規模言語モデルは、幅広いNLPタスクで最先端のパフォーマンスを実現している。近年の研究では、このようなBERTベースのモデルが、テキストの敵対的攻撃の脅威に直面していることが示されている。本稿では,事前学習した言語モデルの堅牢な微調整のための新しい学習フレームワークであるInfoBERTを提案する。
論文参考訳（メタデータ） (2020-10-05T20:49:26Z)
Revisiting Pre-Trained Models for Chinese Natural Language Processing [73.65780892128389]
我々は、中国語の事前学習言語モデルを再検討し、英語以外の言語での有効性について検討する。また,RoBERTaを改良したMacBERTモデルを提案する。
論文参考訳（メタデータ） (2020-04-29T02:08:30Z)
Coreferential Reasoning Learning for Language Representation [88.14248323659267]
本稿では,コンテキスト内でコアファーデンシャル関係をキャプチャ可能な新しい言語表現モデルCorefBERTを提案する。実験の結果,既存のベースラインモデルと比較して,CorefBERTは下流のNLPタスクにおいて一貫した大幅な改善を達成できることがわかった。
論文参考訳（メタデータ） (2020-04-15T03:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。