Fugu-MT 論文翻訳(概要): Metadata Might Make Language Models Better

論文の概要: Metadata Might Make Language Models Better

arxiv url: http://arxiv.org/abs/2211.10086v1
Date: Fri, 18 Nov 2022 08:29:00 GMT
ステータス: 処理完了
システム内更新日: 2022-11-21 15:17:34.019959
Title: Metadata Might Make Language Models Better
Title（参考訳）: メタデータは言語モデルを改善する
Authors: Kaspar Beelen and Daniel van Strien
Abstract要約: 19世紀の新聞をケーススタディとして、マスケッド言語モデルに時間的、政治的、地理的情報を挿入するための異なる戦略を比較した。関連するメタデータを言語モデルに示すことは有益な影響があり、より堅牢で公平なモデルを生成することさえあることに気付きました。
参考スコア（独自算出の注目度）: 1.7100280218774935
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper discusses the benefits of including metadata when training language models on historical collections. Using 19th-century newspapers as a case study, we extend the time-masking approach proposed by Rosin et al., 2022 and compare different strategies for inserting temporal, political and geographical information into a Masked Language Model. After fine-tuning several DistilBERT on enhanced input data, we provide a systematic evaluation of these models on a set of evaluation tasks: pseudo-perplexity, metadata mask-filling and supervised classification. We find that showing relevant metadata to a language model has a beneficial impact and may even produce more robust and fairer models.
Abstract（参考訳）: 本稿では,歴史コレクションにおける言語モデルの学習におけるメタデータの活用の利点について述べる。 19世紀の新聞を事例として、2022年にrosinらによって提案されたタイムマスキングアプローチを拡張し、時間的、政治的、地理的な情報をマスキング言語モデルに挿入する様々な戦略を比較した。複数のDistilBERTを改良された入力データに微調整した後、擬似パープレキシティ、メタデータマスフィリング、教師付き分類といった一連の評価タスクでこれらのモデルを体系的に評価する。関連するメタデータを言語モデルに示すことは有益な影響があり、より堅牢で公平なモデルを生み出すことさえあります。

関連論文リスト

P-MMEval: A Parallel Multilingual Multitask Benchmark for Consistent Evaluation of LLMs [84.24644520272835]
大きな言語モデル(LLM)は、翻訳、コード生成、推論といったタスクにまたがる様々な多言語機能を示す。以前の評価では、その範囲を基本自然言語処理(NLP)や、独立した機能固有のタスクに制限することが多かった。我々は、これらのベンチマークの有用性に関する以前の研究の監視に対処するため、大規模ベンチマークから利用可能な、合理的なベンチマークを選択するパイプラインを提案する。本稿では,P-MMEvalを提案する。P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval,P-MMEval。
論文参考訳（メタデータ） (2024-11-14T01:29:36Z)
Improving Pinterest Search Relevance Using Large Language Models [15.24121687428178]
我々はLarge Language Models (LLM) を検索関連モデルに統合する。提案手法では,生成的視覚言語モデルから抽出したキャプションを含むコンテンツ表現とともに検索クエリを使用する。 LLMをベースとしたモデルからリアルタイム可観測モデルアーキテクチャと特徴を抽出する。
論文参考訳（メタデータ） (2024-10-22T16:29:33Z)
Multilingual Models for Check-Worthy Social Media Posts Detection [0.552480439325792]
この研究には様々なモデルの包括的分析が含まれており、特に多言語モデルに焦点を当てている。この研究の新規性は、検証可能な事実的主張を効果的に含む有害なポストとポストを同時に検出できるマルチラベル多言語分類モデルの開発にある。
論文参考訳（メタデータ） (2024-08-13T08:55:28Z)
Masked Image Modeling: A Survey [73.21154550957898]
マスク付き画像モデリングは、コンピュータビジョンにおける強力な自己教師付き学習技術として登場した。我々は近年,分類学を構築し,最も顕著な論文をレビューしている。我々は,最も人気のあるデータセット上で,様々なマスク付き画像モデリング手法の性能評価結果を集約する。
論文参考訳（メタデータ） (2024-08-13T07:27:02Z)
Learning Phonotactics from Linguistic Informants [54.086544221761486]
本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
論文参考訳（メタデータ） (2024-05-08T00:18:56Z)
PRobELM: Plausibility Ranking Evaluation for Language Models [12.057770969325453]
PRobELM(PRobELM)は、言語モデルがパラメトリック知識を通じてより妥当なシナリオを識別する能力を評価するために設計されたベンチマークである。我々のベンチマークは、Wikidata編集履歴から算出したデータセットから構築され、評価されたモデルに対するトレーニングデータの時間的境界を整列するように調整されている。
論文参考訳（メタデータ） (2024-04-04T21:57:11Z)
Revisiting Topic-Guided Language Models [20.21486464604549]
4つのトピック誘導言語モデルと2つのベースラインについて検討し、4つのコーパス上で各モデルの保留予測性能を評価する。これらの手法はいずれも標準のLSTM言語モデルのベースラインを上回りません。
論文参考訳（メタデータ） (2023-12-04T20:33:24Z)
Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
論文参考訳（メタデータ） (2023-10-20T05:44:39Z)
Pre-trained Language Model with Prompts for Temporal Knowledge Graph Completion [30.50032335014021]
我々は、新しいTKGCモデル、すなわち、TKGC(PPT)のための Prompts 付き事前学習言語モデルを提案する。サンプルの四重項を事前訓練した言語モデル入力に変換し、タイムスタンプ間の間隔を異なるプロンプトに変換することで、暗黙的な意味情報を持つ一貫性のある文を生成する。我々のモデルは、時間的知識グラフからの情報を言語モデルに効果的に組み込むことができる。
論文参考訳（メタデータ） (2023-05-13T12:53:11Z)
A Generative Language Model for Few-shot Aspect-Based Sentiment Analysis [90.24921443175514]
我々は、アスペクト項、カテゴリを抽出し、対応する極性を予測するアスペクトベースの感情分析に焦点を当てる。本稿では,一方向の注意を伴う生成言語モデルを用いて,抽出タスクと予測タスクをシーケンス生成タスクに再構成することを提案する。提案手法は,従来の最先端(BERTをベースとした)の性能を,数ショットとフルショットの設定において,大きなマージンで上回ります。
論文参考訳（メタデータ） (2022-04-11T18:31:53Z)
Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
論文参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。