論文の概要: MLMLM: Link Prediction with Mean Likelihood Masked Language Model

• arxiv url: http://arxiv.org/abs/2009.07058v1
• Date: Tue, 15 Sep 2020 13:11:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 05:21:00.130474
• Title: MLMLM: Link Prediction with Mean Likelihood Masked Language Model
• Title（参考訳）: MLMLM: 平均的マッシュアップ言語モデルによるリンク予測
• Authors: Louis Clouatre, Philippe Trempe, Amal Zouaq, Sarath Chandar
• Abstract要約: 知識ベース(KB)は、クエリ、検証、解釈が容易である。 BERT などの Masked Models (MLM) は、計算能力と生のテキストデータとともにスケールする。 リンク予測を行うために異なるエンティティを生成する平均可能性を比較する手法として,平均的類似性マスケッド言語モデルを提案する。
• 参考スコア（独自算出の注目度）: 14.672283581769774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge Bases (KBs) are easy to query, verifiable, and interpretable. They however scale with man-hours and high-quality data. Masked Language Models (MLMs), such as BERT, scale with computing power as well as unstructured raw text data. The knowledge contained within those models is however not directly interpretable. We propose to perform link prediction with MLMs to address both the KBs scalability issues and the MLMs interpretability issues. To do that we introduce MLMLM, Mean Likelihood Masked Language Model, an approach comparing the mean likelihood of generating the different entities to perform link prediction in a tractable manner. We obtain State of the Art (SotA) results on the WN18RR dataset and the best non-entity-embedding based results on the FB15k-237 dataset. We also obtain convincing results on link prediction on previously unseen entities, making MLMLM a suitable approach to introducing new entities to a KB.
• Abstract（参考訳）: 知識ベース(KB)は、クエリ、検証、解釈が容易である。 しかし、時間と高品質のデータでスケールする。 bertのようなマスク言語モデル(mlms)は、構造化されていないテキストデータだけでなく、計算能力も備えている。 しかし、これらのモデルに含まれる知識は直接解釈できない。 本稿では,KB のスケーラビリティ問題と MLM の解釈可能性問題の両方に対処するため,リンク予測を MLM で行うことを提案する。 そこで,我々はmlmlm,平均ラバースマスク言語モデルを導入する。このモデルでは,異なるエンティティを生成する平均ラバースを比較し,抽出可能な方法でリンク予測を行う。 我々は、wn18rrデータセットとfb15k-237データセットに基づく最高の非entity-embedding結果に基づいて、the art (sota) 結果を得る。 また,既知のエンティティに対するリンク予測に関する説得力のある結果を得ることで,mlmlmをkbに新たなエンティティを導入するための適切なアプローチとする。

関連論文リスト

• CaLM: Contrasting Large and Small Language Models to Verify Grounded Generation [76.31621715032558]
  グラウンデッドジェネレーションは、言語モデル(LM)に、より信頼性が高く説明可能な応答を生成する能力を持たせることを目的としている。 本稿では,新しい検証フレームワークであるCaLMを紹介する。 我々のフレームワークは、より少ないパラメトリックメモリに依存する小さなLMを有効活用し、より大きなLMの出力を検証する。
  論文  参考訳（メタデータ） (2024-06-08T06:04:55Z)
• Harnessing Large Language Models as Post-hoc Correctors [6.288056740658763]
  任意の機械学習モデルの予測に対する修正を提案するために,LLMがポストホックな修正器として機能することを示す。 我々は、データセットのラベル情報と、検証データセット上のMLモデルの予測を組み込むことで、文脈知識データベースを構築する。 テキスト解析と分子予測に関する実験結果から, モデルの性能が最大39%向上することが示唆された。
  論文  参考訳（メタデータ） (2024-02-20T22:50:41Z)
• Which Syntactic Capabilities Are Statistically Learned by Masked Language Models for Code? [51.29970742152668]
  精度に基づく測定に依存することで、モデルの能力が過大評価される可能性があることを強調する。 これらの問題に対処するために,SyntaxEval in Syntactic Capabilitiesというテクニックを導入する。
  論文  参考訳（メタデータ） (2024-01-03T02:44:02Z)
• LLM-augmented Preference Learning from Natural Language [19.700169351688768]
  大規模言語モデル(LLM)は、より大きな文脈長を扱う。 LLM は、ターゲットテキストが大きければ SotA を一貫して上回る。 ゼロショット学習よりもパフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-10-12T17:17:27Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Mixture of Soft Prompts for Controllable Data Generation [21.84489422361048]
  直接予測ではなく,データ拡張のためのツールとして,ソフトプロンプトの混合(MSP)を提案する。 提案手法は, 強いベースラインと比較した場合の3つのベンチマークに対して, 最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-03-02T21:13:56Z)
• Inconsistencies in Masked Language Models [20.320583166619528]
  Masked Language Model (MLM) は、マスキングされた位置におけるトークンの分布をシーケンスで提供することができる。 異なるマスキングパターンに対応する分布は、かなりの矛盾を示す可能性がある。 本稿では,条件文の集合(Ensemble of Conditionals)と呼ばれる fors の推論時間戦略を提案する。
  論文  参考訳（メタデータ） (2022-12-30T22:53:25Z)
• Transcormer: Transformer for Sentence Scoring with Sliding Language Modeling [95.9542389945259]
  文スコアリングは文の可能性を測ることを目的としており、多くの自然言語処理シナリオで広く使われている。 文スコアリングのための新しいテキストスライディング言語モデリング(SLM)を備えたトランスフォーマーモデルであるtextitTranscormerを提案する。
  論文  参考訳（メタデータ） (2022-05-25T18:00:09Z)
• Encoder-Decoder Models Can Benefit from Pre-trained Masked Language Models in Grammatical Error Correction [54.569707226277735]
  従来の方法はEncDecモデルに適用した場合に潜在的な欠点がある。 提案手法では, コーパスを微調整し, GECモデルに付加的な特徴として出力を微調整する。 BEA 2019とCoNLL-2014ベンチマークにおける最高のパフォーマンスモデルのパフォーマンス。
  論文  参考訳（メタデータ） (2020-05-03T04:49:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。