論文の概要: Can Language Models Be Specific? How?

• arxiv url: http://arxiv.org/abs/2210.05159v1
• Date: Tue, 11 Oct 2022 05:38:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 13:52:03.939063
• Title: Can Language Models Be Specific? How?
• Title（参考訳）: 言語モデルは特定できるのか? どうやって?
• Authors: Jie Huang, Kevin Chen-Chuan Chang, Jinjun Xiong, Wen-mei Hwu
• Abstract要約: 本稿では,プレトレーニング言語モデル (PLM) の言語がどの程度具体的であるかを評価することを提案する。 例えば、J・K・ローリングが[MASK]に生まれたことを考えれば、より具体的な答えがPLMで満たされるかどうかを検証したい。 具体性に影響を与える要因を特定し,具体性を改善するための2つのプロンプトベースの手法を設計する。
• 参考スコア（独自算出の注目度）: 37.30124897078608
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A good speaker not only needs to be correct, but also has the ability to be specific when desired, and so are language models. In this paper, we propose to measure how specific the language of pre-trained language models (PLMs) is. To achieve this, we introduce a novel approach to build a benchmark for specificity testing by forming masked token prediction tasks with prompts. For instance, given ``J. K. Rowling was born in [MASK].'', we want to test whether a more specific answer will be better filled in by PLMs, e.g., Yate instead of England. From our evaluations, we show that existing PLMs have only a slight preference for more specific answers. We identify underlying factors affecting the specificity and design two prompt-based methods to improve the specificity. Results show that the specificity of the models can be improved by the proposed methods without additional training. We believe this work can provide new insights for language modeling and encourage the research community to further explore this important but understudied problem.
• Abstract（参考訳）: 優れたスピーカーは、正しいことだけでなく、望むときに具体化できる能力も備えており、言語モデルもそうである。 本稿では,事前学習型言語モデル(plm)の言語がどの程度具体的であるかを測定することを提案する。 これを実現するために,マスク付きトークン予測タスクをプロンプトで形成することにより,特異性テストのためのベンチマークを構築する新しい手法を提案する。 例えば、``j が与えられる。 K・ローリングは[MASK]で生まれた. 例えば、イングランドの代わりにイェートなど、より具体的な答えがPLMによって満たされるかどうかを検証したい。 評価の結果,既存のPLMはより具体的な回答を少ししか好まないことがわかった。 具体性に影響を与える要因を特定し,具体性を改善するための2つのプロンプトベースの手法を設計する。 以上の結果から,提案手法によりモデルの特異性が向上できることが示唆された。 この研究は、言語モデリングの新しい洞察を与え、研究コミュニティにこの重要だが未調査の問題をさらに探求するよう促すことができると信じています。

関連論文リスト

• Scenarios and Approaches for Situated Natural Language Explanations [18.022428746019582]
  ベンチマークデータセットである条件ベース説明を収集します。 このデータセットには100の説明書が含まれている。 オーディエンスと組み合わせたエクスラナンダム(explanandum paired with a audience)"の各状況について、人間による説明を含める。 本稿では,ルールベースのプロンプト,メタプロンプト,コンテキスト内学習プロンプトの3つのカテゴリについて検討する。
  論文  参考訳（メタデータ） (2024-06-07T15:56:32Z)
• Self-Evolution Learning for Discriminative Language Model Pretraining [103.57103957631067]
  自己進化学習(Self-Evolution Learning、SE)は、単純で効果的なトークンマスキングと学習方法である。 SEは情報的だが未探索のトークンを学習することに集中し、新しいToken固有のラベル平滑化アプローチを導入してトレーニングを適応的に調整する。
  論文  参考訳（メタデータ） (2023-05-24T16:00:54Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Underspecification in Language Modeling Tasks: A Causality-Informed Study of Gendered Pronoun Resolution [0.0]
  本稿では,素因性相関の生成における不特定性の役割を説明するための簡単な因果機構を提案する。 その単純さにもかかわらず、我々の因果モデルは2つの軽量ブラックボックス評価手法の開発を直接的に知らせる。
  論文  参考訳（メタデータ） (2022-09-30T23:10:11Z)
• Masked Part-Of-Speech Model: Does Modeling Long Context Help Unsupervised POS-tagging? [94.68962249604749]
  フレキシブルな依存性モデリングを容易にするために,MPoSM(Masked Part-of-Speech Model)を提案する。 MPoSMは任意のタグ依存をモデル化し、マスクされたPOS再構成の目的を通じてPOS誘導を行うことができる。 英語のPenn WSJデータセットと10の多様な言語を含むユニバーサルツリーバンクの競合的な結果を得た。
  論文  参考訳（メタデータ） (2022-06-30T01:43:05Z)
• How does the pre-training objective affect what large language models learn about linguistic properties? [30.699644290131044]
  BERTが言語特性について学んでいることに対して,事前学習の目的がどう影響するかを検討する。 2つの言語的動機と3つの非言語的動機を持つBERTを事前訓練した。 2つの異なる目的によって学習された表現の間には,性能の差が小さいという強い証拠がある。
  論文  参考訳（メタデータ） (2022-03-20T00:02:10Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)
• IDS at SemEval-2020 Task 10: Does Pre-trained Language Model Know What to Emphasize? [16.990615110732524]
  本稿では,事前学習言語モデル(PLM)の自己注意分布からのみの情報に頼って,視覚メディアにおける文章から強調すべき単語を判定する手法を提案する。 我々は、TF-IDFを採用する合理的なベースラインよりもゼロショットアプローチの方が優れていることを示し、強調選択に特化したPLMにはいくつかの注意点が存在することを示した。
  論文  参考訳（メタデータ） (2020-07-24T07:28:47Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。