論文の概要: The Maskability Index: Predicting Task-Objective Alignment in Pretrained Language Models

• arxiv url: http://arxiv.org/abs/2607.20265v1
• Date: Wed, 22 Jul 2026 15:19:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-23 18:51:38.130176
• Title: The Maskability Index: Predicting Task-Objective Alignment in Pretrained Language Models
• Title（参考訳）: タスク可能性指数:事前訓練された言語モデルにおけるタスク客観的アライメントの予測
• Abstract要約: マスク可能性指数(英: Maskability Index、MI)は、マスキングスタイルのプロンプトやプレフィックススタイルのプロンプトに、知識関係が適しているかどうかを数世代で推定する指標である。 MIは、事前訓練された言語モデルから関係知識を抽出するためのテンプレートと適応戦略を適切に選択するのに役立つ。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale pretrained language models such as T5 and BERT have demonstrated strong capabilities for generating structured knowledge. However, their performance depends on how closely the prompting strategy matches the objectives used during pretraining. We introduce the Maskability Index (MI), a quantitative metric that estimates whether a knowledge relation is better suited to masked-style prompting or prefix-style prompting in few-shot generation. MI is computed from differences in DepthRank scores between masked and unmasked templates, providing a principled measure of objective-template alignment. We evaluate MI on a diverse set of relations from the ATOMIC2020 knowledge base completion benchmark and show that it is positively correlated with downstream generation performance. These results indicate that MI can help select appropriate prompting templates and adaptation strategies for extracting relational knowledge from pretrained language models, especially in low-resource settings.
• Abstract（参考訳）: T5やBERTのような大規模事前訓練型言語モデルは、構造化知識を生成する強力な能力を示している。 しかし、それらのパフォーマンスは、事前訓練で使用される目的とどの程度の速さで一致しているかに依存します。 マスク型プロンプトやプレフィックス型プロンプトに,知識関係が適しているかどうかを数世代で推定する定量的指標であるMaskability Index(MI)を導入する。 MIは、マスク付きテンプレートとマスクなしテンプレートのDepthRankスコアの違いから計算され、客観的・テンポレートアライメントの原則化された尺度を提供する。 ATOMIC2020ナレッジベースコンプリートベンチマークからMIを多種多様な関係性で評価し、下流生成性能と正の相関性を示す。 これらの結果は、特に低リソース環境において、事前訓練された言語モデルから関係知識を抽出するためのテンプレートと適応戦略を適切に選択するのに役立つことを示唆している。

関連論文リスト

• A Unified Framework for In-Context Learning with Causal and Masked Language Models [9.893068784551879]
  In-context Learning (ICL) は、事前訓練された言語モデルの中枢機能として登場した。 マスク付き言語モデルは、双方向のコンテキストからマスク付きトークンを復元する。 ICLの振る舞いは因果言語モデルに特有ではない。
  論文  参考訳（メタデータ） (2026-07-05T02:23:18Z)
• Tokenization Standards for Linguistic Integrity: Turkish as a Benchmark [0.29687381456163997]
  トークン化はNLPの基本的な前処理ステップであり、大きな言語モデルが構文、形態素合成、意味構造をキャプチャする能力に直接影響を及ぼす。 本稿では,形態的にリッチで低リソースな言語における課題に対処する,トークン化戦略を評価するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-10T21:47:49Z)
• Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
  コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。 我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。 提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
  論文  参考訳（メタデータ） (2024-10-24T17:56:08Z)
• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• Erasing Conceptual Knowledge from Language Models [24.63143961814566]
  概念レベルのアンラーニングに対する原則的アプローチである言語記憶の消去(ELM)を導入する。 ELMは、モデル自身の内省的分類能力によって定義される分布を一致させることで機能する。 ELMのバイオセキュリティ、サイバーセキュリティ、および文学ドメイン消去タスクに対する効果を実証する。
  論文  参考訳（メタデータ） (2024-10-03T17:59:30Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Probing Simile Knowledge from Pre-trained Language Models [16.411859515803098]
  シミュレーション解釈(SI)とシミュレーション生成(SG)は、モデルが予測を生成するのに十分な世界知識を必要とするため、NLPにとって難しい課題である。 近年、PLMベースのアプローチがNLPのデファクトスタンダードになっている。 本稿では,PLM からの模擬知識を探索し,SI と SG のタスクを3次完備化の統一的な枠組みで初めて解く。
  論文  参考訳（メタデータ） (2022-04-27T09:55:40Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。