論文の概要: Likelihood Variance as Text Importance for Resampling Texts to Map Language Models

• arxiv url: http://arxiv.org/abs/2505.15428v1
• Date: Wed, 21 May 2025 12:10:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.620698
• Title: Likelihood Variance as Text Importance for Resampling Texts to Map Language Models
• Title（参考訳）: 地図言語モデルへのテキスト再サンプリングにおけるテキスト重要度としての様相変数
• Authors: Momose Oyama, Ryo Kishino, Hiroaki Yamagiwa, Hidetoshi Shimodaira,
• Abstract要約: 本稿では,各テキストのモデル間でのログ類似度の違いに比例した重み付き重要なテキストを選択する再サンプリング手法を提案する。 提案手法は,KL分散推定の精度を保ちながら,必要なテキスト数を大幅に削減する。
• 参考スコア（独自算出の注目度）: 2.5999037208435705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We address the computational cost of constructing a model map, which embeds diverse language models into a common space for comparison via KL divergence. The map relies on log-likelihoods over a large text set, making the cost proportional to the number of texts. To reduce this cost, we propose a resampling method that selects important texts with weights proportional to the variance of log-likelihoods across models for each text. Our method significantly reduces the number of required texts while preserving the accuracy of KL divergence estimates. Experiments show that it achieves comparable performance to uniform sampling with about half as many texts, and also facilitates efficient incorporation of new models into an existing map. These results enable scalable and efficient construction of language model maps.
• Abstract（参考訳）: 多様な言語モデルを共通空間に埋め込んでKLの発散による比較を行うモデルマップを構築する際の計算コストに対処する。 地図は大きなテキスト集合上のログライクな部分に依存しており、コストはテキストの数に比例する。 このコストを削減するために,各テキストのモデル間でのログ類似度の違いに比例した重み付き重要なテキストを選択する再サンプリング手法を提案する。 提案手法は,KL分散推定の精度を保ちながら,必要なテキスト数を大幅に削減する。 実験の結果、約半分のテキストで一様サンプリングに匹敵する性能を示し、また既存の地図に新しいモデルを効率的に組み込むのに役立つことがわかった。 これらの結果は、スケーラブルで効率的な言語モデルマップの構築を可能にする。

関連論文リスト

• Fast and Accurate Contextual Knowledge Extraction Using Cascading Language Model Chains and Candidate Answers [0.0]
  本稿では,Language Model Chain (LMC)アルゴリズムを提案し,実装し,適用する。 この場合、与えられたプロンプトに対する言語モデルの応答は、それが可能な答えの集合に存在する場合にのみ正しい。 われわれは, LMC アルゴリズムを用いて, 生年月日を医療資料から抽出した。
  論文  参考訳（メタデータ） (2025-07-21T14:31:16Z)
• Mapping 1,000+ Language Models via the Log-Likelihood Vector [2.5999037208435705]
  我々は,事前定義されたテキスト集合上で計算された対数様ベクトルをモデル特徴として用いて,自動回帰言語モデルを大規模に比較する。 提案手法はスケーラビリティが高く,計算コストはモデル数とテキストサンプル数の両方で線形に増大する。 この手法を1000以上の言語モデルに適用し、大規模モデル解析の新しい視点を提供する「モデルマップ」を構築した。
  論文  参考訳（メタデータ） (2025-02-22T10:23:36Z)
• Model-diff: A Tool for Comparative Study of Language Models in the Input Space [34.680890752084004]
  本稿では,ブルートフォース列挙が実現不可能な大入力空間を考慮した新しいモデル比較分析手法を提案する。 実験により、大規模な入力空間におけるLM間の定量的予測の違いが初めて明らかとなり、モデルプラジャリズムのような応用のためのモデル解析が促進される可能性がある。
  論文  参考訳（メタデータ） (2024-12-13T00:06:25Z)
• Split and Rephrase with Large Language Models [2.499907423888049]
  Split and Rephrase (SPRP) タスクは、複雑な文を短い文法文の列に分割する。 タスク上の大きな言語モデルを評価し、主要なメトリクスに基づいて、技術の現状を大幅に改善できることを示します。
  論文  参考訳（メタデータ） (2023-12-18T10:16:37Z)
• Concept-Guided Chain-of-Thought Prompting for Pairwise Comparison Scoring of Texts with Large Language Models [3.656114607436271]
  既存のテキストスコアリング手法では、大きなコーパス、短いテキストとの競合、手書きのデータが必要である。 生成的大言語モデル(LLM)を利用したテキストスコアリングフレームワークを開発した。 本稿では、Twitter上の特定の政党への反感を反映したスピーチをよりよく理解するために、このアプローチを適用する。
  論文  参考訳（メタデータ） (2023-10-18T15:34:37Z)
• Contextual Distortion Reveals Constituency: Masked Language Models are Implicit Parsers [7.558415495951758]
  マスク付き言語モデル(LM)から解析木を抽出する新しい手法を提案する。 本手法は,言語摂動による文脈表現の歪みに基づいて,各スパンのスコアを算出する。 本手法は,マスク付きLMを用いた英語における従来の最先端手法を一貫して上回り,多言語環境での優れた性能を示す。
  論文  参考訳（メタデータ） (2023-06-01T13:10:48Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• Fine-tuning GPT-3 for Russian Text Summarization [77.34726150561087]
  本稿では,テキストを要約するruGPT3(ruGPT3)機能について紹介し,それに対応する人文要約を用いてロシア語ニュースのコーパスを微調整する。 得られたテキストを一連のメトリクスで評価し、アーキテクチャや損失関数に付加的な変更を加えることなく、我々のソリューションが最先端のモデルの性能を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-08-07T19:01:40Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。