論文の概要: Likelihood Variance as Text Importance for Resampling Texts to Map Language Models

• arxiv url: http://arxiv.org/abs/2505.15428v1
• Date: Wed, 21 May 2025 12:10:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.620698
• Title: Likelihood Variance as Text Importance for Resampling Texts to Map Language Models
• Title（参考訳）: 地図言語モデルへのテキスト再サンプリングにおけるテキスト重要度としての様相変数
• Authors: Momose Oyama, Ryo Kishino, Hiroaki Yamagiwa, Hidetoshi Shimodaira,
• Abstract要約: 本稿では,各テキストのモデル間でのログ類似度の違いに比例した重み付き重要なテキストを選択する再サンプリング手法を提案する。 提案手法は,KL分散推定の精度を保ちながら,必要なテキスト数を大幅に削減する。
• 参考スコア（独自算出の注目度）: 2.5999037208435705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We address the computational cost of constructing a model map, which embeds diverse language models into a common space for comparison via KL divergence. The map relies on log-likelihoods over a large text set, making the cost proportional to the number of texts. To reduce this cost, we propose a resampling method that selects important texts with weights proportional to the variance of log-likelihoods across models for each text. Our method significantly reduces the number of required texts while preserving the accuracy of KL divergence estimates. Experiments show that it achieves comparable performance to uniform sampling with about half as many texts, and also facilitates efficient incorporation of new models into an existing map. These results enable scalable and efficient construction of language model maps.
• Abstract（参考訳）: 多様な言語モデルを共通空間に埋め込んでKLの発散による比較を行うモデルマップを構築する際の計算コストに対処する。 地図は大きなテキスト集合上のログライクな部分に依存しており、コストはテキストの数に比例する。 このコストを削減するために,各テキストのモデル間でのログ類似度の違いに比例した重み付き重要なテキストを選択する再サンプリング手法を提案する。 提案手法は,KL分散推定の精度を保ちながら,必要なテキスト数を大幅に削減する。 実験の結果、約半分のテキストで一様サンプリングに匹敵する性能を示し、また既存の地図に新しいモデルを効率的に組み込むのに役立つことがわかった。 これらの結果は、スケーラブルで効率的な言語モデルマップの構築を可能にする。

関連論文リスト

• Mapping 1,000+ Language Models via the Log-Likelihood Vector [2.5999037208435705]
  我々は,事前定義されたテキスト集合上で計算された対数様ベクトルをモデル特徴として用いて,自動回帰言語モデルを大規模に比較する。 提案手法はスケーラビリティが高く,計算コストはモデル数とテキストサンプル数の両方で線形に増大する。 この手法を1000以上の言語モデルに適用し、大規模モデル解析の新しい視点を提供する「モデルマップ」を構築した。
  論文  参考訳（メタデータ） (2025-02-22T10:23:36Z)
• Model-diff: A Tool for Comparative Study of Language Models in the Input Space [34.680890752084004]
  本稿では,ブルートフォース列挙が実現不可能な大入力空間を考慮した新しいモデル比較分析手法を提案する。 実験により、大規模な入力空間におけるLM間の定量的予測の違いが初めて明らかとなり、モデルプラジャリズムのような応用のためのモデル解析が促進される可能性がある。
  論文  参考訳（メタデータ） (2024-12-13T00:06:25Z)
• Split and Rephrase with Large Language Models [2.499907423888049]
  Split and Rephrase (SPRP) タスクは、複雑な文を短い文法文の列に分割する。 タスク上の大きな言語モデルを評価し、主要なメトリクスに基づいて、技術の現状を大幅に改善できることを示します。
  論文  参考訳（メタデータ） (2023-12-18T10:16:37Z)
• Concept-Guided Chain-of-Thought Prompting for Pairwise Comparison Scoring of Texts with Large Language Models [3.656114607436271]
  既存のテキストスコアリング手法では、大きなコーパス、短いテキストとの競合、手書きのデータが必要である。 生成的大言語モデル(LLM)を利用したテキストスコアリングフレームワークを開発した。 本稿では、Twitter上の特定の政党への反感を反映したスピーチをよりよく理解するために、このアプローチを適用する。
  論文  参考訳（メタデータ） (2023-10-18T15:34:37Z)
• Ensemble Transfer Learning for Multilingual Coreference Resolution [60.409789753164944]
  非英語で作業する場合に頻繁に発生する問題は、注釈付きトレーニングデータの不足である。 我々は,様々なトランスファー学習技術を組み合わせた,シンプルだが効果的なアンサンブルベースのフレームワークを設計する。 また、ウィキペディアアンカーテキストを利用して、コア参照解決モデルをブートストラップする低コストのTL手法を提案する。
  論文  参考訳（メタデータ） (2023-01-22T18:22:55Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Classifiers are Better Experts for Controllable Text Generation [63.17266060165098]
  提案手法は, PPLにおける最近のPPLM, GeDi, DExpertsよりも有意に優れており, 生成したテキストの外部分類器に基づく感情の精度が高いことを示す。 同時に、実装やチューニングも簡単で、制限や要件も大幅に少なくなります。
  論文  参考訳（メタデータ） (2022-05-15T12:58:35Z)
• Fine-tuning GPT-3 for Russian Text Summarization [77.34726150561087]
  本稿では,テキストを要約するruGPT3(ruGPT3)機能について紹介し,それに対応する人文要約を用いてロシア語ニュースのコーパスを微調整する。 得られたテキストを一連のメトリクスで評価し、アーキテクチャや損失関数に付加的な変更を加えることなく、我々のソリューションが最先端のモデルの性能を上回ることができることを示す。
  論文  参考訳（メタデータ） (2021-08-07T19:01:40Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。