論文の概要: On the Predictive Power of Representation Dispersion in Language Models

• arxiv url: http://arxiv.org/abs/2506.24106v1
• Date: Mon, 30 Jun 2025 17:53:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:54.183616
• Title: On the Predictive Power of Representation Dispersion in Language Models
• Title（参考訳）: 言語モデルにおける表現分散の予測力について
• Authors: Yanhong Li, Ming Li, Karen Livescu, Jiawei Zhou,
• Abstract要約: 文脈表現をより広く広めるモデルは、より難易度を低くする傾向にあることを示す。 本稿では,ラベル付きデータを必要とせずに,分散の活用方法を示す。
• 参考スコア（独自算出の注目度）: 27.85164935773766
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We show that a language model's ability to predict text is tightly linked to the breadth of its embedding space: models that spread their contextual representations more widely tend to achieve lower perplexity. Concretely, we find that representation dispersion - the average pairwise cosine distance among hidden vectors - strongly and negatively correlates with perplexity across diverse model families (LLaMA, Qwen, and others) and domains (Wikipedia, news, scientific abstracts). Beyond illustrating this link, we show how dispersion can be leveraged for a range of practical tasks without requiring labeled data. First, measuring dispersion on unlabeled text allows us to predict downstream accuracy in new domains, offering a data-efficient tool for model selection. Next, we find that identifying layers with higher dispersion pinpoints the best representations for retrieval-based methods such as kNN-LM, bypassing exhaustive layer-by-layer searches. Finally, we integrate a simple push-away objective into training, which increases dispersion in both single-domain and cross-domain scenarios and directly improves perplexity in each.
• Abstract（参考訳）: 言語モデルがテキストを予測する能力は,その埋め込み空間の広さに強く結びついていることを示し,文脈表現をより広く広めるモデルは,より難易度を低くする傾向にあることを示した。 具体的には、隠れベクトル間の平均的な対の余弦距離である表現分散が、多種多様なモデルファミリー(LLaMA、Qwenなど)とドメイン(Wikipedia、ニュース、科学的な抽象概念)に強く負の相関関係があることを見出した。 このリンクの他に、ラベル付きデータを必要とせずに、分散が様々な実用的なタスクにどのように活用できるかを示す。 まず、ラベルのないテキスト上で分散を測定することで、新しいドメインの下流の精度を予測し、モデル選択のためのデータ効率ツールを提供する。 次に, 分散ピンポイントの高い層を識別することは, kNN-LM などの検索手法において, 徹底的な層別探索を回避し, 最適表現であることを示す。 最後に、単ドメインとクロスドメインの両方のシナリオにおける分散を増大させ、それぞれのパープレキシティを直接改善する、単純なプッシュアウト目標をトレーニングに統合する。

関連論文リスト

• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Diffusion Features to Bridge Domain Gap for Semantic Segmentation [2.8616666231199424]
  本稿では, 拡散モデルの特徴を効率的に活用するために, サンプリングおよび融合技術を活用するアプローチについて検討する。 テキスト・画像生成能力の強みを生かして、暗黙的に後部知識を学習する新しいトレーニングフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-06-02T15:33:46Z)
• Amortizing intractable inference in diffusion models for vision, language, and control [89.65631572949702]
  本稿では,p(mathbfx)$以前の拡散生成モデルとブラックボックス制約,あるいは関数$r(mathbfx)$からなるモデルにおいて,データ上の後部サンプルである $mathbfxsim prm post(mathbfx)propto p(mathbfx)r(mathbfx)$について検討する。 我々は,データフリー学習目標である相対軌道バランスの正しさを,サンプルから抽出した拡散モデルの訓練のために証明する。
  論文  参考訳（メタデータ） (2024-05-31T16:18:46Z)
• Deep Generative Sampling in the Dual Divergence Space: A Data-efficient & Interpretative Approach for Generative AI [29.13807697733638]
  自然画像の生成的サンプリングにおける顕著な成果の上に構築する。 我々は、画像に似たサンプルを生成するという、画期的な挑戦を、潜在的に過度に野心的に提案する。 統計上の課題は、小さなサンプルサイズであり、時には数百人の被験者で構成されている。
  論文  参考訳（メタデータ） (2024-04-10T22:35:06Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Prompting Diffusion Representations for Cross-Domain Semantic Segmentation [101.04326113360342]
  拡散事前学習は、セマンティックセグメンテーションのための並外れた領域一般化結果を達成する。 本研究では,シーンプロンプトとプロンプトランダム化戦略を導入し,セグメンテーションヘッドを訓練する際に,ドメイン不変情報をさらに混乱させる。
  論文  参考訳（メタデータ） (2023-07-05T09:28:25Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Learning Invariant Representations and Risks for Semi-supervised Domain Adaptation [109.73983088432364]
  半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。 共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2020-10-09T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。