論文の概要: Language Model Maps for Prompt-Response Distributions via Log-Likelihood Vectors

• arxiv url: http://arxiv.org/abs/2603.18593v1
• Date: Thu, 19 Mar 2026 08:02:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.020105
• Title: Language Model Maps for Prompt-Response Distributions via Log-Likelihood Vectors
• Title（参考訳）: 対数様ベクトルによるプロンプト応答分布の言語モデルマップ
• Authors: Yusuke Takase, Momose Oyama, Hidetoshi Shimodaira,
• Abstract要約: 本稿では,プロンプト応答対上での対数類似ベクトルによる言語モデル表現法を提案し,条件分布を比較するためのモデルマップを構築した。 公開言語モデルの大規模なコレクションの実験は、地図が意味のあるグローバル構造を捉えていることを示している。 このフレームワークは入力依存モデル行動の分析をサポートする。
• 参考スコア（独自算出の注目度）: 7.455546102930913
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a method that represents language models by log-likelihood vectors over prompt-response pairs and constructs model maps for comparing their conditional distributions. In this space, distances between models approximate the KL divergence between the corresponding conditional distributions. Experiments on a large collection of publicly available language models show that the maps capture meaningful global structure, including relationships to model attributes and task performance. The method also captures systematic shifts induced by prompt modifications and their approximate additive compositionality, suggesting a way to analyze and predict the effects of composite prompt operations. We further introduce pointwise mutual information (PMI) vectors to reduce the influence of unconditional distributions; in some cases, PMI-based model maps better reflect training-data-related differences. Overall, the framework supports the analysis of input-dependent model behavior.
• Abstract（参考訳）: 本稿では,対数型ベクトルによる言語モデルを表現する手法を提案し,その条件分布を比較するためのモデルマップを構築した。 この空間では、モデル間の距離は対応する条件分布間のKL分散を近似する。 公開言語モデルの大規模なコレクションの実験では、地図が意味のあるグローバル構造を捉えており、モデル属性とタスクパフォーマンスとの関係が示されている。 この手法はまた、迅速な修正と近似的な付加的な構成性によって誘導される系統的な変化を捉え、複合的なプロンプト操作の効果を分析し予測する方法を提案する。 さらに、無条件分布の影響を低減するために、PMIベクトルを導入し、PMIベースのモデルマップは、トレーニングデータ関連の違いをよりよく反映する。 全体として、このフレームワークは入力依存モデル行動の分析をサポートする。

関連論文リスト

• Community Detection on Model Explanation Graphs for Explainable AI [0.0]
  モジュール・オブ・インフルエンス(MoI)は、インスタンスごとの属性からモデル説明グラフを構築する。 MoIはコミュニティ検出を適用して、予測に共同で影響を与える機能モジュールを見つけ、これらのモジュールがバイアス、冗長性、因果パターンにどのように関係しているかを定量化する。 我々は,モジュール発見をXAIでベンチマークするために,安定性と相乗効果の指標,参照実装,評価プロトコルをリリースする。
  論文  参考訳（メタデータ） (2025-10-31T17:27:56Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Model Correlation Detection via Random Selection Probing [62.093777777813756]
  既存の類似性に基づく手法では、モデルパラメータにアクセスしたり、しきい値なしでスコアを生成する必要がある。 本稿では,モデル相関検出を統計的テストとして定式化する仮説テストフレームワークであるランダム選択探索(RSP)を紹介する。 RSPは相関の証拠を定量化する厳密なp-値を生成する。
  論文  参考訳（メタデータ） (2025-09-29T01:40:26Z)
• MAP: Low-compute Model Merging with Amortized Pareto Fronts via Quadratic Approximation [80.47072100963017]
  Amortized Pareto Front (MAP) を用いた新しい低演算アルゴリズム Model Merging を導入する。 MAPは、複数のモデルをマージするためのスケーリング係数のセットを効率的に識別し、関連するトレードオフを反映する。 また,タスク数が比較的少ないシナリオではベイジアンMAP,タスク数の多い状況ではNested MAPを導入し,計算コストを削減した。
  論文  参考訳（メタデータ） (2024-06-11T17:55:25Z)
• Hierarchical Latent Structure for Multi-Modal Vehicle Trajectory Forecasting [0.0]
  VAEに基づく軌道予測モデルに階層的潜在構造を導入する。 本モデルでは,複数モーダルな軌道分布を明瞭に生成し,予測精度で最先端(SOTA)モデルより優れる。
  論文  参考訳（メタデータ） (2022-07-11T04:52:28Z)
• IMACS: Image Model Attribution Comparison Summaries [16.80986701058596]
  我々は,勾配に基づくモデル属性とアグリゲーションと可視化技術を組み合わせたIMACSを提案する。 IMACSは評価データセットから適切な入力特徴を抽出し、類似性に基づいてクラスタ化し、類似した入力特徴に対するモデル属性の違いを可視化する。 本稿では,衛星画像上で訓練した2つのモデル間の領域シフトによる行動差を明らかにする方法を示す。
  論文  参考訳（メタデータ） (2022-01-26T21:35:14Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Variational Filtering with Copula Models for SLAM [5.242618356321224]
  より広い分布のクラスと同時局所化とマッピング(SLAM)を同時に行うことができるかを示す。 分布モデルとコプラを逐次モンテカルロ推定器に統合し、勾配に基づく最適化によって未知のモデルパラメータがいかに学習できるかを示す。
  論文  参考訳（メタデータ） (2020-08-02T15:38:23Z)
• Out-of-distribution Generalization via Partial Feature Decorrelation [72.96261704851683]
  本稿では,特徴分解ネットワークと対象画像分類モデルとを協調的に最適化する,PFDL(Partial Feature Deorrelation Learning)アルゴリズムを提案する。 実世界のデータセットを用いた実験により,OOD画像分類データセットにおけるバックボーンモデルの精度が向上することを示した。
  論文  参考訳（メタデータ） (2020-07-30T05:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。