論文の概要: Next Token Perception Score: Analytical Assessment of your LLM Perception Skills

• arxiv url: http://arxiv.org/abs/2505.17169v1
• Date: Thu, 22 May 2025 17:18:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.631326
• Title: Next Token Perception Score: Analytical Assessment of your LLM Perception Skills
• Title（参考訳）: 次のトークン知覚スコア:LLM知覚スキルの分析的評価
• Authors: Yu-Ang Cheng, Leyang Hu, Hai Huang, Randall Balestriero,
• Abstract要約: Next Token Perception Score (NTPS) は、自己回帰的特徴空間と知覚的特徴部分空間の重なりを測定する線形設定の下で導出されるスコアである。 NTPSはローランク適応(LoRA)ファインチューニング後に増加し,特に大規模モデルでは顕著である。 本研究は, 理論的知見と, 知覚能力の分析的評価を行うための実践的ツールの両方を提供する。
• 参考スコア（独自算出の注目度）: 12.093755170926762
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Autoregressive pretraining has become the de facto paradigm for learning general-purpose representations in large language models (LLMs). However, linear probe performance across downstream perception tasks shows substantial variability, suggesting that features optimized for next-token prediction do not consistently transfer well to downstream perception tasks. We demonstrate that representations learned via autoregression capture features that may lie outside the subspaces most informative for perception. To quantify the (mis)alignment between autoregressive pretraining and downstream perception, we introduce the Next Token Perception Score (NTPS)-a score derived under a linear setting that measures the overlap between autoregressive and perception feature subspaces. This metric can be easily computed in closed form from pretrained representations and labeled data, and is proven to both upper- and lower-bound the excess loss. Empirically, we show that NTPS correlates strongly with linear probe accuracy across 12 diverse NLP datasets and eight pretrained models ranging from 270M to 8B parameters, confirming its utility as a measure of alignment. Furthermore, we show that NTPS increases following low-rank adaptation (LoRA) fine-tuning, especially in large models, suggesting that LoRA aligning representations to perception tasks enhances subspace overlap and thus improves downstream performance. More importantly, we find that NTPS reliably predicts the additional accuracy gains attained by LoRA finetuning thereby providing a lightweight prescreening tool for LoRA adaptation. Our results offer both theoretical insights and practical tools for analytically assessing LLM perception skills.
• Abstract（参考訳）: 自己回帰事前学習は、大規模言語モデル(LLM)における汎用表現を学習するデファクトパラダイムとなっている。 しかし、下流認識タスク間の線形プローブ性能はかなりのばらつきを示し、次点予測に最適化された特徴が下流認識タスクに常によく伝達されないことを示唆している。 我々は,認識に最も有用な部分空間の外側に位置する自己回帰キャプチャ機能によって学習された表現を実証する。 自己回帰的事前学習と下流知覚の(ミス)アライメントを定量化するために, 自己回帰的特徴部分空間と知覚的特徴部分空間の重なりを測定する線形条件下で導出されるNext Token Perception Score(NTPS)スコアを導入する。 この計量は、事前訓練された表現とラベル付きデータから容易にクローズドな形で計算することができ、余剰損失の上下の両方で証明される。 実験的に,NTPSは12種類のNLPデータセットと270Mから8Bパラメータの事前学習モデルに対して線形プローブ精度と強く相関し,アライメントの指標としての有用性を確認した。 さらに,ローランク適応(LoRA)の微調整によりNTPSが増加し,特に大規模モデルでは,認識タスクへの表現の整合が部分空間重なりを増し,下流性能が向上することが示唆された。 さらに重要なことは、NTPSがLoRAの微調整によって得られる追加の精度向上を確実に予測し、LoRA適応のための軽量な事前スクリーニングツールを提供することである。 以上の結果から,LLMの知覚能力を解析的に評価するための理論的知見と実践的ツールが得られた。

関連論文リスト

• Scalable Multi-Stage Influence Function for Large Language Models via Eigenvalue-Corrected Kronecker-Factored Parameterization [31.379237532476875]
  事前訓練された大規模言語モデル(LLM)は、一般的に下流タスクに適応するように微調整される。 本稿では,学習前データに対する微調整LDMの属性予測のための多段階影響関数を提案する。
  論文  参考訳（メタデータ） (2025-05-08T07:43:44Z)
• Can Pre-training Indicators Reliably Predict Fine-tuning Outcomes of LLMs? [32.04523360747506]
  本研究では,501BパラメータLLM変種を用いて,系統的な事前学習構成を持つデータセットを構築した。 本稿では,事前学習から得られた新しい教師なしおよび教師なしのプロキシメトリクスを導入し,相対的な性能予測誤差率を50%以上削減する。
  論文  参考訳（メタデータ） (2025-04-16T21:19:09Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• SPOT: Scalable 3D Pre-training via Occupancy Prediction for Learning Transferable 3D Representations [76.45009891152178]
  トレーニング-ファインタニングアプローチは、さまざまな下流データセットとタスクをまたいだトレーニング済みのバックボーンを微調整することで、ラベル付けの負担を軽減することができる。 本稿では, 一般表現学習が, 占領予測のタスクを通じて達成できることを, 初めて示す。 本研究は,LiDAR 点の理解を促進するとともに,LiDAR の事前訓練における今後の進歩の道を開くことを目的とする。
  論文  参考訳（メタデータ） (2023-09-19T11:13:01Z)
• Uncovering the Hidden Cost of Model Compression [43.62624133952414]
  視覚プロンプティングは、コンピュータビジョンにおける伝達学習の重要な方法として登場した。 モデル圧縮は視覚的プロンプトベース転送の性能に有害である。 しかし、量子化によってモデルが圧縮されるとき、キャリブレーションに対する負の効果は存在しない。
  論文  参考訳（メタデータ） (2023-08-29T01:47:49Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• PEP: Parameter Ensembling by Perturbation [13.221295194854642]
  摂動(PEP)は、トレーニングから設定された最適パラメータのランダム摂動としてパラメータ値のアンサンブルを構成する。 PEPは性能を少し改善し、場合によっては経験的キャリブレーションを大幅に改善する。 PEPは、トレーニング中に発生したオーバーフィッティングのレベルを調査するために使用することができる。
  論文  参考訳（メタデータ） (2020-10-24T00:16:03Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。