論文の概要: Measuring and Analyzing Intelligence via Contextual Uncertainty in Large Language Models using Information-Theoretic Metrics
- arxiv url: http://arxiv.org/abs/2507.21129v1
- Date: Mon, 21 Jul 2025 20:14:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-30 17:08:54.963186
- Title: Measuring and Analyzing Intelligence via Contextual Uncertainty in Large Language Models using Information-Theoretic Metrics
- Title（参考訳）: 情報理論メトリクスを用いた大規模言語モデルにおける文脈不確かさによるインテリジェンスの測定と解析
- Authors: Jae Wan Shim,
- Abstract要約: 任意のモデルに対して「定量的認知プロファイル」を作成することにより、ダイナミックスを探索する新しいタスク非依存のアプローチを導入する。
この方法論を多種多様なテキストにわたる最先端のLCMに適用することにより、モデルスケールとテキストの複雑さの両方に敏感な、ユニークで一貫した認知プロファイルを明らかにする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The remarkable capabilities of Large Language Models (LLMs) are now extensively documented on task-specific benchmarks, yet the internal mechanisms that produce these results are the subject of intense scientific inquiry. This paper contributes to this inquiry by moving beyond metrics that measure \textit{what} models can do, to a methodology that characterizes \textit{how} they process information. We introduce a novel, task-agnostic approach to probe these dynamics by creating a quantitative ``Cognitive Profile" for any given model. This profile is centered on the \textbf{Entropy Decay Curve}, a visualization that traces how a model's normalized predictive uncertainty changes as a function of context length. Applying this methodology to several state-of-the-art LLMs across diverse texts, we uncover unique and consistent cognitive profiles that are sensitive to both model scale and text complexity. We also introduce the Information Gain Span (IGS) index to summarize the desirability of the decay trajectory. This work thus provides a new, principled lens for analyzing and comparing the intrinsic operational dynamics of artificial intelligence.
- Abstract（参考訳）: 大規模言語モデル(LLM)の顕著な機能は現在、タスク固有のベンチマークで広く文書化されているが、これらの結果を生成する内部メカニズムは、激しい科学的調査の対象となっている。
本稿では,<textit{what} モデルができることを測定する指標から,情報を処理している \textit{how} を特徴付ける方法論に移行することで,この調査に寄与する。
与えられたモデルに対して定量的な「認知プロファイル」を作成することによって、これらのダイナミクスを探索するための、新しいタスクに依存しないアプローチを導入する。
このプロファイルは、コンテキスト長の関数としてモデルの正規化予測の不確実性がどのように変化するかをトレースする視覚化である、textbf{Entropy Decay Curve}を中心にしている。
この方法論を多種多様なテキストにわたる最先端のLCMに適用することにより、モデルスケールとテキストの複雑さの両方に敏感な、ユニークで一貫した認知プロファイルを明らかにする。
また、情報ゲイン・スパン(IGS)指標を導入し、崩壊軌道の望ましさを要約する。
この研究は、人工知能の本質的な動作力学を分析し比較するための、新しい原則付きレンズを提供する。
関連論文リスト
- Unified Explanations in Machine Learning Models: A Perturbation Approach [0.0]
XAIとモデリング技術の不整合は、これらの説明可能性アプローチの有効性に疑念を投げかけるという望ましくない効果をもたらす可能性がある。
我々はXAI, SHapley Additive exPlanations (Shap) において, 一般的なモデルに依存しない手法に対する系統的摂動解析を提案する。
我々は、一般的な機械学習とディープラーニングの手法のスイートと、静的ケースホールドで生成された説明の正確さを定量化するためのメトリクスの中で、動的推論の設定において、相対的な特徴重要度を生成するアルゴリズムを考案した。
論文 参考訳（メタデータ） (2024-05-30T16:04:35Z) - Corpus Considerations for Annotator Modeling and Scaling [9.263562546969695]
一般的に使われているユーザトークンモデルは、より複雑なモデルよりも一貫して優れています。
以上の結果から,コーパス統計とアノテータモデリング性能の関係が明らかになった。
論文 参考訳（メタデータ） (2024-04-02T22:27:24Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳（メタデータ） (2024-02-28T04:56:21Z) - Seeking Neural Nuggets: Knowledge Transfer in Large Language Models from a Parametric Perspective [106.92016199403042]
パラメトリック・パースペクティブを用いて,大規模モデルから小規模モデルへの知識伝達を実証的に検討する。
感性に基づく手法を用いて、異なる大言語モデル間で知識固有のパラメータを抽出・調整する。
本研究は,パラメトリックな知識伝達の過程に寄与する重要な要因を明らかにする。
論文 参考訳（メタデータ） (2023-10-17T17:58:34Z) - Sparse Graphical Linear Dynamical Systems [1.6635799895254402]
時系列データセットは機械学習の中心であり、科学と工学の様々な分野に応用されている。
本研究は,共同グラフィカル・モデリング・フレームワークを導入することでギャップを埋める新しい手法を提案する。
本稿では,DGLASSOを提案する。DGLASSO,DGLASSO,DGLASSO,DGLASSO,DGLASSO,DGLASSO,DGLASSO,DGLASSO,DGLASSO,DGLASSO。
論文 参考訳（メタデータ） (2023-07-06T14:10:02Z) - A Mechanistic Interpretation of Arithmetic Reasoning in Language Models
using Causal Mediation Analysis [128.0532113800092]
算数問題に対するトランスフォーマーに基づくLMの機械的解釈を提案する。
これにより、算術に関連する情報がLMによってどのように処理されるかについての洞察が得られる。
論文 参考訳（メタデータ） (2023-05-24T11:43:47Z) - Advanced Conditional Variational Autoencoders (A-CVAE): Towards
interpreting open-domain conversation generation via disentangling latent
feature representation [15.742077523458995]
本稿では,メソスコピックスケールの特徴的絡み合いを伴う認知的アプローチを通じて,先行知識による生成モデルを活用することを提案する。
本稿では,潜在空間分布の解釈可能性を客観的に評価できるオープンドメイン対話のための新しい指標を提案する。
論文 参考訳（メタデータ） (2022-07-26T07:39:36Z) - Information-Theoretic Odometry Learning [83.36195426897768]
生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。
提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
論文 参考訳（メタデータ） (2022-03-11T02:37:35Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - Layer-wise Analysis of a Self-supervised Speech Representation Model [26.727775920272205]
自己教師付き学習アプローチは、音声表現モデルの事前学習に成功している。
事前訓練された表現そのものに符号化された情報のタイプや範囲についてはあまり研究されていない。
論文 参考訳（メタデータ） (2021-07-10T02:13:25Z) - Meta-learning using privileged information for dynamics [66.32254395574994]
Neural ODE Processモデルを拡張して、Learning Using Privileged Information設定内の追加情報を使用します。
シミュレーション動的タスクの精度とキャリブレーションを向上した実験により拡張性を検証する。
論文 参考訳（メタデータ） (2021-04-29T12:18:02Z) - Understanding the Mechanics of SPIGOT: Surrogate Gradients for Latent
Structure Learning [20.506232306308977]
潜在構造モデルは、言語データをモデリングするための強力なツールである。
これらのモデルのエンドツーエンドトレーニングの課題の1つは、ヌル勾配を持つargmax演算である。
下流学習目標を引き上げる角度から潜在構造学習を探索する。
論文 参考訳（メタデータ） (2020-10-05T21:56:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。