論文の概要: Information Gravity: A Field-Theoretic Model for Token Selection in Large Language Models
- arxiv url: http://arxiv.org/abs/2504.20951v1
- Date: Tue, 29 Apr 2025 17:21:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:55.013034
- Title: Information Gravity: A Field-Theoretic Model for Token Selection in Large Language Models
- Title（参考訳）: 情報重力:大規模言語モデルにおけるトークン選択のためのフィールド理論モデル
- Authors: Maryna Vyshnyvetska,
- Abstract要約: 大規模言語モデル(LLM)におけるテキスト生成過程を記述するための「情報重力」と呼ばれる理論モデルを提案する。
クエリは、モデルのセマンティック空間を湾曲する"情報質量"を持つオブジェクトと見なされ、生成中にトークンを引き出す"重力ポテンシャル井戸を生成する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We propose a theoretical model called "information gravity" to describe the text generation process in large language models (LLMs). The model uses physical apparatus from field theory and spacetime geometry to formalize the interaction between user queries and the probability distribution of generated tokens. A query is viewed as an object with "information mass" that curves the semantic space of the model, creating gravitational potential wells that "attract" tokens during generation. This model offers a mechanism to explain several observed phenomena in LLM behavior, including hallucinations (emerging from low-density semantic voids), sensitivity to query formulation (due to semantic field curvature changes), and the influence of sampling temperature on output diversity.
- Abstract（参考訳）: 本研究では,大規模言語モデル(LLM)におけるテキスト生成過程を記述するため,情報重力と呼ばれる理論モデルを提案する。
このモデルは、フィールド理論と時空幾何学の物理装置を用いて、ユーザクエリと生成されたトークンの確率分布の間の相互作用を形式化する。
クエリは、モデルのセマンティック空間を湾曲する"情報質量"を持つオブジェクトと見なされ、生成中にトークンを引き出す"重力ポテンシャル井戸を生成する。
このモデルは、幻覚(低密度セマンティックヴォイドから生じる)、クエリの定式化に対する感度(セマンティックフィールドの曲率の変化による)、サンプリング温度が出力の多様性に与える影響など、LCMの挙動におけるいくつかの観察された現象を説明するメカニズムを提供する。
関連論文リスト
- Universal New Physics Latent Space [0.0]
我々は、標準モデルプロセスと標準モデル以外の様々な理論から派生したデータを統一表現(ラテント)空間にマッピングする機械学習手法を開発した。
本手法は, LHCにおける新しい物理の3つの例に適用し, LHCの表現法に従ってモデルがクラスタ化可能であることを示す。
論文 参考訳（メタデータ） (2024-07-29T18:00:00Z) - Diffusion-HMC: Parameter Inference with Diffusion-model-driven Hamiltonian Monte Carlo [2.048226951354646]
この研究は、1つの拡散生成モデルを用いて、観測された天体物理学分野の予測を生成し、観測から物理的モデルを制約する、相互に繋がった目的に対処する。
拡散生成モデルの近似的近似性を利用して、ハミルトニアンモンテカルロ法を用いて、与えられたテスト画像の宇宙論的パラメータの後方をサンプリングすることで、宇宙論の厳密な制約を導出する。
論文 参考訳（メタデータ） (2024-05-08T17:59:03Z) - Synthetic location trajectory generation using categorical diffusion
models [50.809683239937584]
拡散モデル(DPM)は急速に進化し、合成データのシミュレーションにおける主要な生成モデルの一つとなっている。
本稿では,個人が訪れた物理的位置を表す変数列である合成個別位置軌跡(ILT)の生成にDPMを用いることを提案する。
論文 参考訳（メタデータ） (2024-02-19T15:57:39Z) - Discovering Interpretable Physical Models using Symbolic Regression and
Discrete Exterior Calculus [55.2480439325792]
本稿では,記号回帰(SR)と離散指数計算(DEC)を組み合わせて物理モデルの自動発見を行うフレームワークを提案する。
DECは、SRの物理問題への最先端の応用を越えている、場の理論の離散的な類似に対して、ビルディングブロックを提供する。
実験データから連続体物理の3つのモデルを再発見し,本手法の有効性を実証する。
論文 参考訳（メタデータ） (2023-10-10T13:23:05Z) - Explainability for Large Language Models: A Survey [59.67574757137078]
大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。
本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
論文 参考訳（メタデータ） (2023-09-02T22:14:26Z) - Materials Informatics Transformer: A Language Model for Interpretable
Materials Properties Prediction [6.349503549199403]
本稿では,材料特性予測のための材料情報変換器(MatInFormer)について紹介する。
具体的には、関連する空間群情報のトークン化を通じて結晶学の文法を学習する新しいアプローチを提案する。
論文 参考訳（メタデータ） (2023-08-30T18:34:55Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - Disentangling Shape and Pose for Object-Centric Deep Active Inference
Models [4.298360054690217]
本稿では,3次元オブジェクト表現の問題点を考察し,ShapeNetデータセットの異なるインスタンスに着目した。
深層ニューラルネットワークを用いて各因子の表現を学習しながら,対象の形状,ポーズ,カテゴリを分解するモデルを提案する。
論文 参考訳（メタデータ） (2022-09-16T12:53:49Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳（メタデータ） (2022-02-21T18:32:24Z) - Learning to discover: expressive Gaussian mixture models for
multi-dimensional simulation and parameter inference in the physical sciences [0.0]
複数の観測可能量を記述する密度モデルは, 自己回帰型ガウス混合モデルを用いて生成できることを示す。
このモデルは、観測可能なスペクトルが仮説の変化によってどのように変形するかを捉えるように設計されている。
実験観測の解釈における科学的発見の統計モデルとして用いられることもある。
論文 参考訳（メタデータ） (2021-08-25T21:27:29Z) - Model-agnostic multi-objective approach for the evolutionary discovery
of mathematical models [55.41644538483948]
現代のデータ科学では、どの部分がより良い結果を得るために置き換えられるかというモデルの性質を理解することがより興味深い。
合成データ駆動型モデル学習において,多目的進化最適化を用いてアルゴリズムの所望特性を求める。
論文 参考訳（メタデータ） (2021-07-07T11:17:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。