論文の概要: The Magnitude of Categories of Texts Enriched by Language Models
- arxiv url: http://arxiv.org/abs/2501.06662v1
- Date: Sat, 11 Jan 2025 23:28:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-14 14:23:23.841398
- Title: The Magnitude of Categories of Texts Enriched by Language Models
- Title（参考訳）: 言語モデルによるテキストのカテゴリのマグニチュード
- Authors: Tai-Danae Bradley, Juan Pablo Vigneaux,
- Abstract要約: 我々は、自然言語におけるテキストのカテゴリの$[0,1]$-enrichmentを定義するために、言語モデルが与える次の確率を使います。
我々は、M"obius関数と、関連する一般化空間$mathcalM$のテキストの大きさを計算する。
- 参考スコア（独自算出の注目度）: 1.8416014644193064
- License:
- Abstract: The purpose of this article is twofold. Firstly, we use the next-token probabilities given by a language model to explicitly define a $[0,1]$-enrichment of a category of texts in natural language, in the sense of Bradley, Terilla, and Vlassopoulos. We consider explicitly the terminating conditions for text generation and determine when the enrichment itself can be interpreted as a probability over texts. Secondly, we compute the M\"obius function and the magnitude of an associated generalized metric space $\mathcal{M}$ of texts using a combinatorial version of these quantities recently introduced by Vigneaux. The magnitude function $f(t)$ of $\mathcal{M}$ is a sum over texts $x$ (prompts) of the Tsallis $t$-entropies of the next-token probability distributions $p(-|x)$ plus the cardinality of the model's possible outputs. The derivative of $f$ at $t=1$ recovers a sum of Shannon entropies, which justifies seeing magnitude as a partition function. Following Leinster and Schulman, we also express the magnitude function of $\mathcal M$ as an Euler characteristic of magnitude homology and provide an explicit description of the zeroeth and first magnitude homology groups.
- Abstract（参考訳）: この記事の目的は2つある。
まず、言語モデルが与える次の確率を使って、Bradley, Terilla, Vlassopoulosの意味で、自然言語におけるテキストのカテゴリの$[0,1]$-enrichmentを明示的に定義します。
我々は、テキスト生成の終了条件を明示的に検討し、エンリッチメント自体がテキストよりも確率として解釈できるかどうかを判断する。
第二に、Vigneauxによって最近導入されたこれらの量の組合せ版を用いて、M\"obius関数と関連する一般化計量空間 $\mathcal{M}$ のテキストの大きさを計算する。
等級関数 $f(t)$ of $\mathcal{M}$ は次の確率分布 $p(-|x)$ の Tsallis $t$-エントロピーのテキスト $x$ (prompts) 上の和である。
$f$ at $t=1$ の微分はシャノンエントロピーの和を回復し、これは分割関数として見る大きさを正当化する。
ラインスターとシュルマンに続いて、等級ホモロジーのオイラー特性として$\mathcal M$の等級関数も表現し、零点と第一等級ホモロジー群の明示的な記述を与える。
関連論文リスト
- Federated UCBVI: Communication-Efficient Federated Regret Minimization with Heterogeneous Agents [13.391318494060975]
We present the Federated upper Confidence bound Value Iteration algorithm (textttFed-UCBVI$)
textttFed-UCBVI$ の後悔は $tildemathcalO(sqrtH3 |mathcalS| |mathcalA| T / M)$ としてスケールすることを証明する。
既存の強化学習アプローチとは異なり、$textttFed-UCBVI$の通信複雑性は、その数によってわずかに増加する。
論文 参考訳（メタデータ） (2024-10-30T11:05:50Z) - Monge-Kantorovich Fitting With Sobolev Budgets [6.748324975906262]
近似の性能をMonge-Kantorovich $p$-costで定量化する。
次に、ソボレフ予算の制約の下で、機能的$mathscrJ_p(f)$を最小化するものとして問題を再構築する。
論文 参考訳（メタデータ） (2024-09-25T01:30:16Z) - Fast Rates for Bandit PAC Multiclass Classification [73.17969992976501]
我々は,帯域幅フィードバックを用いたマルチクラスPAC学習について検討し,入力を$K$ラベルの1つに分類し,予測されたラベルが正しいか否かに制限する。
我々の主な貢献は、問題の無知な$(varepsilon,delta)$PACバージョンのための新しい学習アルゴリズムを設計することである。
論文 参考訳（メタデータ） (2024-06-18T08:54:04Z) - A Theory of Interpretable Approximations [61.90216959710842]
我々は、ある基底クラス $mathcalH$ の概念の小さな集合によってターゲット概念 $c$ を近似するという考え方を研究する。
任意の$mathcalH$と$c$のペアに対して、これらのケースのちょうど1つが成り立つ: (i) $c$を任意の精度で$mathcalH$で近似することはできない。
解釈可能な近似の場合、近似の複雑さに関するわずかに非自明なa-priori保証でさえ、定数(分布自由かつ精度)の近似を意味することを示す。
論文 参考訳（メタデータ） (2024-06-15T06:43:45Z) - Transformer In-Context Learning for Categorical Data [51.23121284812406]
我々は、分類結果、非線形基礎モデル、非線形注意を考慮し、文脈内学習のレンズを通してトランスフォーマーを理解する研究を機能データで拡張する。
我々は、ImageNetデータセットを用いて、この数発の学習方法論の最初の実世界の実演であると考えられるものを提示する。
論文 参考訳（メタデータ） (2024-05-27T15:03:21Z) - Directed Metric Structures arising in Large Language Models [0.0]
テキスト拡張の条件付き確率分布によって定義される数学的構造を求める。
確率から-log確率へ視点を変えることで、サブテキストの順序がメートル法構造に完全にエンコードされていることが分かる。
論文 参考訳（メタデータ） (2024-05-20T17:16:27Z) - A Unified Framework for Uniform Signal Recovery in Nonlinear Generative
Compressed Sensing [68.80803866919123]
非線形測定では、ほとんどの先行結果は一様ではない、すなわち、すべての$mathbfx*$に対してではなく、固定された$mathbfx*$に対して高い確率で保持される。
本フレームワークはGCSに1ビット/一様量子化観測と単一インデックスモデルを標準例として適用する。
また、指標集合が計量エントロピーが低い製品プロセスに対して、より厳密な境界を生み出す濃度不等式も開発する。
論文 参考訳（メタデータ） (2023-09-25T17:54:19Z) - Statistical Learning under Heterogeneous Distribution Shift [71.8393170225794]
ground-truth predictor is additive $mathbbE[mathbfz mid mathbfx,mathbfy] = f_star(mathbfx) +g_star(mathbfy)$.
論文 参考訳（メタデータ） (2023-02-27T16:34:21Z) - On the Sample Complexity of Two-Layer Networks: Lipschitz vs.
Element-Wise Lipschitz Activation [20.70453775428433]
本研究では,異なるアクティベーション関数を用いた有界二層ニューラルネットワークのサンプル複雑性について検討する。
我々は、$sigma$ が要素ワイドであれば、$mathcalH$ のサンプルの複雑さは、幅の対数依存しか持たないことを証明する。
論文 参考訳（メタデータ） (2022-11-17T16:27:15Z) - On the Multidimensional Random Subset Sum Problem [0.9007371440329465]
確率変数 $X_1, ..., X_n$ が与えられたランダム部分集合 Sum 問題では、任意の点 $z in [-1,1]$ を部分集合 $X_i_1(z), ..., X_i_s(z)$ の和として近似したい。
我々は、$d$次元において、$n = O(d3log frac 1varepsilon cdot
論文 参考訳（メタデータ） (2022-07-28T08:10:43Z) - On Submodular Contextual Bandits [92.45432756301231]
作用が基底集合の部分集合であり、平均報酬が未知の単調部分モジュラ函数によってモデル化されるような文脈的包帯の問題を考える。
Inverse Gap Weighting 戦略により,提案アルゴリズムは推定関数の局所的最適度を効率よくランダム化することを示す。
論文 参考訳（メタデータ） (2021-12-03T21:42:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。