論文の概要: Fine-Tuning Improves Information Conveyance in Language Models
- arxiv url: http://arxiv.org/abs/2605.30844v1
- Date: Fri, 29 May 2026 05:05:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-01 20:56:50.395442
- Title: Fine-Tuning Improves Information Conveyance in Language Models
- Title（参考訳）: Fine-Tuningは言語モデルにおける情報移動を改善する
- Abstract要約: 木の観点から言語生成を眺める尺度であるCanopy Entropy(mathrmCEstar$)を提案する。
$mathrmCEstar$は出力長$N$と生成されたシーケンス$Y_1:N$の両方の不確実性をキャプチャする。
微調整はエントロピー率と意味的多様性の相関性をほぼ3倍に向上させることがわかった。
- 参考スコア（独自算出の注目度）: 34.13231597052981
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning is often believed to reduce uncertainty and diversity in large language models, but existing analyses overlook output length, a key confounder, and therefore fail to capture how uncertainty is distributed across an entire generation rollout. To address this, we propose Canopy Entropy ($\mathrm{CE}^\star$), a measure that views language generation from a tree perspective, where ``canopy'' represents the space of all possible rollouts, making $\mathrm{CE}^\star$ naturally quantify the effective size of the generation space. $\mathrm{CE}^\star$ jointly captures uncertainty in both the output length $N$ and the generated sequence $Y_{1:N}$ -- indeed, we show that it equals to total Shannon entropy $H(N, Y_{1:N}\mid X)$, where $X$ denotes the prompt. This formulation yields interpretable metrics, including a length-entropy correlation term $ρ(N, r_N)$, where $r_N$ is the entropy rate, quantifying information conveyance efficiency by indicating whether longer outputs are more or less informative per token. Empirically, across tasks and model families, we find that fine-tuned models consistently exhibit stronger positive correlation $ρ(N, r_N)$, even when total entropy decreases. Furthermore, after controlling for model family, task, prompt, and output-length effects, we find that fine-tuning nearly triples the correlation strength between entropy rate and semantic diversity, suggesting that aligned models convert token uncertainty into semantic diversity more efficiently. Overall, these results demonstrate that fine-tuning does not simply reduce uncertainty, but fundamentally reorganizes it into more informative and semantically meaningful generations. Our code is available at https://github.com/WeiyiTian/canopy-entropy.
- Abstract（参考訳）: ファインチューニングは、大きな言語モデルにおける不確実性と多様性を減少させると考えられているが、既存の分析では、主要な共同創設者である出力長を見落としているため、世代全体のロールアウトで不確実性がどのように分散しているかを把握できない。
これを解決するために、木の観点から言語生成を眺める尺度であるCanopy Entropy($\mathrm{CE}^\star$)を提案し、そこで '`canopy'' はすべての可能なロールアウトの空間を表し、$\mathrm{CE}^\star$ は生成空間の有効サイズを自然に定量化する。
$\mathrm{CE}^\star$ は出力長 $N$ と生成シーケンス $Y_{1:N}$ の両方の不確かさを共同でキャプチャするが、実際、Shannon entropy $H(N, Y_{1:N}\mid X)$ と等しいことを示す。
この定式化は、長エントロピー相関項である$ρ(N, r_N)$を含む解釈可能なメトリクスを生成する。
経験的に、タスクやモデル族全体にわたって、細調整されたモデルは、全エントロピーが減少しても、強い正の相関が$ρ(N, r_N)$を示す。
さらに, モデルファミリ, タスク, プロンプト, アウトプット長の影響を制御した結果, 微調整によってエントロピー率とセマンティック多様性の相関強度が3倍近くなり, 整列モデルによりトークンの不確かさをより効率的に意味多様性に変換することが示唆された。
これらの結果は、微調整が不確実性を減少させるだけでなく、より情報的で意味のある世代に根本的に再編成することを示している。
私たちのコードはhttps://github.com/WeiyiTian/canopy-entropy.comで公開されています。
関連論文リスト
- Scaling limit of the Random Language Model [0.0]
我々は、文脈自由文法のアンサンブルであるランダム言語モデル(RLM)の理論を開発する。
その結果, RLM の凝縮遷移は臨界値$x_c=1/8$ で表され, 規則の使用法は集中し, 言語統計学はコーパス長に非自明な依存度を得ることがわかった。
これらの体制全体において、異なる規則、エントロピーおよび関連する可観測物の数に対する明示的なスケーリング法則を導出する。
論文 参考訳（メタデータ） (2026-06-26T14:00:30Z) - Unregularized Linear Convergence in Zero-Sum Game from Preference Feedback [50.89125374999765]
NLHFにおける最適乗算重み更新(mathtOMWU$)に対する最初の収束保証を提供する。
本分析では, 稀に発生する行動の確率が指数関数的に小さい値から指数関数的に増大する新たな限界収束挙動を同定する。
論文 参考訳（メタデータ） (2025-12-31T12:08:29Z) - Architecture-Aware Generalization Bounds for Temporal Networks: Theory and Fair Comparison Methodology [8.006116553957659]
深部時間モデルに対する非空でないアーキテクチャを意識した最初の一般化境界を提供する。
指数関数的に$beta$-mixing列の場合、$O!Bigl(R,sqrttfracD,p,n,log NNBigr)、$D$はネットワーク深さ、$p$カーネルサイズ、$n$入力次元、$R$ウェイトノルムとなる。
我々の遅延フィードバックブロッキング機構は、O(1/log N)のみを捨てながら、依存するサンプルを事実上独立したものに変換する
論文 参考訳（メタデータ） (2025-08-08T06:57:49Z) - Coupled Entropy: A Goldilocks Generalization for Complex Systems [2.1756081703276]
Tsallisエントロピーは、textitq独立で同じ分散ランダム変数が同じ状態を共有するパワー確率$p_iq$を考えることから生まれた。
残念ながら、$q$-exponentialパラメータは、形とスケールの有効な代用として扱われた。
この欠陥は一般化温度の誤解釈と一般化エントロピーの不正確な導出を引き起こす。
論文 参考訳（メタデータ） (2025-05-17T19:00:25Z) - A Statistical Analysis for Supervised Deep Learning with Exponential Families for Intrinsically Low-dimensional Data [32.98264375121064]
本研究では,指数関数系に従って説明変数が分散された場合の教師付き深層学習について考察する。
説明変数の上界密度を仮定すると、収束速度は $tildemathcalOleft(dfrac2lfloorbetarfloor(beta + d)2beta + dn-frac22beta + dn-frac22beta + dn-frac22beta + dn-frac22beta と特徴づけられる。
論文 参考訳（メタデータ） (2024-12-13T01:15:17Z) - Learning with Norm Constrained, Over-parameterized, Two-layer Neural Networks [54.177130905659155]
近年の研究では、再生カーネルヒルベルト空間(RKHS)がニューラルネットワークによる関数のモデル化に適した空間ではないことが示されている。
本稿では,有界ノルムを持つオーバーパラメータ化された2層ニューラルネットワークに適した関数空間について検討する。
論文 参考訳（メタデータ） (2024-04-29T15:04:07Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳（メタデータ） (2023-06-26T17:13:31Z) - A Law of Robustness beyond Isoperimetry [84.33752026418045]
我々は、任意の分布上でニューラルネットワークパラメータを補間する頑健性の低い$Omega(sqrtn/p)$を証明した。
次に、$n=mathrmpoly(d)$のとき、スムーズなデータに対する過度なパラメータ化の利点を示す。
我々は、$n=exp(omega(d))$ のとき、$O(1)$-Lipschitz の頑健な補間関数の存在を否定する。
論文 参考訳（メタデータ） (2022-02-23T16:10:23Z) - Inductive Mutual Information Estimation: A Convex Maximum-Entropy Copula
Approach [0.5330240017302619]
我々は2つの順序ベクトルの相互情報をx$とy$で推定する新しい推定器を提案する。
我々は、制約が実現可能である限り、この問題は一意な解を認め、指数関数族であり、凸最適化問題を解くことによって学習できることを証明する。
提案手法は,偽試料のコプラのエントロピーを最大化することにより,ganのモード崩壊の軽減に有用であることを示す。
論文 参考訳（メタデータ） (2021-02-25T21:21:40Z) - Improving Robustness and Generality of NLP Models Using Disentangled
Representations [62.08794500431367]
スーパービジョンニューラルネットワークはまず入力$x$を単一の表現$z$にマップし、次に出力ラベル$y$にマッピングする。
本研究では,非交叉表現学習の観点から,NLPモデルの堅牢性と汎用性を改善する手法を提案する。
提案した基準でトレーニングしたモデルは、広範囲の教師付き学習タスクにおいて、より堅牢性とドメイン適応性を向上することを示す。
論文 参考訳（メタデータ） (2020-09-21T02:48:46Z) - Generalized Entropy Regularization or: There's Nothing Special about
Label Smoothing [83.78668073898001]
本稿では, ラベル平滑化を含むエントロピー正則化器群を紹介する。
モデル性能のばらつきはモデルのエントロピーによって大きく説明できる。
我々は,他のエントロピー正規化手法の使用を推奨する。
論文 参考訳（メタデータ） (2020-05-02T12:46:28Z) - Preventing Posterior Collapse with Levenshtein Variational Autoencoder [61.30283661804425]
我々は,エビデンス・ロー・バウンド(ELBO)を最適化し,後部崩壊を防止できる新しい目的に置き換えることを提案する。
本稿では,Levenstein VAEが後方崩壊防止のための代替手法よりも,より情報的な潜伏表現を生成することを示す。
論文 参考訳（メタデータ） (2020-04-30T13:27:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。