論文の概要: Entropy-UID: A Method for Optimizing Information Density

• arxiv url: http://arxiv.org/abs/2502.14366v1
• Date: Thu, 20 Feb 2025 08:42:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:29:46.492284
• Title: Entropy-UID: A Method for Optimizing Information Density
• Title（参考訳）: エントロピーUID:情報密度の最適化手法
• Authors: Xinpeng Shou,
• Abstract要約: エントロピーと均一情報密度のバランスをとる新しいトークン選択法であるエントロピーUIDを提案する。 本研究では,エントロピーUIDが情報スパイクを最適に低減し,流速とコヒーレンスを維持していることを示す。 本研究は,自己回帰言語モデルにおけるトークン選択戦略の洗練に情報理論的制約を活用する可能性を示している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Balanced and efficient information flow is essential for optimizing language generation models. In this work, we propose Entropy-UID, a new token selection method that balances entropy and Uniform Information Density (UID) principles for enhanced efficiency of text generation. Our approach adaptively adjusts token selection by jointly minimizing entropy and surprisal, promoting more even information distribution across generated sequences. Theoretical validation demonstrates that Entropy-UID optimally reduces information spikes while maintaining fluency and coherence. The method has been evulated using information-theoretic metrics on multiple benchmark datasets, including WikiText-2, OpenWebText, and WMT. Experimental results show that Entropy-UID achieves lower surprisal and entropy variance compared to standard GPT-2 and alternative heuristics, leading to more balanced and human-like text generation. Our findings point towards the potential of leveraging information-theoretic constraints to refine token selection strategies in autoregressive language models.
• Abstract（参考訳）: 言語生成モデルの最適化には、バランスと効率的な情報フローが不可欠である。 本研究では,テキスト生成効率を向上させるために,エントロピーと統一情報密度(UID)の原理をバランスさせる新しいトークン選択手法であるEntropy-UIDを提案する。 提案手法は,エントロピーと副次性を両立させることでトークン選択を適応的に調整し,生成シーケンス間の情報分布をさらに高めることを目的とする。 理論的検証は、エントロピーUIDが流速とコヒーレンスを維持しながら情報のスパイクを最適に減少させることを示した。 この方法はWikiText-2、OpenWebText、WMTなど、複数のベンチマークデータセットで情報理論メトリクスを用いてエミュレートされている。 実験結果から,Entropy-UID は標準 GPT-2 や代替ヒューリスティックよりも低次およびエントロピーの分散を達成し,バランスの取れたテキスト生成に繋がることが示された。 本研究は,自己回帰言語モデルにおけるトークン選択戦略の洗練に情報理論的制約を活用する可能性を示している。

関連論文リスト

• Structural Entropy Guided Probabilistic Coding [52.01765333755793]
  構造エントロピー誘導型確率的符号化モデルSEPCを提案する。 我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。 分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
  論文  参考訳（メタデータ） (2024-12-12T00:37:53Z)
• Leveraging Variation Theory in Counterfactual Data Augmentation for Optimized Active Learning [19.962212551963383]
  アクティブラーニング(AL)は、モデルがユーザフィードバックからインタラクティブに学習することを可能にする。 本稿では,ALに反実データ拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-08-07T14:55:04Z)
• REMEDI: Corrective Transformations for Improved Neural Entropy Estimation [0.7488108981865708]
  我々は微分エントロピーの効率的かつ正確な推定のために$textttREMEDI$を紹介した。 提案手法は,幅広い推定課題にまたがる改善を実証する。 自然に情報理論による教師あり学習モデルに拡張することができる。
  論文  参考訳（メタデータ） (2024-02-08T14:47:37Z)
• RegaVAE: A Retrieval-Augmented Gaussian Mixture Variational Auto-Encoder for Language Modeling [79.56442336234221]
  可変オートエンコーダ(VAE)に基づく検索拡張言語モデルであるRegaVAEを紹介する。 テキストコーパスを潜在空間にエンコードし、ソースとターゲットの両方のテキストから現在と将来の情報をキャプチャする。 各種データセットに対する実験結果から,テキスト生成品質と幻覚除去の大幅な改善が示された。
  論文  参考訳（メタデータ） (2023-10-16T16:42:01Z)
• Improving Diversity in Zero-Shot GAN Adaptation with Semantic Variations [61.132408427908175]
  0ショットのGAN適応は、よく訓練されたジェネレータを再利用して、目に見えないターゲットドメインの画像を合成することを目的としている。 実際の画像の代わりに1つの代表的テキスト機能しか持たないため、合成された画像は徐々に多様性を損なう。 そこで本研究では,CLIP空間における対象テキストの意味的変化を見つけるための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-08-21T08:12:28Z)
• Joint Entropy Search For Maximally-Informed Bayesian Optimization [38.10887297038352]
  本稿では,入力空間と出力空間の両面における最適確率密度のエントロピーを考慮した情報理論獲得関数を提案する。 Joint Entropy Search (JES) は優れた意思決定能力を示し、幅広いタスクにまたがる情報理論的アプローチの最先端のパフォーマンスをもたらす。
  論文  参考訳（メタデータ） (2022-06-09T21:19:07Z)
• Data-heterogeneity-aware Mixing for Decentralized Learning [63.83913592085953]
  グラフの混合重みとノード間のデータ不均一性の関係に収束の依存性を特徴付ける。 グラフが現在の勾配を混合する能力を定量化する計量法を提案する。 そこで本研究では,パラメータを周期的かつ効率的に最適化する手法を提案する。
  論文  参考訳（メタデータ） (2022-04-13T15:54:35Z)
• Handling Distribution Shifts on Graphs: An Invariance Perspective [78.31180235269035]
  我々は、グラフ上のOOD問題を定式化し、新しい不変学習手法である探索・拡張リスク最小化(EERM)を開発する。 EERMは、複数の仮想環境からのリスクの分散を最大化するために、敵対的に訓練された複数のコンテキストエクスプローラーを利用する。 理論的に有効なOOD解の保証を示すことによって,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2022-02-05T02:31:01Z)
• A Graph Data Augmentation Strategy with Entropy Preserving [11.886325179121226]
  本稿では,グラフ間の特徴情報を評価するための定量的指標として,新しいグラフエントロピー定義を提案する。 グラフエントロピーの保存を考慮し、摂動機構を用いてトレーニングデータを生成する効果的な方法を提案する。 提案手法はトレーニング過程におけるGCNの堅牢性と一般化能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2021-07-13T12:58:32Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。