論文の概要: IGD: Token Decisiveness Modeling via Information Gain in LLMs for Personalized Recommendation

• arxiv url: http://arxiv.org/abs/2506.13229v1
• Date: Mon, 16 Jun 2025 08:28:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:47.797914
• Title: IGD: Token Decisiveness Modeling via Information Gain in LLMs for Personalized Recommendation
• Title（参考訳）: IGD:パーソナライズされたレコメンデーションのためのLLMにおける情報ゲインによるトークン決定性モデリング
• Authors: Zijie Lin, Yang Zhang, Xiaoyan Zhao, Fengbin Zhu, Fuli Feng, Tat-Seng Chua,
• Abstract要約: 我々は,トークン決定性をチューニングと復号の両方に統合する情報ゲインに基づく決定性対応トークンハンドリング(IGD)戦略を導入する。 IGDはリコメンデーションの精度を一貫して改善し、強力なベースラインに比べて広く使われているランキングの指標で顕著に向上した。
• 参考スコア（独自算出の注目度）: 70.2753541780788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have shown strong potential for recommendation by framing item prediction as a token-by-token language generation task. However, existing methods treat all item tokens equally, simply pursuing likelihood maximization during both optimization and decoding. This overlooks crucial token-level differences in decisiveness-many tokens contribute little to item discrimination yet can dominate optimization or decoding. To quantify token decisiveness, we propose a novel perspective that models item generation as a decision process, measuring token decisiveness by the Information Gain (IG) each token provides in reducing uncertainty about the generated item. Our empirical analysis reveals that most tokens have low IG but often correspond to high logits, disproportionately influencing training loss and decoding, which may impair model performance. Building on these insights, we introduce an Information Gain-based Decisiveness-aware Token handling (IGD) strategy that integrates token decisiveness into both tuning and decoding. Specifically, IGD downweights low-IG tokens during tuning and rebalances decoding to emphasize tokens with high IG. In this way, IGD moves beyond pure likelihood maximization, effectively prioritizing high-decisiveness tokens. Extensive experiments on four benchmark datasets with two LLM backbones demonstrate that IGD consistently improves recommendation accuracy, achieving significant gains on widely used ranking metrics compared to strong baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、トークン・バイ・トークン言語生成タスクとしてアイテム予測をフレーミングすることで、推奨する可能性を示している。 しかし、既存の手法では全てのアイテムトークンを等しく扱い、最適化と復号の両方で極大化を追求するだけである。 これは、決定性-多くのトークンにおける重要なトークンレベルの違いがアイテムの識別にはほとんど寄与しないが、最適化やデコードを支配し得ることを見落としている。 トークン決定性を定量化するために,各トークンが生成するアイテムを決定プロセスとしてモデル化し,情報ゲイン(IG)によるトークン決定性を計測することで,生成したアイテムの不確実性を低減できる新しい視点を提案する。 我々の経験的分析によると、ほとんどのトークンはIGが低いが、しばしば高いロジットに対応し、トレーニング損失やデコードに影響し、モデル性能を損なう可能性がある。 これらの知見に基づいて,トークン決定性をチューニングと復号の両方に統合する情報ゲインに基づく決定性対応トークンハンドリング(IGD)戦略を導入する。 具体的には、IGDのダウンウェイトは、チューニング中に低IGトークンを減らし、デコードを再バランスさせ、高いIGでトークンを強調する。 このようにして、IGDは純粋極大化を超えて、高決定性トークンを効果的に優先順位付けする。 2つのLCMバックボーンを持つ4つのベンチマークデータセットに対する大規模な実験により、IGDは推奨精度を一貫して改善し、強力なベースラインに比べて広く使用されているランキングの指標で顕著に向上した。

関連論文リスト

• ToDRE: Visual Token Pruning via Diversity and Task Awareness for Efficient Large Vision-Language Models [59.47738955960352]
  ToDREは、2段階でトレーニング不要なトークン圧縮フレームワークである。 トークンの多様性とトークン-タスク関連性に基づいてトークンをプルーニングすることで、優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-05-24T15:47:49Z)
• ZeroTuning: Unlocking the Initial Token's Power to Enhance Large Language Models Without Training [8.486942657544825]
  初期トークンの注意の調整は、その後のトークンよりも注意分布を鋭くしたり、平らにすることを示す。 我々は、この特別なトークンに頭部特異的な注意調整を適用することにより、LCMの性能を向上させる訓練不要のアプローチであるZeroTuningを提案する。
  論文  参考訳（メタデータ） (2025-05-16T22:52:24Z)
• When Every Token Counts: Optimal Segmentation for Low-Resource Language Models [0.0]
  最適Byte-Pair(BPE)構成は,グリーディセグメンテーションに比べてトークン数を大幅に削減することを示す。 この結果から,圧縮最適化トークン化戦略が多言語および低リソース言語アプリケーションに多大なメリットをもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2024-12-09T19:11:54Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• Inference Optimal VLMs Need Fewer Visual Tokens and More Parameters [54.01228554126122]
  視覚言語モデル(VLM)は、様々な視覚的理解と推論タスクにまたがる強力な能力を示している。 推論コストを削減するために、LLM(Large Language Models)を縮小するか、イメージを表すのに必要な入力トークンの数を削減できる。 高速圧縮に適したトークン圧縮アルゴリズムを設計する第一歩を踏み出す。
  論文  参考訳（メタデータ） (2024-11-05T18:54:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。