論文の概要: From Principles to Applications: A Comprehensive Survey of Discrete Tokenizers in Generation, Comprehension, Recommendation, and Information Retrieval

• arxiv url: http://arxiv.org/abs/2502.12448v1
• Date: Tue, 18 Feb 2025 02:29:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 14:05:16.624713
• Title: From Principles to Applications: A Comprehensive Survey of Discrete Tokenizers in Generation, Comprehension, Recommendation, and Information Retrieval
• Title（参考訳）: 原則から応用へ:世代・包括・勧告・情報検索における離散的トークン作成者の包括的調査
• Authors: Jian Jia, Jingtong Gao, Ben Xue, Junhao Wang, Qingpeng Cai, Quan Chen, Xiangyu Zhao, Peng Jiang, Kun Gai,
• Abstract要約: 離散トークン化器は、現代の機械学習システムで必須のコンポーネントとして登場した。 本稿では、離散トークン化器の設計原理、応用、課題を体系的にレビューする。
• 参考スコア（独自算出の注目度）: 34.353945607932204
• License:
• Abstract: Discrete tokenizers have emerged as indispensable components in modern machine learning systems, particularly within the context of autoregressive modeling and large language models (LLMs). These tokenizers serve as the critical interface that transforms raw, unstructured data from diverse modalities into discrete tokens, enabling LLMs to operate effectively across a wide range of tasks. Despite their central role in generation, comprehension, and recommendation systems, a comprehensive survey dedicated to discrete tokenizers remains conspicuously absent in the literature. This paper addresses this gap by providing a systematic review of the design principles, applications, and challenges of discrete tokenizers. We begin by dissecting the sub-modules of tokenizers and systematically demonstrate their internal mechanisms to provide a comprehensive understanding of their functionality and design. Building on this foundation, we synthesize state-of-the-art methods, categorizing them into multimodal generation and comprehension tasks, and semantic tokens for personalized recommendations. Furthermore, we critically analyze the limitations of existing tokenizers and outline promising directions for future research. By presenting a unified framework for understanding discrete tokenizers, this survey aims to guide researchers and practitioners in addressing open challenges and advancing the field, ultimately contributing to the development of more robust and versatile AI systems.
• Abstract（参考訳）: 離散トークン化器は、現代の機械学習システム、特に自己回帰モデリングと大規模言語モデル(LLM)の文脈において、欠かせないコンポーネントとして出現している。 これらのトークンライザは、生の非構造化データを様々なモダリティから離散トークンに変換する重要なインターフェースとして機能し、LLMは幅広いタスクにわたって効果的に動作する。 生成、理解、レコメンデーションにおいて中心的な役割を担っているにもかかわらず、個別のトークン化剤に特化した総合的な調査は、文学において目立って欠落している。 本稿では、離散トークン化器の設計原則、応用、課題を体系的にレビューすることで、このギャップに対処する。 まず、トークンのサブモジュールを分離し、それらの機能や設計を包括的に理解するための内部メカニズムを体系的に示すことから始めます。 この基礎の上に、最先端の手法を合成し、それらをマルチモーダル生成と理解タスクに分類し、パーソナライズされたレコメンデーションのためのセマンティックトークンを作成する。 さらに,既存のトークン化装置の限界を批判的に分析し,今後の研究に向けた有望な方向性を概説する。 この調査は、離散トークン化ツールを理解するための統一されたフレームワークを提供することによって、オープンな課題に対処し、分野を前進させる研究者や実践者を導くことを目的としており、最終的にはより堅牢で汎用的なAIシステムの開発に寄与する。

関連論文リスト

• Mechanistic understanding and validation of large AI models with SemanticLens [13.712668314238082]
  航空機のような人間工学的なシステムとは異なり、AIモデルの内部動作はほとんど不透明である。 本稿では、コンポーネントによって符号化された隠れた知識をマッピングするニューラルネットワークの普遍的説明法であるSemanticLensを紹介する。
  論文  参考訳（メタデータ） (2025-01-09T17:47:34Z)
• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。 本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• Investigating the Role of Instruction Variety and Task Difficulty in Robotic Manipulation Tasks [50.75902473813379]
  本研究は、そのようなモデルの一般化能力における命令と入力の役割を体系的に検証する包括的評価フレームワークを導入する。 提案フレームワークは,極度の命令摂動に対するマルチモーダルモデルのレジリエンスと,観測的変化に対する脆弱性を明らかにする。
  論文  参考訳（メタデータ） (2024-07-04T14:36:49Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• Interpretable and Explainable Machine Learning Methods for Predictive Process Monitoring: A Systematic Literature Review [1.3812010983144802]
  本稿では,機械学習モデル(ML)の予測プロセスマイニングの文脈における説明可能性と解釈可能性について,系統的に検討する。 我々は、様々なアプリケーション領域にまたがる現在の方法論とその応用の概要を概観する。 我々の研究は、プロセス分析のためのより信頼性が高く透明で効果的なインテリジェントシステムの開発と実装方法について、研究者や実践者がより深く理解することを目的としている。
  論文  参考訳（メタデータ） (2023-12-29T12:43:43Z)
• Sparsity-Guided Holistic Explanation for LLMs with Interpretable Inference-Time Intervention [53.896974148579346]
  大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。 LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。 本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
  論文  参考訳（メタデータ） (2023-12-22T19:55:58Z)
• Towards a Responsible AI Metrics Catalogue: A Collection of Metrics for AI Accountability [28.67753149592534]
  本研究は,包括的メトリクスカタログへの取り組みを導入することで,説明責任のギャップを埋めるものである。 我々のカタログは、手続き的整合性を支えるプロセスメトリクス、必要なツールやフレームワークを提供するリソースメトリクス、AIシステムのアウトプットを反映する製品メトリクスを記述しています。
  論文  参考訳（メタデータ） (2023-11-22T04:43:16Z)
• Recommender Systems in the Era of Large Language Models (LLMs) [62.0129013439038]
  大規模言語モデル(LLM)は自然言語処理(NLP)と人工知能(AI)の分野に革命をもたらした。 我々は, プレトレーニング, ファインチューニング, プロンプティングなどの様々な側面から, LLM を利用したレコメンデータシステムの総合的なレビューを行う。
  論文  参考訳（メタデータ） (2023-07-05T06:03:40Z)
• FACT: Learning Governing Abstractions Behind Integer Sequences [7.895232155155041]
  完全なフィニシャルな記述を認める概念の学習に関する新しい見解を紹介する。 機械学習モデルによる概念理解を目的としたベンチマークタスクのセットを配置する。 知識表現と推論の研究をさらに支援するため,FACT(Finitary Abstraction Toolkit)を提案する。
  論文  参考訳（メタデータ） (2022-09-20T08:20:03Z)
• What and How of Machine Learning Transparency: Building Bespoke Explainability Tools with Interoperable Algorithmic Components [77.87794937143511]
  本稿では,データ駆動予測モデルを説明するためのハンズオントレーニング教材について紹介する。 これらのリソースは、解釈可能な表現合成、データサンプリング、説明生成の3つのコアビルディングブロックをカバーする。
  論文  参考訳（メタデータ） (2022-09-08T13:33:25Z)
• Self-organizing Democratized Learning: Towards Large-scale Distributed Learning Systems [71.14339738190202]
  民主化された学習(Dem-AI)は、大規模な分散および民主化された機械学習システムを構築するための基本原則を備えた全体主義的哲学を定めている。 本稿では,Dem-AI哲学にヒントを得た分散学習手法を提案する。 提案アルゴリズムは,従来のFLアルゴリズムと比較して,エージェントにおける学習モデルの一般化性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-07-07T08:34:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。