論文の概要: From Principles to Applications: A Comprehensive Survey of Discrete Tokenizers in Generation, Comprehension, Recommendation, and Information Retrieval
- arxiv url: http://arxiv.org/abs/2502.12448v1
- Date: Tue, 18 Feb 2025 02:29:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-19 20:12:08.735289
- Title: From Principles to Applications: A Comprehensive Survey of Discrete Tokenizers in Generation, Comprehension, Recommendation, and Information Retrieval
- Title（参考訳）: 原則から応用へ:世代・包括・勧告・情報検索における離散的トークン作成者の包括的調査
- Authors: Jian Jia, Jingtong Gao, Ben Xue, Junhao Wang, Qingpeng Cai, Quan Chen, Xiangyu Zhao, Peng Jiang, Kun Gai,
- Abstract要約: 離散トークン化器は、現代の機械学習システムで必須のコンポーネントとして登場した。
本稿では、離散トークン化器の設計原理、応用、課題を体系的にレビューする。
- 参考スコア（独自算出の注目度）: 34.353945607932204
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Discrete tokenizers have emerged as indispensable components in modern machine learning systems, particularly within the context of autoregressive modeling and large language models (LLMs). These tokenizers serve as the critical interface that transforms raw, unstructured data from diverse modalities into discrete tokens, enabling LLMs to operate effectively across a wide range of tasks. Despite their central role in generation, comprehension, and recommendation systems, a comprehensive survey dedicated to discrete tokenizers remains conspicuously absent in the literature. This paper addresses this gap by providing a systematic review of the design principles, applications, and challenges of discrete tokenizers. We begin by dissecting the sub-modules of tokenizers and systematically demonstrate their internal mechanisms to provide a comprehensive understanding of their functionality and design. Building on this foundation, we synthesize state-of-the-art methods, categorizing them into multimodal generation and comprehension tasks, and semantic tokens for personalized recommendations. Furthermore, we critically analyze the limitations of existing tokenizers and outline promising directions for future research. By presenting a unified framework for understanding discrete tokenizers, this survey aims to guide researchers and practitioners in addressing open challenges and advancing the field, ultimately contributing to the development of more robust and versatile AI systems.
- Abstract（参考訳）: 離散トークン化器は、現代の機械学習システム、特に自己回帰モデリングと大規模言語モデル(LLM)の文脈において、欠かせないコンポーネントとして出現している。
これらのトークンライザは、生の非構造化データを様々なモダリティから離散トークンに変換する重要なインターフェースとして機能し、LLMは幅広いタスクにわたって効果的に動作する。
生成、理解、レコメンデーションにおいて中心的な役割を担っているにもかかわらず、個別のトークン化剤に特化した総合的な調査は、文学において目立って欠落している。
本稿では、離散トークン化器の設計原則、応用、課題を体系的にレビューすることで、このギャップに対処する。
まず、トークンのサブモジュールを分離し、それらの機能や設計を包括的に理解するための内部メカニズムを体系的に示すことから始めます。
この基礎の上に、最先端の手法を合成し、それらをマルチモーダル生成と理解タスクに分類し、パーソナライズされたレコメンデーションのためのセマンティックトークンを作成する。
さらに,既存のトークン化装置の限界を批判的に分析し,今後の研究に向けた有望な方向性を概説する。
この調査は、離散トークン化ツールを理解するための統一されたフレームワークを提供することによって、オープンな課題に対処し、分野を前進させる研究者や実践者を導くことを目的としており、最終的にはより堅牢で汎用的なAIシステムの開発に寄与する。
関連論文リスト
- A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。
大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。
我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
論文 参考訳（メタデータ） (2025-04-12T01:27:49Z) - How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。
メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
論文 参考訳（メタデータ） (2025-04-10T16:14:55Z) - Mechanistic understanding and validation of large AI models with SemanticLens [13.712668314238082]
航空機のような人間工学的なシステムとは異なり、AIモデルの内部動作はほとんど不透明である。
本稿では、コンポーネントによって符号化された隠れた知識をマッピングするニューラルネットワークの普遍的説明法であるSemanticLensを紹介する。
論文 参考訳（メタデータ） (2025-01-09T17:47:34Z) - Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。
CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。
本研究は,合成セマンティクス処理とモデル解釈可能性に関する,現在のトランスフォーマーアーキテクチャの基本的制約を明らかにする。
論文 参考訳（メタデータ） (2024-10-16T18:10:50Z) - Investigating the Role of Instruction Variety and Task Difficulty in Robotic Manipulation Tasks [50.75902473813379]
本研究は、そのようなモデルの一般化能力における命令と入力の役割を体系的に検証する包括的評価フレームワークを導入する。
提案フレームワークは,極度の命令摂動に対するマルチモーダルモデルのレジリエンスと,観測的変化に対する脆弱性を明らかにする。
論文 参考訳（メタデータ） (2024-07-04T14:36:49Z) - Coding for Intelligence from the Perspective of Category [66.14012258680992]
符号化の対象はデータの圧縮と再構成、インテリジェンスである。
最近の傾向は、これらの2つの分野の潜在的均一性を示している。
本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
論文 参考訳（メタデータ） (2024-07-01T07:05:44Z) - Interpretable and Explainable Machine Learning Methods for Predictive
Process Monitoring: A Systematic Literature Review [1.3812010983144802]
本稿では,機械学習モデル(ML)の予測プロセスマイニングの文脈における説明可能性と解釈可能性について,系統的に検討する。
我々は、様々なアプリケーション領域にまたがる現在の方法論とその応用の概要を概観する。
我々の研究は、プロセス分析のためのより信頼性が高く透明で効果的なインテリジェントシステムの開発と実装方法について、研究者や実践者がより深く理解することを目的としている。
論文 参考訳（メタデータ） (2023-12-29T12:43:43Z) - Towards a Responsible AI Metrics Catalogue: A Collection of Metrics for
AI Accountability [28.67753149592534]
本研究は,包括的メトリクスカタログへの取り組みを導入することで,説明責任のギャップを埋めるものである。
我々のカタログは、手続き的整合性を支えるプロセスメトリクス、必要なツールやフレームワークを提供するリソースメトリクス、AIシステムのアウトプットを反映する製品メトリクスを記述しています。
論文 参考訳（メタデータ） (2023-11-22T04:43:16Z) - Re-Reading Improves Reasoning in Large Language Models [87.46256176508376]
既成のLarge Language Models (LLM) の推論能力を高めるため, 単純で汎用的で効果的なプロンプト手法であるRe2を導入する。
CoT (Chain-of-Thought) など、ほとんどの思考を刺激する手法とは異なり、Re2 は質問を2回処理することで入力に焦点を移し、理解プロセスを強化する。
提案手法の有効性と汎用性を検証するため,14のデータセットにまたがる広範囲な推論ベンチマークでRe2を評価した。
論文 参考訳（メタデータ） (2023-09-12T14:36:23Z) - Recommender Systems in the Era of Large Language Models (LLMs) [62.0129013439038]
大規模言語モデル(LLM)は自然言語処理(NLP)と人工知能(AI)の分野に革命をもたらした。
我々は, プレトレーニング, ファインチューニング, プロンプティングなどの様々な側面から, LLM を利用したレコメンデータシステムの総合的なレビューを行う。
論文 参考訳（メタデータ） (2023-07-05T06:03:40Z) - FACT: Learning Governing Abstractions Behind Integer Sequences [7.895232155155041]
完全なフィニシャルな記述を認める概念の学習に関する新しい見解を紹介する。
機械学習モデルによる概念理解を目的としたベンチマークタスクのセットを配置する。
知識表現と推論の研究をさらに支援するため,FACT(Finitary Abstraction Toolkit)を提案する。
論文 参考訳（メタデータ） (2022-09-20T08:20:03Z) - What and How of Machine Learning Transparency: Building Bespoke
Explainability Tools with Interoperable Algorithmic Components [77.87794937143511]
本稿では,データ駆動予測モデルを説明するためのハンズオントレーニング教材について紹介する。
これらのリソースは、解釈可能な表現合成、データサンプリング、説明生成の3つのコアビルディングブロックをカバーする。
論文 参考訳（メタデータ） (2022-09-08T13:33:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。