論文の概要: Enhancing LLM Character-Level Manipulation via Divide and Conquer

• arxiv url: http://arxiv.org/abs/2502.08180v2
• Date: Thu, 27 Mar 2025 16:07:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-28 12:50:23.054842
• Title: Enhancing LLM Character-Level Manipulation via Divide and Conquer
• Title（参考訳）: ディバイドとコンカーによるLLM文字レベルマニピュレーションの強化
• Authors: Zhen Xiong, Yujun Cai, Bryan Hooi, Nanyun Peng, Zhecheng Li, Yiwei Wang,
• Abstract要約: 大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにまたがる強力な一般化機能を示している。 彼らは文字レベルの文字列操作において顕著な弱点を示し、文字削除、挿入、置換といった基本的な操作に苦労した。 本稿では,トークンレベルの処理と文字レベルの操作のギャップを埋める新しい手法であるDivide and Conquerによる文字レベル操作を提案する。
• 参考スコア（独自算出の注目度）: 74.55804812450164
• License:
• Abstract: Large Language Models (LLMs) have demonstrated strong generalization capabilities across a wide range of natural language processing (NLP) tasks. However, they exhibit notable weaknesses in character-level string manipulation, struggling with fundamental operations such as character deletion, insertion, and substitution. These challenges stem primarily from tokenization constraints, despite the critical role of such operations in data preprocessing and code generation. Through systematic analysis, we derive two key insights: (1) LLMs face significant difficulties in leveraging intrinsic token knowledge for character-level reasoning, and (2) atomized word structures can substantially enhance LLMs' ability to process token-level structural information. Building on these insights, we propose Character-Level Manipulation via Divide and Conquer, a novel approach designed to bridge the gap between token-level processing and character-level manipulation. Our method decomposes complex operations into explicit character-level subtasks coupled with controlled token reconstruction phases, leading to significant improvements in accuracy. Without additional training, our method significantly improves accuracies on the $\texttt{Deletion}$, $\texttt{Insertion}$, and $\texttt{Substitution}$ tasks. To support further research, we open-source our implementation and benchmarks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、幅広い自然言語処理(NLP)タスクにまたがる強力な一般化機能を示している。 しかし、文字レベルの文字列操作には顕著な弱点があり、文字削除、挿入、置換といった基本的な操作に苦労している。 これらの課題は、データ前処理やコード生成において、このような操作が重要な役割を担っているにもかかわらず、トークン化の制約に起因している。 体系的な分析を通じて,(1)LLMは,文字レベルの推論に固有のトークン知識を活用する上で,重大な困難に直面している,(2)LLMのトークンレベルの構造情報処理能力を大幅に向上させることができる,という2つの重要な知見を導出する。 これらの知見に基づいて,トークンレベルの処理と文字レベルの操作のギャップを埋める新しい手法であるDivide and Conquerによる文字レベル操作を提案する。 本手法は,複雑な操作を明示的な文字レベルサブタスクと制御トークン再構成フェーズに分解し,精度を大幅に向上させる。 追加のトレーニングなしに、我々のメソッドは$\textt{Deletion}$、$\texttt{Insertion}$、$\texttt{Substitution}$ Taskの精度を大幅に改善します。 さらなる研究を支援するため、我々は実装とベンチマークをオープンソース化しました。

関連論文リスト

• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models [3.382910438968506]
  トークン化は自然言語処理の基本的なステップであり、テキストを計算モデルが処理できる単位に分割する。 文字レベルと単語レベルの処理を組み合わせた自己回帰型言語モデリングのための階層的アーキテクチャについて検討する。 我々は、70億のパラメータをスケールして、階層変換器がサブワードトケナイザベースのモデルの下流タスク性能と一致することを実証する。
  論文  参考訳（メタデータ） (2025-01-17T17:51:53Z)
• Enhancing LLM's Cognition via Structurization [41.13997892843677]
  大規模言語モデル(LLM)は因果的かつシーケンシャルな視点で入力コンテキストを処理する。 本稿では,コンテキスト構造化という新しい概念を提案する。 具体的には、平易で秩序のない文脈文を、適切に順序付けされ階層的に構造化された要素に変換する。
  論文  参考訳（メタデータ） (2024-07-23T12:33:58Z)
• A Simple but Effective Approach to Improve Structured Language Model Output for Information Extraction [11.165093163378152]
  大規模言語モデル(LLM)は、命令に従って非構造化自然言語を生成する際、印象的な能力を示した。 本稿では,その構造的テキスト生成能力を高めるために,効率的なG&O手法を提案する。
  論文  参考訳（メタデータ） (2024-02-20T20:42:02Z)
• Identifying and Analyzing Task-Encoding Tokens in Large Language Models [55.03191279766383]
  本稿では,タスク性能が依存するタスク符号化トークンの識別と解析を行う。 テンプレートとストップワードトークンはタスクエンコーディングが最も困難であることを示す。 我々の研究は、大規模言語モデル(LLM)がいかにして、デモからタスクを実行するかを学習し、LLMでプレイされるさまざまな種類のトークンの役割の理解を深め、タスクエンコーディングトークンを不適切な利用から不安定を避けるための洞察を提供する。
  論文  参考訳（メタデータ） (2024-01-20T20:55:21Z)
• kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest Neighbor In-Context Learning [50.40636157214161]
  Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。 LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。 本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-17T17:26:50Z)
• Successor Features for Efficient Multisubject Controlled Text Generation [48.37713738712319]
  本稿では,後継機能 (SF) と言語モデル修正の2つの基本概念を基礎とするSF-GENを紹介する。 SF-GENはこの2つをシームレスに統合し、LCMのパラメータを変更することなくテキスト生成の動的ステアリングを可能にする。 我々の知る限り、本研究はテキスト生成における後継機能の最初の応用である。
  論文  参考訳（メタデータ） (2023-11-03T00:17:08Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。