論文の概要: When Machines Speak: A Unified Generative Framework for Integrating Machine-Native Symbols into Pretrained Large Language Models

• arxiv url: http://arxiv.org/abs/2608.19529v1
• Date: Thu, 20 Aug 2026 00:54:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.428864
• Title: When Machines Speak: A Unified Generative Framework for Integrating Machine-Native Symbols into Pretrained Large Language Models
• Title（参考訳）: 機械が話すとき: 機械的記号を事前訓練された大言語モデルに統合するための統一的な生成フレームワーク
• Abstract要約: 事前訓練された大規模言語モデルを拡張するための統合生成フレームワークであるUniLangを紹介する。 UniLangは、自然言語トークンとともに、マシンネイティブシンボルを第一級生成単位として扱う。 我々は、UniLangを2つの構造的に異なるタスク、シーケンシャルレコメンデーションと法的な前例予測に基づいて評価する。
• 参考スコア（独自算出の注目度）: 3.244447063895851
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many real-world AI systems represent entities, behaviors, and structured information using discrete machine-native symbols rather than natural language. While these representations are compact and preserve task-relevant structure, they lie outside the linguistic token space of pretrained large language models (LLMs), creating a fundamental divide between language modeling and structured prediction. We introduce UniLang, a unified generative framework that bridges this divide by extending pretrained LLMs to treat machine-native symbols as first-class generative units alongside natural-language tokens. UniLang expands the LLM's vocabulary and embedding space with grounded machine-native representations, enabling textual and symbolic tokens to be jointly modeled and generated under a single autoregressive objective. This unified interface allows pretrained LLMs to directly operate on machine-native representations without requiring them to be verbalized as natural language or relying on task-specific architectures. We evaluate UniLang on two structurally distinct tasks, sequential recommendation and legal precedent prediction, spanning different domains and types of structured prediction. Across both tasks, UniLang consistently outperforms strong baselines, demonstrating a path toward extending pretrained LLMs beyond language and using them as a common generative modeling backbone for heterogeneous machine-native representations.
• Abstract（参考訳）: 多くの実世界のAIシステムは、自然言語ではなく、個別のマシンネイティブシンボルを使用してエンティティ、行動、構造化された情報を表す。 これらの表現はコンパクトであり、タスク関連構造を保存するが、事前訓練された大規模言語モデル(LLM)の言語トークン空間の外にあるため、言語モデリングと構造化予測の根本的な違いが生じる。 機械固有のシンボルを自然言語トークンとともに一級生成単位として扱うために、事前訓練されたLLMを拡張して、この分割をブリッジする統合生成フレームワークであるUniLangを紹介する。 UniLangはLLMの語彙と埋め込みスペースをマシンネイティブ表現で拡張し、テキストトークンとシンボルトークンを単一の自己回帰的目的の下で共同でモデル化し、生成することを可能にする。 この統一インターフェースにより、事前訓練されたLLMは、自然言語として言語化したり、タスク固有のアーキテクチャに依存することなく、マシンネイティブな表現を直接操作できる。 我々は、UniLangを2つの構造的に異なるタスク、シーケンシャルレコメンデーションと法的な前例予測に基づいて評価し、異なるドメインと構造予測のタイプにまたがる。 どちらのタスクでも、UniLangは強いベースラインを一貫して上回り、言語を超えて事前訓練されたLLMを拡張し、不均一なマシンネイティブ表現のための共通の生成モデリングバックボーンとして使用するための道筋を示している。

関連論文リスト

• Shaping Schema via Language Representation as the Next Frontier for LLM Intelligence Expanding [88.11781604392606]
  本稿では,言語表現を実世界の地図化とモデル化に使用される言語的・象徴的構造として定義する。 我々は、高度な言語表現によるスキーマ形成が、大規模言語モデルの拡張の次のフロンティアであると主張している。
  論文  参考訳（メタデータ） (2026-05-10T02:42:29Z)
• LinguaLens: Towards Interpreting Linguistic Mechanisms of Large Language Models via Sparse Auto-Encoder [47.81850176849213]
  スパースオートエンコーダ(SAE)に基づく大規模言語モデルの言語メカニズム解析のためのフレームワークを提案する。 我々は4次元(形態学、構文学、意味論、プラグマティクス)にわたる中国語と英語の言語的特徴を幅広く抽出する。 本研究は, LLMにおける言語知識の内在的表現, 層間および言語間分布のパターンを明らかにし, モデル出力の制御の可能性を示した。
  論文  参考訳（メタデータ） (2025-02-27T18:16:47Z)
• Tokens, the oft-overlooked appetizer: Large language models, the distributional hypothesis, and meaning [29.745218855471787]
  トークン化は多くの言語モジュールの現在のアーキテクチャにおいて必要なコンポーネントである。 トークン化は、合理的な人間的な言語のパフォーマンスに必要である、と我々は主張する。 本稿では,建築的選択,すなわち構成,思考のための言語の優越性について論じる。
  論文  参考訳（メタデータ） (2024-12-14T18:18:52Z)
• Large Language Models are Good Multi-lingual Learners : When LLMs Meet Cross-lingual Prompts [5.520335305387487]
  本稿では,MLプロンプトという新しいプロンプト戦略を提案する。 MLPromptは、LLMが他の言語に追従するのに苦労するエラーを起こしやすいルールを翻訳する。 本稿では,MLPromptを構造化データ生成の自動チェック機構に統合するフレームワークと,テキストからMIPインスタンスへの特定のケーススタディを提案する。
  論文  参考訳（メタデータ） (2024-09-17T10:33:27Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Efficient Spoken Language Recognition via Multilabel Classification [53.662747523872305]
  我々のモデルは,現在の最先端手法よりも桁違いに小さく,高速でありながら,競争力のある結果が得られることを示す。 我々のマルチラベル戦略は、マルチクラス分類よりも非ターゲット言語の方が堅牢である。
  論文  参考訳（メタデータ） (2023-06-02T23:04:19Z)
• Pre-Trained Language Models for Interactive Decision-Making [72.77825666035203]
  目的と観測を埋め込みのシーケンスとして表現する模倣学習の枠組みを述べる。 このフレームワークは様々な環境にまたがって効果的な一般化を可能にすることを実証する。 新たなゴールや新しいシーンを含むテストタスクでは、言語モデルによる初期化ポリシーはタスク完了率を43.6%改善する。
  論文  参考訳（メタデータ） (2022-02-03T18:55:52Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training [152.63467944568094]
  本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。 実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-02-28T15:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。