論文の概要: Disentangling Language Modeling and Boundaries

• arxiv url: http://arxiv.org/abs/2608.03599v1
• Date: Tue, 04 Aug 2026 12:51:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.194151
• Title: Disentangling Language Modeling and Boundaries
• Title（参考訳）: 言語モデリングと境界を遠ざける
• Abstract要約: バイトレベルの言語モデルは通常、堅牢性、多言語的公正性、文字レベルのスキルという観点から議論される。 彼らはバイトを読み書きするため、2つともアウトプットスペースを共有します。 コミュニティは、共有標準としてバイトレベルのインターフェースに移行するべきだ、と私たちは主張する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Byte-level language models are usually argued for on the grounds of robustness, multilingual fairness, and character-level skills. We point to a different, structural advantage: because they read and write bytes, any two of them share an output space, so knowledge transfer between them is exact and independent of how either was originally tokenized. We hypothesize that the two distributions a byte-level model produces, one over the next byte, one over where its patch boundaries fall, can be disentangled and changed almost independently. A model could absorb a teacher's capability while keeping its own boundaries, or change how it places those boundaries while keeping its capabilities. We lay out the two experiments that would settle the hypothesis, alongside preliminary measurements of the properties they rest on. We argue that the community should move toward a byte-level interface as a shared standard: if the hypothesis holds, then once byte-level models are the norm, transferring capabilities and reshaping boundaries between them become cheap and routine, free of the per-model tokenizer that blocks them today.
• Abstract（参考訳）: バイトレベルの言語モデルは通常、堅牢性、多言語的公正性、文字レベルのスキルという観点から議論される。 バイトを読み書きするため、2つともアウトプットスペースを共有しているため、それらの間の知識伝達は、どちらももともとトークン化されていた方法とは独立している。 我々は、バイトレベルのモデルが生成する2つの分布を、次のバイトに1つ、パッチ境界が落ちて、ほぼ独立に切り離して変更できるという仮説を立てる。 モデルは、自身の境界を維持しながら教師の能力を吸収したり、その能力を維持しながら境界を配置する方法を変更したりすることができる。 仮説を立証する2つの実験と、それらが残す特性の予備的な測定を並べた。 仮説が成立すれば、一度バイトレベルのモデルが標準となり、それらの間の境界を移譲し、その境界を形作り直すことは、今日それらをブロックするモデルのトークン化ツールが不要に、安価で日常的なものになる。

関連論文リスト

• Can Machines Really See Objects in Images? A Study Based on Syntactic Distance and Visual Self-Referential Instances [53.65561607407989]
  そのような局所的な手がかりが区別の安定な基盤を提供しない場合、モデルが依然として正しく分類できるかどうかを問う。 ResNetとVision Transformersの実験では、一貫した位相遷移現象が明らかになった。 結果は、汎用インテリジェンスは、既存の言語を再利用するのではなく、新しい言語を作成する必要があることを示唆している。
  論文  参考訳（メタデータ） (2026-06-28T14:27:40Z)
• False Friends Are Not Foes: Investigating Vocabulary Overlap in Multilingual Language Models [53.01170039144264]
  多言語コーパスで訓練されたサブワードトークンライザは、言語間で重複するトークンを自然に生成する。 トークンの重複は言語間転送を促進するのか、それとも言語間の干渉を導入するのか? 相反する語彙を持つモデルでは、重なり合う結果が得られます。
  論文  参考訳（メタデータ） (2025-09-23T07:47:54Z)
• From Bytes to Ideas: Language Modeling with Autoregressive U-Nets [49.16552366851748]
  トークン化は入力テキストに一定の粒度を課す。 オートレグレッシブなU-Netを導入し、トレーニング中に独自のトークンを埋め込むことを学びます。
  論文  参考訳（メタデータ） (2025-06-17T17:55:11Z)
• Quantum-Like Contextuality in Large Language Models [0.7373617024876724]
  本稿は,自然言語における「イエス」の答えを示す,最初の大規模実験的な証拠を提供する。 我々は,文脈的量子シナリオをモデル化した言語スキーマを構築し,それを簡易英語ウィキペディアでインスタンス化し,インスタンスの確率分布を抽出する。 文脈的事例は, BERT の埋め込みベクトルの文脈性度とユークリッド距離の間の方程式を導出することにより, 意味論的に類似した単語から得られたことを証明した。
  論文  参考訳（メタデータ） (2024-12-21T23:46:55Z)
• Learning thresholds lead to stable language coexistence [0.0]
  本稿では,言語シフトダイナミクスにおける記憶と学習の効果を組み込んだ言語競合モデルを提案する。 粗い時間スケールでは、記憶と学習の影響は、競合する言語の話者分数に対する閾値として表すことができる。
  論文  参考訳（メタデータ） (2024-06-14T14:24:02Z)
• Do Llamas Work in English? On the Latent Language of Multilingual Transformers [13.885884589999492]
  我々は、英語が支配するコーパスが、英語を内的ピボット言語として使っているかどうかを問う。 本研究は、独特な正しい単語継続を伴う英語でないプロンプトを慎重に構築する。 これらの結果を、3つの位相が「入力空間」、「概念空間」、「出力空間」で機能する概念モデルにキャストした。
  論文  参考訳（メタデータ） (2024-02-16T11:21:28Z)
• Learning an Artificial Language for Knowledge-Sharing in Multilingual Translation [15.32063273544696]
  コードブック内のエントリにエンコーダ状態を割り当てることで,多言語モデルの潜伏空間を識別する。 我々は,現実的なデータ量と領域を用いた大規模実験へのアプローチを検証する。 また、学習した人工言語を用いてモデル行動を分析し、類似のブリッジ言語を使用することで、残りの言語間での知識共有が向上することを発見した。
  論文  参考訳（メタデータ） (2022-11-02T17:14:42Z)
• MonoByte: A Pool of Monolingual Byte-level Language Models [4.491765479948667]
  同じ構成で厳格に事前訓練された10のモノリンガルバイトレベルのモデルをリリースする。 トークンを含まないため、目に見えないトークン埋め込みの問題は排除される。 QAタスクとNLIタスクの実験は、我々のモノリンガルモデルがマルチリンガルモデルと競合する性能を達成することを示す。
  論文  参考訳（メタデータ） (2022-09-22T14:32:48Z)
• Masked Part-Of-Speech Model: Does Modeling Long Context Help Unsupervised POS-tagging? [94.68962249604749]
  フレキシブルな依存性モデリングを容易にするために,MPoSM(Masked Part-of-Speech Model)を提案する。 MPoSMは任意のタグ依存をモデル化し、マスクされたPOS再構成の目的を通じてPOS誘導を行うことができる。 英語のPenn WSJデータセットと10の多様な言語を含むユニバーサルツリーバンクの競合的な結果を得た。
  論文  参考訳（メタデータ） (2022-06-30T01:43:05Z)
• Quark: Controllable Text Generation with Reinforced Unlearning [68.07749519374089]
  大規模言語モデルは、しばしばユーザの期待に合わない振る舞いを学ぶ。 本稿では,(不必要な)特性を定量化する報酬関数を最適化するアルゴリズムQuarkを紹介する。 未学習の毒性、ネガティブな感情、反復について、我々の実験はQuarkが強いベースラインと最先端の強化学習法の両方より優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-26T21:11:51Z)
• Data Distributional Properties Drive Emergent Few-Shot Learning in Transformers [21.762476711948338]
  適切なデータ分散に適切なアーキテクチャを適用することで、少しの学習が生まれます。 適切なアーキテクチャを適切なデータ分散に適用することによってのみ、数ショットの学習が生まれることが分かっています。
  論文  参考訳（メタデータ） (2022-04-22T16:10:50Z)
• Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
  創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。 このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。 また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
  論文  参考訳（メタデータ） (2022-03-24T21:24:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。