論文の概要: Finitely Verifiable Segmentation: Decidability for Every Tokenizer with a Finite-State Verifier

• arxiv url: http://arxiv.org/abs/2610.30168v1
• Date: Fri, 16 Oct 2026 18:17:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.073946
• Title: Finitely Verifiable Segmentation: Decidability for Every Tokenizer with a Finite-State Verifier
• Title（参考訳）: 有限検証可能なセグメンテーション:有限状態検証器による全トケナイザの判定可能性
• Abstract要約: セグメンテーションポリシーは、各バイト文字列に少なくとも1つのセグメンテーションをトークンに割り当てる。 有限オートマトンはマークされた文字列と境界ビットを持つバイトをペアリングし、ポリシーの独自のセグメンテーションを正確に受け入れる。 民間伝承による落ち着く4つの疑問が解決可能となる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A segmentation policy assigns to each byte string at most one segmentation into tokens. Call it finitely verifiable when a finite automaton over marked strings, bytes paired with boundary bits, accepts exactly the policy's own segmentations. The automaton judges a proposed segmentation and need not compute one. The paper shows what that hypothesis buys. Four questions that practice settles by folklore become decidable, whether a window certifies a token boundary, whether the boundary gap is bounded, whether a mask keeps generation completable, and whether two policies are equivalent. The last three specialize limitedness, coaccessibility and the equivalence of single-valued transducers. The first refines the synchronizing cut of code theory, and two more ask whether a certified cut, or the cuts of an inventory, let each piece scan alone. The class sits strictly between the online-scannable policies and those with regular domains, and its inner frontier is Choffrut's and decidable in polynomial time. Markings are length-preserving, so the class is exactly the rational segmentation policies, a normal form rather than a restriction, and what the decisions need is a supplied verifier. The class is closed under the operations pipelines use: composition over a labeled stage, restriction, splitting, and byte-fallback union of literal policies. Each composite inherits the six decisions, and certificates transfer between stages under four laws. Under rational, unifilar, almost surely stopping finite-state sources, each mass of the weighted section is an exact rational, and so is each rate where expected length is positive. Maximal-munch lexing, canonical byte-pair encoding and two-mode WordPiece instantiate the interface, and the munch library implements all six decisions. Every theorem carries an executable check, and every reported statistic is a program's own output.
• Abstract（参考訳）: セグメンテーションポリシーは、各バイト文字列に1つのセグメンテーションをトークンに割り当てる。 マークされた文字列上の有限オートマトン、境界ビットとペアのバイトが、ポリシー自身のセグメンテーションを正確に受け入れたとき、それを有限検証と呼ぶ。 オートマトンは提案されたセグメンテーションを判断し、そのセグメンテーションを計算する必要はない。 論文は、その仮説が何を買うかを示している。 フォークロアで実践する4つの質問は、ウィンドウがトークン境界を認定するかどうか、境界ギャップが境界であるかどうか、マスクが生成を可逆的に維持するかどうか、および2つのポリシーが等価であるかどうか、決定可能である。 最後の3つは、単一値トランスデューサの制限、コアクセシビリティ、等価性を特化したものである。 1つはコード理論の同期カットを洗練させ、もう2つは認定されたカットか在庫のカットかを問うことで、各ピースは単独でスキャンする。 このクラスはオンラインスキャン可能なポリシーと通常のドメインを持つポリシーの間に厳密に位置しており、内部フロンティアはチョーフルトのもので多項式時間で決定可能である。 マーキングは長さ保存されるので、クラスはまさに合理的なセグメンテーションポリシーであり、制限ではなく正規形式であり、決定に必要なものは供給された検証器である。 クラスは、ラベル付きステージ上のコンポジション、制限、分割、リテラルポリシーのバイトフォールバック統一といった操作パイプラインで使用される。 各コンポジットは6つの決定を継承し、証明書は4つの法律の下で段階間で転送される。 有理的で、一様で、ほぼ確実に停止する有限状態の源の下では、重み付き部分の各質量は完全有理であり、期待される長さが正の速度である。 最大munchレキシング、標準バイトペアエンコーディング、2モードのWordPieceはインターフェイスをインスタンス化し、munchライブラリは6つの決定すべてを実行する。 全ての定理は実行可能チェックを持ち、報告された統計はプログラム自身の出力である。

関連論文リスト

• CorrCLIPv2: Harnessing Unlabeled Images for Open-Vocabulary Semantic Segmentation [50.18164168267435]
  Open-vocabulary semantic segmentationは、固定されたカテゴリに制限されることなくピクセルを分類することを目的としている。 Contrastive Language-Image Pre-Training (CLIP) はオープン語彙認識の著しい可能性を示す。 この研究は、CorrCLIPv2という名前の、トレーニング不要なオブジェクト中心の統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-17T15:53:40Z)
• Checking Leakage Witnesses versus Certifying Bounded Non-Leakage [3.278446761115315]
  言語モデル監査はリークがなく、非推論の認定に必要なものは何か? 実行可能リークおよび復号化ルールの下で、宣言されたプロンプトドメイン以上を保証します。 一般的な有界時間評価器では、供給されるリーク実行はチェック可能であり、リーク存在はNP完全である。 厳密な証明は、固定された有理切断毎に$(0,1)$で$coNPPP$-completeである。
  論文  参考訳（メタデータ） (2026-09-26T01:40:52Z)
• Access Control as Verified Parse Constraints [2.230473633870735]
  セキュリティゲートウェイは、ネットワークとポリシー決定の間のコードパスに、繰り返し実装バグを出荷する。 既存のアプローチでは、厳密さを保ったままにするか、差分テストのみで形式的なモデルを手書きのエンジンに接続する。 私たちのコントリビューションはクラスの結果です。フォワードオンリーでバックトラックフリーのEverParseバリデータです。
  論文  参考訳（メタデータ） (2026-09-11T06:33:41Z)
• AI Grinding for Fun and Cryptanalysis [0.0]
  エージェントが人間のレビューの前に仮説を生成・テスト・精査する自律型暗号解析ワークフローを提案する。 まず、公開マップや入力表現は、構築が隠さなければならない関係を消去または公開する。 第2に、シミュレータ、エラー法則、パラメータ認証は、要求されたものと異なる分布を使用する。
  論文  参考訳（メタデータ） (2026-08-22T14:37:46Z)
• A Compositional Theory of Causally Masked Transformers [50.88598486616582]
  モデルが実装した力学から直接表現性を導出する形式化を開発する。 各アテンションヘッドは、レイヤ内で独立して自身の状態を更新する。 修正されたソフトアテンションは、不可逆なチェックリストのような状態をサポートする。
  論文  参考訳（メタデータ） (2026-07-29T14:47:19Z)
• Improving Long-Context Retrieval with Multi-Prefix Embedding [64.08968715893504]
  Multi-Prefix Embeddingは、ドキュメントをEOSトークンで区切られたチャンクに分割し、完全なシーケンスを単一の因果フォワードパスにエンコードし、各プレフィックス境界に1つの埋め込みを抽出する。 MPEはクロスチャンクコンテキストを保持し、チャンクレベルのMaxSimマッチングを可能にし、ドキュメントレベルの関連ラベルのみをトレーニングする。
  論文  参考訳（メタデータ） (2026-06-22T17:31:02Z)
• CANONIC: Governance Is Compilation [0.0]
  CANONIC: デジタルアーティファクトを大規模にエビデンス台帳にコンパイルする管理されたインテリジェンス。 CanONICは、コンテントがコーパスに入るかどうかを、コンパイラがプログラムが適切に構成されているかどうかを決定するように管理する。 信頼できないコンテンツと信頼できないコンテンツを確実に分離する散文読解ゲートは存在しない。
  論文  参考訳（メタデータ） (2026-06-10T04:48:42Z)
• Unsupervised Text Segmentation via Kernel Change-Point Detection on Sentence Embeddings [0.0]
  境界ラベルは高価で主観的で、ドメイン間での転送や粒度の選択に失敗することが多いため、教師なしのテキストセグメンテーションが不可欠である。 我々は,文を埋め込みベクトルとして表現し,ペナル化KCPDの目的を最小化して境界を推定する訓練自由な手法であるEmbed-KCPDを提案する。 Taylor Swiftのツイートに関するケーススタディでは、Embed-KCPDは強力な理論的保証、シミュレーションされた信頼性、テキストセグメンテーションの実践的有効性を組み合わせている。
  論文  参考訳（メタデータ） (2026-01-26T18:54:34Z)
• Beyond the Prototype: Divide-and-conquer Proxies for Few-shot Segmentation [63.910211095033596]
  少ないショットのセグメンテーションは、少数の濃密なラベル付けされたサンプルのみを与えられた、目に見えないクラスオブジェクトをセグメンテーションすることを目的としている。 分割・分散の精神において, 単純かつ多目的な枠組みを提案する。 提案手法は、DCP(disvision-and-conquer proxies)と呼ばれるもので、適切な信頼性のある情報の開発を可能にする。
  論文  参考訳（メタデータ） (2022-04-21T06:21:14Z)
• Exposing Semantic Segmentation Failures via Maximum Discrepancy Competition [102.75463782627791]
  オープンビジュアルの世界において,既存の意味セグメンテーション手法の失敗を露呈することで,質問に答える。 モデル改ざんに関するこれまでの研究に触発され、任意に大きい画像セットから始まり、2つのセグメンテーション方法間の差分法(MAD)をMAximizingすることによって、小さな画像セットを自動的にサンプリングします。 選択された画像は、2つの方法のいずれか(または両方)を偽造する最大の可能性を持っている。 また,MADコンペティションにおいて,障害の露呈が困難であるセグメンテーション法について検討した。
  論文  参考訳（メタデータ） (2021-02-27T16:06:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。