論文の概要: SOMBRERO: Measuring and Steering Boundary Placement in End-to-End Hierarchical Sequence Models

• arxiv url: http://arxiv.org/abs/2601.22805v1
• Date: Fri, 30 Jan 2026 10:34:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.385682
• Title: SOMBRERO: Measuring and Steering Boundary Placement in End-to-End Hierarchical Sequence Models
• Title（参考訳）: SOMBRERO:エンド・ツー・エンド階層配列モデルにおける境界位置の測定とステアリング
• Authors: Pit Neitemeier, Alessio Serra, Jiaze Li, Sascha Wirges, Lukas Balles, Jan Hendrik Metzen,
• Abstract要約: 本稿では,境界品質のルータに依存しない境界エンリッチメントBを導入する。 本研究では,信頼度調整境界損失による予測困難に対する学習を推し進め,信頼オフと精度重み付き貿易平滑化を適用して学習を安定化させるSombreroを提案する。
• 参考スコア（独自算出の注目度）: 10.547898683606569
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hierarchical sequence models replace fixed tokenization with learned segmentations that compress long byte sequences for efficient autoregressive modeling. While recent end-to-end methods can learn meaningful boundaries from the language-modeling objective alone, it remains difficult to quantitatively assess and systematically steer where compute is spent. We introduce a router-agnostic metric of boundary quality, boundary enrichment B, which measures how strongly chunk starts concentrate on positions with high next-byte surprisal. Guided by this metric, we propose Sombrero, which steers boundary placement toward predictive difficulty via a confidence-alignment boundary loss and stabilizes boundary learning by applying confidence-weighted smoothing at the input level rather than on realized chunks. On 1B scale, across UTF-8 corpora covering English and German text as well as code and mathematical content, Sombrero improves the accuracy-efficiency trade-off and yields boundaries that more consistently align compute with hard-to-predict positions.
• Abstract（参考訳）: 階層的シーケンスモデルは、固定トークン化を、効率的な自己回帰モデリングのために長いバイト列を圧縮する学習セグメンテーションに置き換える。 最近のエンド・ツー・エンドの手法は、言語モデリングの目的だけから意味のある境界を学習することができるが、計算に使われた場所を定量的に評価し、体系的に判断することは困難である。 本稿では,境界品質のルータに依存しない境界エンリッチメントBを導入する。 本研究では,信頼度調整境界損失を用いて境界位置を予測困難に設定し,信頼度重み付き平滑化を実際のチャンクではなく入力レベルで適用することにより境界学習を安定化するSombreroを提案する。 1Bスケールでは、英語とドイツ語のテキストとコードと数学的内容をカバーするUTF-8コーパスをまたいで、Sombreroは精度と効率のトレードオフを改善し、計算と予測の難しい位置をより一貫して整合させるバウンダリを出力する。

関連論文リスト

• BoundMatch: Boundary detection applied to semi-supervised segmentation [12.8995997687175]
  半教師付きセマンティックセマンティックセグメンテーション(SS-SS)は,多彩なラベル付き画像を活用することで,高密度画素ラベリングの重いアノテーション負担を軽減することを目的としている。 本稿では,意味境界検出を教師と学生の整合性正規化パイプラインに明示的に統合する,新しいマルチタスクSS-SSフレームワークであるBoundMatchを提案する。 境界一貫性規則化マルチタスク学習(Bundary Consistency Regularized Multi-Task Learning)は,セグメンテーションマスクと詳細なセグメンテーション境界において,教師と生徒のモデル間の予測合意を強制する。
  論文  参考訳（メタデータ） (2025-03-30T17:02:26Z)
• Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding [55.107555305760954]
  本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。 提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
  論文  参考訳（メタデータ） (2024-01-17T09:01:29Z)
• $\texttt{FedBC}$: Calibrating Global and Local Models via Federated Learning Beyond Consensus [66.62731854746856]
  フェデレートラーニング(FL)では、デバイス全体にわたるモデル更新の集約を通じて、グローバルモデルを協調的に学習する目的は、ローカル情報を通じたパーソナライズという目標に反対する傾向にある。 本研究では,このトレードオフを多基準最適化により定量的にキャリブレーションする。 私たちは、$texttFedBC$が、スイートデータセット間でグローバルおよびローカルモデルのテスト精度のメトリクスのバランスをとることを実証しています。
  論文  参考訳（メタデータ） (2022-06-22T02:42:04Z)
• Look Closer to Segment Better: Boundary Patch Refinement for Instance Segmentation [51.59290734837372]
  境界品質を改善するために,概念的にシンプルで効果的な後処理改善フレームワークを提案する。 提案されたBPRフレームワークは、CityscapesベンチマークのMask R-CNNベースラインを大幅に改善する。 BPRフレームワークをPolyTransform + SegFixベースラインに適用することで、Cityscapesのリーダーボードで1位に到達しました。
  論文  参考訳（メタデータ） (2021-04-12T07:10:48Z)
• Active Boundary Loss for Semantic Segmentation [58.72057610093194]
  本稿では,セマンティックセグメンテーションのための新しいアクティブ境界損失を提案する。 エンド・ツー・エンドのトレーニングにおいて、予測境界とグランド・トゥルース・バウンダリのアライメントを徐々に促進することができる。 実験結果から, アクティブ境界損失によるトレーニングは, 境界Fスコアと平均インターセクションオーバ・ユニオンを効果的に改善できることが示された。
  論文  参考訳（メタデータ） (2021-02-04T15:47:54Z)
• Think about boundary: Fusing multi-level boundary information for landmark heatmap regression [51.48533538153833]
  顔の境界とランドマークの関係を探索するための2段階のエンドツーエンドアプローチについて検討する。 境界対応ランドマーク予測は,自己校正境界推定(SCBE)モジュールと境界対応ランドマーク変換(BALT)モジュールの2つのモジュールで構成される。 我々の手法は文学における最先端の手法より優れている。
  論文  参考訳（メタデータ） (2020-08-25T10:14:13Z)
• CRAUM-Net: Contextual Recursive Attention with Uncertainty Modeling for Salient Object Detection [0.0]
  マルチスケールのコンテキストアグリゲーション、高度な注意機構、SOD性能向上のための不確実性認識モジュールを統合した新しいフレームワークを提案する。 我々の適応的クロススケールコンテキストモジュールは、再帰的チャネル空間的注意と畳み込みブロック注意を利用して、機能を複数のレベルから効果的に融合する。 ネットワークを堅牢にトレーニングするために,境界感応性とトポロジカル保存損失関数(Boundary IoU,Focal Tversky,Topological Saliency Los)を組み合わせて,ネットワークの信頼性を高める。
  論文  参考訳（メタデータ） (2020-06-04T18:33:59Z)
• DeepStrip: High Resolution Boundary Refinement [60.00241966809684]
  関心領域をストリップ画像に変換し、ストリップ領域の境界予測を計算することを提案する。 対象境界を検出するために,2つの予測層を持つフレームワークを提案する。 我々は、誤報を減らすために、整合性とC0連続性正規化をネットワークに強制する。
  論文  参考訳（メタデータ） (2020-03-25T22:44:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。