論文の概要: Domain adaptation of Russian ModernBERT for long legal documents
- arxiv url: http://arxiv.org/abs/2610.06715v1
- Date: Mon, 05 Oct 2026 17:07:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 23:23:29.6947
- Title: Domain adaptation of Russian ModernBERT for long legal documents
- Title（参考訳）: 長大な法的文書化のためのロシア近代図書館の領域適応
- Abstract要約: 我々は、ロシアの法律文書の事前訓練が、法的文書のロシア近代バーストエンコーダを改善するかどうかを調査する。
RuModernBERT-ruLawは304,382の立法文書と194,425,905のコーパストークンを含むと報告されたコーパスで訓練された。
裁判所決定セグメント1,031の固定外部集合に対して,元のエンコーダと適応したエンコーダを比較した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate whether continued pretraining on Russian legislative documents improves a Russian ModernBERT encoder on legal text. The adapted model, RuModernBERT-ruLaw, was trained on a corpus reported to contain 304,382 legislative documents and 194,425,905 corpus tokens. Corpus token counts are distinguished from positions produced by the model tokenizer. We compare the original and adapted encoders on a fixed external collection of 1,031 court-decision segments. Both models receive the same hidden positions in each of five masking realizations. At maximum input lengths of 512, 2,048, and 8,192 tokens, mean masked-token cross-entropy decreases by 0.10942, 0.07052, and 0.06604 natural-log units, respectively. The reported 95% intervals summarize sensitivity to masking on this fixed collection; they do not quantify uncertainty across document collections. A second evaluation addresses legal-entity extraction. The original and adapted models achieve entity-level F1 scores of 0.99852 and 0.99820. However, 99.95% of test spans have the same normalized surface form and class in the training split. This evaluation therefore provides limited evidence about transfer to previously unseen forms. The paper explains the masking objective, overlapping windows, averaging rules, and exact entity-boundary scoring using editable diagrams and clearly marked illustrative examples. The comparison supports lower masked-token prediction loss for the studied pair of models and collection. It does not isolate the contribution of distant context or establish practical legal utility.
- Abstract（参考訳）: 我々は、ロシアの法律文書の事前訓練が、法的文書のロシア近代バーストエンコーダを改善するかどうかを調査する。
RuModernBERT-ruLawは304,382の立法文書と194,425,905のコーパストークンを含むと報告されたコーパスで訓練された。
コーパストークンカウントは、モデルトークン化器によって生成される位置と区別される。
裁判所決定セグメント1,031の固定外部集合に対して,元のエンコーダと適応したエンコーダを比較した。
どちらのモデルも、5つのマスキング実現のそれぞれに同じ隠れた位置を与えられる。
最大入力長は512,2,048,8,192のトークンで、それぞれ0.10942,0.07052,0.06604のクロスエントロピーが減少する。
報告された95%間隔は、この固定されたコレクションに対するマスキングに対する感受性を要約している。
第2の評価は、合法性抽出に対処する。
原型および適応型のモデルでは、エンティティレベルのF1スコアは0.99852と0.99820である。
しかし、テストスパンの99.95%は、トレーニングスプリットで同じ正規化された表面形状とクラスを持っている。
この評価は、以前は見つからなかった形式への移動に関する限られた証拠を提供する。
本論文は、編集可能な図を用いて、マスキングの目的、オーバーラップウインドウ、平均化ルール、正確なエンティティ境界スコアリングについて説明する。
この比較は、研究されたモデルとコレクションのペアに対して、マスクによる予測損失の低減をサポートする。
遠くの文脈の貢献を分離したり、実用的な法的効用を確立したりしない。
関連論文リスト
- Watermarking: from Impossibility to Auditable Compliance [78.87513208320995]
EU人工知能法第50条(2)は、合成出力を機械可読かつ検出可能にするために、生成システムの提供者を要求する。
自由形式のテキストにとって、重要な実装の1つは、生成的な透かし処理の実装である。
本稿は、強い透かしに代わる聴覚的な代替品を開発する。
論文 参考訳（メタデータ） (2026-10-05T13:32:41Z) - Where a Model Sends Its Own Repeated Token [0.0]
ブラックボックスモデルの識別は、自然言語のプロンプトに対するモデルの応答を評価することで機能する。
退化した入力を受け取り、モデルがそうでないときにどこに行くのかを尋ねます。
結果は語彙全体の地図であり、2つのハーフがある。
論文 参考訳（メタデータ） (2026-09-25T12:13:31Z) - ufakzeka-1: Building and Evaluating a 151M-Parameter Turkish Language Model from Scratch [0.0]
ufakzeka-1 は 151M-パラメータ (182M) で、デコーダのみのトルコ語モデルで13.5B のトークンでスクラッチから事前訓練された。
1ワードあたり1.77トークンのトルコのバイトレベルのトークンライザ、3段階の事前訓練スケジュール、オープンライセンスと生成されたデータのトレーニング後の混合、リリースゲートの評価バッテリ、ルールチェックによる5,508の会話、判断された会話と手動テスト、これらはすべてトレーニングデータから保持されたプロンプトで、データビルド内とチェック--によって強制される。
論文 参考訳（メタデータ） (2026-09-18T20:33:02Z) - Token Counts Are Not Model Lineage: A Frozen-Threshold Holdout Study of Black-Box LLM API Fingerprinting [4.093009863847175]
大規模な言語モデルがリレーとリセラーAPIを通じて提供される場合、ブラックボックスモデルの属性はますます重要になる。
テンポの低い信号は、OpenAI互換エンドポイントで返されるプロンプトトケン数である。
しかし、この信号がより広範にEmphmodel- family属性に有効であることは、直接のホールドアウト試験がほとんど行われていない。
我々は,24個のラベル付きエンドポイントペアに対して凍結保持実験を行い,開発セットと未タッチのホールドアウトセットに均等に分割した。
論文 参考訳（メタデータ） (2026-08-30T17:58:49Z) - Towards Intelligent Legal Document Analysis: CNN-Driven Classification of Case Law Texts [1.3192560874022086]
本研究は,引用処理分類のための軽量かつ高精度なフレームワークを提案する。
単語認識型FastText埋め込みと1次元畳み込みニューラルネットワーク(CNN)との補間に基づく前処理を併用する。
提案システムは97.26%の分類精度と96.82%のマクロF1スコアを達成し,既存のベースラインを超えている。
論文 参考訳（メタデータ） (2026-04-20T00:14:11Z) - REAR: Rethinking Visual Autoregressive Models via Generator-Tokenizer Consistency Regularization [130.46612643194973]
reARはトークン単位の正規化目標を導入する単純なトレーニング戦略です。
ImageNetでは、gFIDを3.02から1.86に削減し、標準化ベースのトークンーザを使用してISを316.9に改善している。
高度なトークン化器に適用すると、177Mパラメータしか持たない1.42のgFIDが達成され、その性能はより大きな最先端拡散モデル(675M)と一致する。
論文 参考訳（メタデータ） (2025-10-06T02:48:13Z) - Broken Tokens? Your Language Model can Secretly Handle Non-Canonical Tokenizations [83.93566096400723]
ランダムにサンプリングされたトークン化が与えられた場合、命令調整されたモデルは元の性能の最大93.4%を維持している。
文字レベルのセグメンテーションは文字列操作とコード理解タスクを最大+14%改善する。
右列桁のグルーピングは、大数の算術を+33%向上させる。
論文 参考訳（メタデータ） (2025-06-23T18:02:26Z) - Towards Sequence Modeling Alignment between Tokenizer and Autoregressive Model [69.79418000132995]
AliTokはトークンシーケンスの依存性構造を変更する新しいアラインド・トークンライザである。
AliTokは177Mパラメータしか持たない標準的なデコーダのみの自己回帰モデルで、ImageNet-256ベンチマークで1.44のgFIDと319.5のISを達成している。
論文 参考訳（メタデータ） (2025-06-05T17:45:10Z) - TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。
TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。
また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
論文 参考訳（メタデータ） (2024-05-27T05:45:51Z) - PARAMANU-AYN: Pretrain from scratch or Continual Pretraining of LLMs for Legal Domain Adaptation? [3.9018931027384056]
パラマヌ・アイン(Paramanu-Ayn)は、インドの訴訟文書に特化して訓練された法律言語モデルのコレクションである。
Paramanu-Aynは1つのGPU上でわずか185時間、コンテキストサイズ8192のスクラッチから事前トレーニングされた。
論文 参考訳（メタデータ） (2024-03-20T15:39:54Z) - Fast(er) Reconstruction of Shredded Text Documents via Self-Supervised
Deep Asymmetric Metric Learning [62.34197797857823]
細断文書の自動復元における中心的な問題は、細断文書の相互互換性評価である。
本研究は,推定回数を線形にスケールするペアワイド互換性を測るスケーラブルな深層学習手法を提案する。
提案手法は,505個のシュレッダーを持つテストインスタンスに対して,22倍の高速化を実現した最先端技術に匹敵する精度を有する。
論文 参考訳（メタデータ） (2020-03-23T03:22:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。