論文の概要: LexFlip: A Dissociation Diagnostic for Legal Meaning Preservation Metrics
- arxiv url: http://arxiv.org/abs/2609.05296v1
- Date: Fri, 04 Sep 2026 15:49:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:24.108426
- Title: LexFlip: A Dissociation Diagnostic for Legal Meaning Preservation Metrics
- Title（参考訳）: LexFlip: 法的意味保存尺度の解離診断
- Abstract要約: レックスフリップはトークンの0.93を保存しながら法的強制を覆す。
FrJudgeでは、素長の機能はすべてのセマンティックメトリックを上回り、測定するマージンが最低です。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Does a simplified legal clause still say what the original said? The checks in current use cannot establish that it does: requiring an identical pair to score highest and an unrelated pair lowest moves lexical overlap and legal force together, so any monotone function of token overlap satisfies both. Our remedy is a dissociation, an item holding surface form fixed while legal force moves. We release LexFlip, 373 minimal perturbations of Quebec statutory French that reverse legal force while preserving 0.93 of the tokens, with a harness scoring metrics, regressors and prompted judges alike. The seven embedding and BERTScore metrics we test spend only 0.022 to 0.039 of their identical-to-unrelated range on such an edit, against 0.670 for bidirectional NLI, the one family the identical-pair check would disqualify. On FrJudge, against a measured human ceiling of r=0.597, a bare length feature outscores every semantic metric and has the lowest margin we measure.
- Abstract（参考訳）: 簡略化された法的条項は、原文が言ったことをまだ述べていますか。
同一のペアが最高に得点することを要求し、無関係のペアが最下位のペアが語彙上の重複と法的な力を共に移動するので、トークンのモノトーン関数はどちらも満足する。
私たちの救済策は解離であり、法的力の移動中に表面形状を固定したアイテムです。
LexFlipはケベック州法定フランス語の373の摂動で、トークンの0.93を保ちながら法的強制を逆転させます。
私たちがテストした7つの埋め込みとBERTScoreメトリクスは、このような編集で同一から非関連の範囲の0.022から0.039しか使用せず、双方向のNLIでは0.670であり、同一ペアチェックの1つのファミリーは不適格である。
FrJudgeでは、r=0.597の人体天井に対して、素長の特徴はすべての意味的メートル法を上回り、最も低いマージンを持つ。
関連論文リスト
- PRIMUS: Identity, Governance, and Verification for Multi-Agent Federations [0.0]
マルチエージェント・フェデレーションは、敵対的な条件下での3つの質問に答えるガバナンスを必要とする。
本稿では,BLSアグリゲートシグネチャと主パワーIDを結合したPRIMUSについて述べる。
PRIMAのバイナリアーティファクト-忠実性判定は、グレード付きフィットネス信号に変換できるかどうかを問う。
論文 参考訳（メタデータ） (2026-09-07T19:21:49Z) - Excess Separability: Nuisance-Controlled Residual-Stream Probing for Benchmark Contamination Detection [0.0]
ベンチマーク汚染はn-gram重なり、可能性に基づくメンバーシップ推論、カナリア文字列と診断される。
これを行う自然な方法はうまくいかないことを示し、測定を生き残るものを特定し、それを動作させる補正が、テストされるnullよりも多くのばらつきをもたらすことを見つけます。
論文 参考訳（メタデータ） (2026-08-12T23:27:20Z) - HALLMARK: Diagnosing Three Failure Modes in LLM Citation Verifiers [30.02579334273979]
GPTZeroは、NeurIPS 2025の受け入れられたセットの中で、幻覚的な引用を持つ53の論文を発見した。
検証結果を比較し、詳細な故障診断を行うベンチマークは存在しない。
幻覚ベンチマーク: 14のタイプにまたがる2,526のBibエントリ、3つの困難層、エントリ毎に6つの診断サブテスト。
論文 参考訳（メタデータ） (2026-07-20T13:21:27Z) - How Much Human Label Variation Does Formal Semantic Structure Explain?: Group-Level Effects and Item-Level Ceilings in NLI [1.9177583131035885]
自然言語推論における人間のラベルの変化は、ノイズよりも信号として扱われることが増えている。
ルールベース演算子と単調タグを用いたChaosNLIのSNLIとMNLIの3,113項目をMEDに対して検証した。
このサンプルでは、形式的な意味構造は、アノテータが少人数で不一致しているかどうかをシフトし、それらが不一致していることを検出できない。
論文 参考訳（メタデータ） (2026-07-17T11:34:30Z) - Jury Duty: Calibration and Orientation Failures in MLLM-as-a-Judge Under Cultural Ambiguity [43.23157850664282]
VOIR DIREは、米国と中国本土にまたがる、626の文化的にペアリングされたイメージプロンプトアーティファクトのマルチモーダルベンチマークである。
6つのMLLMにまたがって、バイアスは2つの障害に分解される。
本稿では,各参照プールに対して個別にアライメントを報告することを推奨する。
論文 参考訳（メタデータ） (2026-06-12T15:53:40Z) - Hierarchical Certified Semantic Commitment for Byzantine-Resilient LLM-Agent Collaboration [30.310793549183117]
本稿では,BFTにインスパイアされたプロトコルH-CSC(Hierarchical Certified Semantic Commitment)を紹介する。
H-CSCはBFT対応バケット(0.31から2.04度)に低角偏差でコミットし、意図したようにBFTを超えるラウンド(n3f+1)の100%を中止する。
論文 参考訳（メタデータ） (2026-06-05T14:35:58Z) - Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。
楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。
本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
論文 参考訳（メタデータ） (2026-05-27T03:41:11Z) - Agreement Metrics for LLM-as-Judge Evaluation: What to Report and Why [34.429649156970015]
最近のLLM-as-judge論文24件の調査では、判定尺度、ネクタイハンドリング、不正出力、禁断ハンドリングに絡み合ったメトリックの選択が見つかった。
Pearson's $r$、Spearman's $、Kendall's $_b$、phi係数$$、Matthews correlation Coefficientはすべて1つの数に還元される。
論文 参考訳（メタデータ） (2026-05-25T07:31:44Z) - Do Image-Text Metrics Respect Semantic Invariances? [32.397351493793416]
3軸の摂動を意味論的に保存する5つの人気評価器に不変なプローブを提案する。
連続した非意味的感性を見いだし, 空間的編集や簡単なフレーズ変化を平均で$approx$6--9%シフトする。
小さな人間の研究もこの発見を支持し、アノテータがペアを概して同じくらい正しいと判断していることを確認し、これらの変化は意味的変化よりもメートル法的な振る舞いを反映している。
論文 参考訳（メタデータ） (2026-05-23T18:53:51Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - Where Experts Disagree, Models Fail: Detecting Implicit Legal Citations in French Court Decisions [3.8449738927037207]
我々は,第一審裁判所の決定において,フランス民法典の暗黙の引用に焦点をあてる。
専門家の不一致がモデル失敗を予測することを示す。
これらの制限にもかかわらず、タスクをトップkランキングとして再検討し、マルチモデルコンセンサスを活用することで、教師なしの環境でk = 200で76%の精度が得られる。
論文 参考訳（メタデータ） (2026-03-24T09:10:57Z) - A Weaker Faithfulness Assumption based on Triple Interactions [89.59955143854556]
より弱い仮定として, 2$-adjacency faithfulness を提案します。
より弱い仮定の下で適用可能な因果発見のための音方向規則を提案する。
論文 参考訳（メタデータ） (2020-10-27T13:04:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。