論文の概要: How Much Human Label Variation Does Formal Semantic Structure Explain?: Group-Level Effects and Item-Level Ceilings in NLI

• arxiv url: http://arxiv.org/abs/2607.15870v1
• Date: Fri, 17 Jul 2026 11:34:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.838363
• Title: How Much Human Label Variation Does Formal Semantic Structure Explain?: Group-Level Effects and Item-Level Ceilings in NLI
• Title（参考訳）: 形式的セマンティック構造を示すヒトラベルの変動について-NLIにおけるグループレベル効果と項目レベルシーリング-
• Abstract要約: 自然言語推論における人間のラベルの変化は、ノイズよりも信号として扱われることが増えている。 ルールベース演算子と単調タグを用いたChaosNLIのSNLIとMNLIの3,113項目をMEDに対して検証した。 このサンプルでは、形式的な意味構造は、アノテータが少人数で不一致しているかどうかをシフトし、それらが不一致していることを検出できない。
• 参考スコア（独自算出の注目度）: 1.9177583131035885
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human label variation in natural language inference is increasingly treated as signal rather than noise, but how much of it formal semantic structure explains has not been measured directly. We measure it on the 3,113 SNLI and MNLI items of ChaosNLI, using a rule-based operator and monotonicity tagger validated against MED (0.883 agreement at the edit site, 0.807 on the sentence-level summary our analyses consume), three preregistered analysis blocks, and full reporting of negative results. Three bounds emerge. First, a group-level boundary: hypotheses that are not purely upward monotone show reliably higher label entropy (Cliff's delta = -0.284), and rank-based tests defend the effect against operator-presence and length reductions, though a bounded-outcome sensitivity check weakens the regression form of the length defense. Second, an item-level ceiling: the same formal profiles explain only 3.3 to 3.6 percent of entropy variance and reach a median-split AUC of 0.606, too weak to identify high-disagreement items. Third, composition invariance: across the boundary, three high-powered preregistered contrasts on validated error shares and explanation-type shares (VariErr, LiTEx) all return null results. In this sample, formal semantic structure shifts how much annotators disagree by a small amount and does not detectably change what they disagree about. ChaosNLI-S/M consists of items selected for low original agreement, and every claim is conditioned on that scope. All analyses were preregistered in a version-controlled research log, whose audit trail, including one corrected interpretation rule, the paper discloses.
• Abstract（参考訳）: 自然言語推論における人間のラベルの変動は、ノイズではなく信号として扱われることが多いが、その形式的意味構造がどの程度説明されているかは直接測定されていない。 我々は,ChaosNLIの3,113項目のSNLIおよびMNLI項目において,規則に基づく演算子とモノトニック性タグをMED(編集サイト0.883合意,分析が消費する文レベル0.807)に対して検証し,事前登録した3つの分析ブロック,否定的な結果の全報告を用いて測定した。 3つの境界が現れる。 まず、グループレベルの境界:純粋に上向きの単調ではない仮説は、確実に高いラベルエントロピーを示す(クリフのデルタ = -0.284)。 第2に、アイテムレベルの天井:同じ公式なプロファイルではエントロピーのばらつきの3.3から3.6%しか説明できず、中央値のAUCは0.606に達していない。 第3に、構成不変性: 境界を越えて、検証済みエラー共有と説明型共有(VariErr、LiTEx)に関する3つの高出力事前登録コントラスト。 このサンプルでは、形式的な意味構造は、アノテータが少人数で不一致しているかどうかをシフトし、それらが不一致していることを検出できない。 ChaosNLI-S/Mは、低いオリジナル契約のために選択されたアイテムで構成され、すべてのクレームはそのスコープで条件付けられている。 論文は、すべての分析をバージョン管理された研究ログに事前登録し、その監査パスは、1つの修正された解釈規則を含む。

関連論文リスト

• Off-Target Effects of Response-Style Alignment in a Korean 27B Language Model [2.8678936590409028]
  本研究の目的は,不明瞭な社会的質問の棄却と証券ガイダンスの未公表の2つの行動を測定することである。 一致したターゲットフォームコントロールは、回答の妥当性がトレーニング対象に依存していることを示し、プロンプトセットやレシピのみに依存しない。
  論文  参考訳（メタデータ） (2026-09-10T09:23:04Z)
• Deposon: An Auditable, Conservation-Guaranteed, Game-Theoretically Tested Scattering Layer over LLM Reasoning Paths [0.0]
  マルチステップLSM推論では、マシンの再チェック可能な台帳が欠落している。 LLM生成した概念分解グラフの各ノードに結合するデポソン散乱層を提案する。
  論文  参考訳（メタデータ） (2026-09-08T16:40:31Z)
• Boundary-Mutation Testing for Pattern-Based Secret Detection: A Rule-Level Method and Cross-Scanner Evaluation [0.0]
  パターンベースシークレットスキャナにおける境界突然変異試験 3つのスキャナー(43ルールのオープンソーススキャナ、Gitleaks 8.21.2、TruffleHog 3.82.13)がテストされている。
  論文  参考訳（メタデータ） (2026-09-02T13:41:50Z)
• The Imperfective Paradox Is Not Necessarily in Large Language Models: A Benchmark Failure Before a Model Failure [42.25959731143407]
  本稿では,ベンチマークと結論について検討し,概念的および評価的ミス・スペクテーションに大きく影響していることを示す。 厳格なNLI標準の下では、グループAのインスタンスの76%は、決定を明示的に除外していない。 イベントセマンティックなNLIを多段階推論問題として定式化し、中間的意味決定と最終的な予測の両方を評価する。
  論文  参考訳（メタデータ） (2026-08-25T18:00:18Z)
• Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate [47.36630149538994]
  高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。 WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。 安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
  論文  参考訳（メタデータ） (2026-08-18T09:32:03Z)
• Located but Not Releasable: Silent Gate Inversion and Bounded Linear Release [0.0]
  完全なパイプライン -- 検出、ローカライズ、リリース -- を、25.7Mトランス上で完全に事前登録されたストレステストに送信します。 中層層の観測エビデンスチャネルでの干渉は、他の抑圧された世界における標的の挙動を復元する。 配当外のキャリブレーションをゼロにするために調整された検出器は、6.9-7.3%の配当前の世代と、実際にそれを必要とする2,400世代のうちゼロにトリガーをトリガーする。
  論文  参考訳（メタデータ） (2026-08-12T09:04:54Z)
• Selection Shapes the Boundary: A Preregistered Replication of Monotonicity and Label Agreement in Unselected NLI Populations [1.9177583131035885]
  以前の研究では、上向きの単調性演算子を含む仮説はラベルの一致が低かった。 我々は,同じオペレータタグと4段階の順序一致結果を用いて,この境界の複製を事前登録した。 より初期の負の境界は、人口レベルの特性よりも低アグリメント選択に条件づけられた構造であると結論付けている。
  論文  参考訳（メタデータ） (2026-07-21T16:03:05Z)
• The Test Oracle Problem in Synthetic LLM-as-Judge Corpora: Disappearance, Distortion and a Validation Protocol [0.0]
  LLM-as-judgeシステムにおけるバイアスの研究は、通常、LLMに実数と対になる幻覚的な答えを生成させ、その両方を裁判官に提示することで合成コーパスを構築する。 我々は、この世代が静かに失敗する事例を報告し、失敗モードは偶発的ではなく構造的であると主張するために使用します。 最小の摂動に基づくコーパスに注入された類似の断層は、ゼロコストでゼロヒューマンの金-負の弦比較によって100%精度で捕捉される。
  論文  参考訳（メタデータ） (2026-07-15T11:12:54Z)
• Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
  通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。 我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。 ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
  論文  参考訳（メタデータ） (2026-07-07T10:10:00Z)
• Detecting Hallucinations in Retrieval-Augmented Generation through Grounding-Aware Sensitivity by Perturbation (GASP) [1.827510863075184]
  Grounding-Aware Sensitivity by Perturbation (GASP) は、抽出された証拠にどれだけ強く依存するかによって、各回答文をスコアするスパンレベル検出器である。 GASPは、完全なコンテキスト下で修正され、コンテキストなしで再スコアされ、各チャンクが削除された後、ログライクなドロップとJensen-Shannonの発散を測定する。 2つのモデルファミリーの3つのインストラクションチューニングスコアを用いた3つのベンチマーク(RAGTruth, TofuEval, RAGBench)でGASPを評価する。
  論文  参考訳（メタデータ） (2026-07-05T10:35:30Z)
• AdversaBench: Automated LLM Red-Teaming with Multi-Judge Confirmation and Cross-Model Transferability [16.27940179594792]
  AdversaBenchは、5つの構造化演算子でシードプロンプトをミュートするエンドツーエンドの赤チームパイプラインである。 本報告では, 推論, 指示追従, ツール利用の3つのカテゴリにまたがる45種の種子について実験を行った。
  論文  参考訳（メタデータ） (2026-06-23T13:50:51Z)
• Measuring the Symmetry--Data Exchange Rate [0.2538209532048867]
  同一の軌道サイズと一致した計算値を持つ間違った群制御は制約を伴わないよりも悪いことを示す。 相対交換率beta_diff = 1.28は、理論ブートストラップ1.0と符号と桁違いに一致している。 手法的貢献 -- 共有拡散の欠点をキャンセルする相対レート推定器、間違ったグループ制御、および予め特定された失敗分類 - は、強度をパラメータ化できる帰納バイアスに転送される。
  論文  参考訳（メタデータ） (2026-05-31T08:17:40Z)
• Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
  テキスト検出器は、事前訓練された典型軸を増幅する。 タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。 RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
  論文  参考訳（メタデータ） (2026-05-20T19:08:38Z)
• The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
  ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。 Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
  論文  参考訳（メタデータ） (2026-05-09T06:48:00Z)
• Pairwise matrices for sparse autoencoders: single-feature inspection mislabels causal axes [2.741152471987327]
  標準スパースオートエンコーダプロトコルは、各機能をトップアクティベーションコンテキストからラベル付けし、単一機能ステアリングによって検証する。 本稿では,Qwen3-1.7B-Instruct上での標準ワンコーナプロトコルミスをGemma-2-2B-itで再現した,ペアワイズ行列プロトコルと共変ステアリング係数を提案する。 これら3つの所見はGemmaでモデル特異的な損傷シグネチャを再現し,一致した形状制御はCIを10倍に分離する。
  論文  参考訳（メタデータ） (2026-05-04T21:11:21Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)
• BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of Faithfulness Metrics [70.52570641514146]
  不誠実な最小対 (BUMP) のベンチマークを示す。 BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。 非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
  論文  参考訳（メタデータ） (2022-12-20T02:17:30Z)
• Unsupervised Full Constituency Parsing with Neighboring Distribution Divergence [48.69930912510414]
  本稿では,最近導入されたメトリクスの特性を利用して,教師なしかつトレーニング不要なラベル付け手法を提案する。 実装のために,NDD を Dual POS-NDD に実装し,文中の構成要素とそのラベルを検出する "モールド" を構築する。 DP-NDDは, 構成成分を正確にラベル付けするだけでなく, より単純なルールを持つ従来手法よりも, より正確なラベル付き選挙区木を誘導することを示す。
  論文  参考訳（メタデータ） (2021-10-29T17:27:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。