論文の概要: CompOrca: Corpus-Scale Compliance Labelling of Instruction-Tuning Data
- arxiv url: http://arxiv.org/abs/2609.37807v2
- Date: Thu, 08 Oct 2026 00:51:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.313065
- Title: CompOrca: Corpus-Scale Compliance Labelling of Instruction-Tuning Data
- Title（参考訳）: CompOrca: インストラクションチューニングデータのコーパススケールコンプライアンスラベリング
- Abstract要約: 我々は、OpenOrcaコーパスの4,233,923例のコンプライアンスラベルであるCompOrcaを提示する。
いずれの例も、オープンウェイトLLM審査員の5通のパスによって、準拠または非準拠と分類された。
シングルパスフラグは2.7-3.2%で、コーパスの2.7-3.2%は準拠していないが、全5行で1.28%しかフラグを付けていないため、最も曖昧な行をフィルタリングすることができる。
- 参考スコア（独自算出の注目度）: 0.17188280334580197
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Studying how fine-tuning shapes refusal and noncompliance behaviour requires knowing which training examples refuse or otherwise fail to fulfil the request. Existing annotations cover evaluation sets, which are far smaller than training corpora. We present CompOrca, compliance labels for all 4,233,923 examples of the OpenOrca corpus. Every example was classified as compliant or noncompliant by five passes of an open-weight LLM judge (LongCat-2.0, 1.6T parameters). The corpus is released as unanimous compliance (94.75%), unanimous noncompliance (1.28%), and nonunanimous rows (3.97%), with the raw vote counts. A single pass flags 2.7-3.2% of the corpus as noncompliant, while only 1.28% is flagged by all five, so the most ambiguous rows can be filtered out. Against 450 human-annotated examples (150 annotated twice; human-human $κ=0.93$), the unanimous compliance and noncompliance labels are 97.3% and 86.7% precise. The noncompliance label is a high-precision subset of the corpus's noncompliance. Published refusal-detection methods recall between 0.4% and 94.1% of human-labelled noncompliance. We release the full corpus with its per-row labels and vote counts at https://huggingface.co/datasets/cemiu/CompOrca
- Abstract（参考訳）: きめ細やかな形状の拒絶や不順な振る舞いを調査するには、どのトレーニング例が要求を拒否するか、そうでなければ満たさないかを知る必要がある。
既存のアノテーションは、トレーニングコーパスよりもはるかに小さい評価セットをカバーする。
我々は、OpenOrcaコーパスの4,233,923例のコンプライアンスラベルであるCompOrcaを提示する。
いずれの例も、LongCat-2.0, 1.6Tパラメータ)のオープンウェイトLCM審査員の5通のパスにより、準拠または非準拠と分類された。
全会一致(94.75%)、全会一致(1.28%)、非全会一致(3.97%)である。
シングルパスフラグは2.7-3.2%で、コーパスの2.7-3.2%は準拠していないが、全5行で1.28%しかフラグを付けていないため、最もあいまいな行をフィルタリングすることができる。
450の注釈付き例(150の注釈付き2回、人間と人間の$κ=0.93$)に対して、全会一致のコンプライアンスと非準拠のラベルは97.3%、86.7%正確である。
非コンプライアンスラベルは、コーパスの非コンプライアンスの高精度サブセットである。
公告された拒絶検出法は、非準拠者の0.4%から94.1%をリコールしている。
私たちは、全コーパスを、そのローラベルと投票カウントをhttps://huggingface.co/datasets/cemiu/CompOrcaでリリースします。
関連論文リスト
- Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation [7.504639516424482]
言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。
公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
論文 参考訳（メタデータ） (2026-09-28T03:10:18Z) - Where the Verifier Fails: A Category-Level Audit of Reward Signals in RLVR [0.0]
報酬付き強化学習(RLVR)と標準ベンチマーク評価はどちらも、無料テキスト回答をバイナリ報酬に変換する自動検証に頼っている。
以前の調査では、1つの評価ハーネスは、自身の真実の答えの94%しか受け入れず、解析を非難している。
モデルではなく検証器にメタモルフィックテストを適用し、検証された等価解の変種を生成する。
我々は、307,420以上の4つの広く使用されている検証結果に対して、回答カテゴリごとの拒絶を計測する。
論文 参考訳（メタデータ） (2026-09-01T14:57:59Z) - The Exclusion Ratchet: False-Positive Suppression Accumulates and Persists in Detection Rule Repositories [0.0]
ルールがあまりにも多くの誤報を発生させた場合、アナリストは除外を加える。
近年の縦断作業では、キュレーションは収束しないが、後に回復したリビジョンのためにのみ回復時間を計測した。
9年と8,234回のSigmaHQ corpusの改訂を行い、意味論的に抑制を検出し、ブラインドハンドラベリングに対して検証した。
論文 参考訳（メタデータ） (2026-08-31T16:40:24Z) - The Architect, the Adversary, and the Judge: Closed-Loop Generation of Standards-Aligned Assessment Items at Scale [13.85834524293015]
CLAIMは、K-12アセスメント・イテム生成のための生産パイプラインである。
パイプラインは9,074イテムの生産で97.8%のエキスパート評価パスレートに達する。
論文 参考訳（メタデータ） (2026-08-26T08:54:32Z) - Dear Algo: A Precision-First Agentic Intent Layer for Unified Search and Recommendation [14.580988352516457]
emphmore NBA News や emphless politics といったオープンエンドのリクエストは、ワンショットの結果リストではなく、その後のフィードレコメンデーションを操縦する。
Dear Algo on Threadsは、明示的に、推論され、ネガティブで、複雑なインテントを、地上の実行可能なプランにコンパイルする。
提案手法は, 精度優先評価フレームワークを用いて, フィードレコメンデーションに自然言語の意図がどのように適用できるかを示す。
論文 参考訳（メタデータ） (2026-08-16T17:59:12Z) - Metric Match: A Subset Selection Approach to Evaluating LLM Judge Reliability [28.15461581779256]
限定アノテーションからLLM判定器の相関に基づく信頼性指標を推定する手法を開発した。
Metric Matchは、サブセットが人口信頼度と一致するように、人間のアノテーションのためのサンプルのサブセットを選択する。
我々は,Metric Matchがランダムなサブセット選択に対して0.838の勝利率を達成することを実証的に示す。
論文 参考訳（メタデータ） (2026-06-12T23:54:16Z) - Hierarchical Certified Semantic Commitment for Byzantine-Resilient LLM-Agent Collaboration [30.310793549183117]
本稿では,BFTにインスパイアされたプロトコルH-CSC(Hierarchical Certified Semantic Commitment)を紹介する。
H-CSCはBFT対応バケット(0.31から2.04度)に低角偏差でコミットし、意図したようにBFTを超えるラウンド(n3f+1)の100%を中止する。
論文 参考訳（メタデータ） (2026-06-05T14:35:58Z) - CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。
モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
論文 参考訳（メタデータ） (2026-06-02T13:41:43Z) - Agreement Metrics for LLM-as-Judge Evaluation: What to Report and Why [34.429649156970015]
最近のLLM-as-judge論文24件の調査では、判定尺度、ネクタイハンドリング、不正出力、禁断ハンドリングに絡み合ったメトリックの選択が見つかった。
Pearson's $r$、Spearman's $、Kendall's $_b$、phi係数$$、Matthews correlation Coefficientはすべて1つの数に還元される。
論文 参考訳（メタデータ） (2026-05-25T07:31:44Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳（メタデータ） (2026-05-15T17:08:27Z) - From Black Box to Glass Box: Cross-Model ASR Disagreement to Prioto Review in Ambient AI Scribe Documentation [43.148402136307716]
異種ASRシステム間のクロスモデル不一致は、基準のない不確実性信号として機能する。
商用APIとオープンソースエンジンにまたがる8つのASRシステムを備えた,50の公開医療用オーディオクリップを転写した。
低アグリメント領域は内容の不一致に富み、高リスク質量のクインタイル全体では53.9%から73.9%に増加した。
論文 参考訳（メタデータ） (2026-03-02T13:02:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。