論文の概要: Same Rule, Different Verdicts: Rubric Language and Clause Structure in LLM Judges for Korean Support Dialogues
- arxiv url: http://arxiv.org/abs/2611.04091v1
- Date: Tue, 03 Nov 2026 00:01:56 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-04 17:39:27.664707
- Title: Same Rule, Different Verdicts: Rubric Language and Clause Structure in LLM Judges for Korean Support Dialogues
- Title（参考訳）: 韓国語支援対話におけるLLM審査員の言語とクローズ構造
- Abstract要約: 韓国のルーリックとのクロスプロジェクター契約は、英語のルーリックよりも低い。
1つのモデルは、11～15%のケースで、同じ意味を持つ2つの項目間で判定を変更する。
- 参考スコア（独自算出の注目度）: 0.36013539748644224
- License:
- Abstract: Services that operate in Korean often write their evaluation rubrics in Korean and hand them to an LLM judge. We test whether a judge's verdict depends on the language of the rubric and on how a rubric item is phrased. We write 12 criteria for support dialogues in four clause structures (affirmative, negated, conditional, exception) such that two pairs of structures have the same meaning, and we give each item in Korean and in English. Six low-cost models from three providers, plus one reference model, judge 60 translated ESConv dialogues and 144 constructed boundary cases under every combination (51,744 requests across the seven models). The analysis plan was fixed and committed before data collection. Cross-provider agreement is lower with Korean rubrics than with English rubrics (Cohen's kappa 0.687 vs. 0.745; difference -0.058, 95% CI [-0.072,-0.045]). Disagreement concentrates in negated, conditional, and exception items (odds ratio 5.6 relative to affirmative items). A single model changes its verdict between two items with the same meaning in 11-15% of cases. Two hypotheses are not supported: models from the same provider do not agree more than models from different providers, and adding paired examples does not reduce the language gap. We measure consistency only; no human labels are used, and all materials were drafted by an LLM.
- Abstract（参考訳）: 韓国で活動するサービスは、韓国語で評価用ルーブリックを書いてLLM審査員に渡すことが多い。
審査員の評決がルーブリックの言語と、ルーブリックアイテムの言い回しに依存するかどうかを検証する。
我々は,4つの節構造(肯定的,否定的,条件的,例外的)における対話を支援するための12の基準を,2組の構造が同じ意味を持つように記述し,韓国語と英語で各項目を提示する。
3つの提供者による6つの低価格モデルと1つの参照モデル、審査員60はESConvの対話を翻訳し、1つの組み合わせで144の境界ケースを構築した(7つのモデルで51,744の要求)。
分析計画は、データ収集の前に修正され、コミットされました。
韓国のルーリックとのクロスプロジェクター契約は、英語のルーリックよりも低い(Cohen's kappa 0.687 vs. 0.745; difference -0.058, 95% CI [-0.072,-0.045])。
診断は、否定的、条件的、例外的項目(肯定的項目に対する否定比5.6)に集中する。
1つのモデルは、11～15%のケースで、同じ意味を持つ2つの項目間で判定を変更する。
2つの仮説はサポートされていない: 同じプロバイダのモデルが、異なるプロバイダのモデル以上の同意を得られず、ペア化された例を追加することは、言語ギャップを減らさない。
人間のラベルは使用せず、すべての材料はLLMによってドラフト化されています。
関連論文リスト
- Judged in Company: In-Context Batching Makes LLM Verdicts Depend on Other Items [3.732244093761483]
フリップレートは、正確に順序、スロット、およびメンバーシップの構成要素に分解されることを示す。
パーティション間の潜在的な相違のほとんどは、隣人の順番とスロットから生じている。
インプロンプト毎に曖昧な項目をひとつずつグレードし、キャッシュしたプレフィックスでコストの大半を回収することを推奨します。
論文 参考訳（メタデータ） (2026-10-29T15:14:16Z) - Component Translation and Judge-Labelled Refusal: A Multilingual Safety Evaluation [0.8699677835130409]
全プロンプト翻訳は異なる言語で要求を評価するが、どのコンポーネントが言語を持っているかは比較しない。
完全な要求コンポーネントまたは完全な操作コンポーネントを同じターゲット言語に変換する。
論文 参考訳（メタデータ） (2026-10-28T02:29:23Z) - When Should Enterprise Policy Decisions Be Learned, and When Should They Be Reasoned? [9.875772420350168]
書面された方針の下で回答する企業エージェントは、何かを言う前に行動を選択する必要がある。
決定が生成されたオブジェクトか、あるいは単一の制約付きトークンであるか、モデルが最初に理由付けするかどうかが異なります。
2800件のin-distribution項目では,2つの配置パスの精度差を検出できなかった。
論文 参考訳（メタデータ） (2026-10-13T03:14:12Z) - Right Frame, Wrong Rule: Cultural Cues Expose the Financial Knowledge Gap They Were Meant to Close [57.963463622270275]
イスラム金融における規範的多元主義を4つの分類法を用いて研究する。
文化的キューは1つのフレームワークに向かってモデルを操縦するが、そのモデルはそのフレームワーク内で間違った答えを選択する。
論文 参考訳（メタデータ） (2026-09-01T09:46:53Z) - Rank Reversal in Multilingual LLM Judges: A Label-Free Double-Centering Calibrator [0.8253953000831505]
LLM審査員は、プロンプト言語に応じて評価器-バックボーンランキングを生成する。
上位のバックボーンは英語、アラビア語、中国語、ヒンディー語、日本語、スペイン語、トルコ語、スワヒリ語で交互に使われている。
多言語判定スコアは、追加的にタスク難易度、バックボーンスキル、言語とバックボーンの相互作用項に分解する。
論文 参考訳（メタデータ） (2026-08-23T14:18:25Z) - IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳（メタデータ） (2026-08-17T09:50:52Z) - NOLLI: A Difficulty-Calibrated Puzzle Benchmark for Diagnosing the English-Korean Performance Gap [6.166565297478229]
NOLLIは韓国のパフォーマンスギャップの発生箇所を診断するためのベンチマークである。
15のパズルタイプ(25のタスク、7500のアイテム)で構成され、各インスタンスはシード生成可能で、ユニークなソリューションを持つことが検証される。
朝鮮文化や正書法に根ざした朝鮮語のみの業務と、一致した直訳、漢語ジャム(サブ・シラビック文字)の文字適応を兼ね備えている。
論文 参考訳（メタデータ） (2026-08-05T02:58:53Z) - Contrastive ESA: Human Evaluation of Multiple Translations at Once [45.918020796451536]
Contrastive Error Spanを紹介します。
(cESA) ソース入力(テキスト、ビデオ、オーディオ、画像)の複数翻訳を行うプロトコル。
cESAでは、アノテータは同じ文書の複数の翻訳を見て、メジャーとマイナーのエラースパンをマークし、絶対スケールでスコアを0%から100%に割り当てる。
我々は,12モデルの日本語翻訳を人体で大規模に評価したcESAを検証し,標準点評価と比較して注釈時間と雑音の低減を実証した。
論文 参考訳（メタデータ） (2026-07-29T09:01:59Z) - CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。
モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
論文 参考訳（メタデータ） (2026-06-02T13:41:43Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - K-BrowseComp: A Web Browsing Agent Benchmark Grounded in Korean Contexts [43.3460021951349]
我々は,K-BrowseCompを紹介した。K-BrowseComp,K-BrowseComp,K-BrowseComp,K-BrowseComp,K-BrowseComp,K-BrowseComp,K-BrowseComp,K-BrowseC omp,K-BrowseComp。
300プロブレムのK-BrowseComp-Verifiedサブセットは、韓国のネイティブスピーカーによって手作業で構築され、検証される。
このサブセットでは、GPT-5.5、DeepSeek-V4-Pro、GLM-5.1を含むフロンティアのLLMが30.00--45.67%にしか達せず、BrowseCompから大幅に落ち込んだ。
論文 参考訳（メタデータ） (2026-06-01T15:50:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。