論文の概要: Rubric-Aligned Disentangled Evaluation of Human Simultaneous Interpreting
- arxiv url: http://arxiv.org/abs/2609.11131v1
- Date: Thu, 10 Sep 2026 06:20:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.22044
- Title: Rubric-Aligned Disentangled Evaluation of Human Simultaneous Interpreting
- Title（参考訳）: Rubric-Aligned Disentangled Evaluation of Human Simultaneous Interpreting (特集:ユビキタス・バイオサイバネティックス)
- Abstract要約: 人間の同時解釈(SI)は、一般的に、伝達、配送品質、時間同期を分離する分析ルーリックを用いて評価される。
意味伝達(LQ)、配送品質(EXP)、知覚遅延(LAT)のスコアを持つ1,101個のSIセグメントからなるプロの注釈付きコーパスを構築した。
構造的LLMの促進とスカラー・インスペクションが破砕次元を崩壊させ,人間の評価とほぼゼロの相関関係を示す。
- 参考スコア（独自算出の注目度）: 7.094473122057736
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Human simultaneous interpreting (SI) is commonly assessed with analytic rubrics separating meaning transfer, delivery quality, and temporal synchrony, yet no automatic metric is designed for rubric-aligned segment-level SI evaluation. We construct a professionally annotated corpus of 1,101 SI segments with scores for meaning transfer (LQ), delivery quality (EXP), and perceived latency (LAT). We show that structured LLM prompting and scalar supervision collapse rubric dimensions, yielding near-zero correlation with human ratings and strong cross-dimension coupling. To isolate supervision structure under identical backbone capacity, we introduce dual regression heads on a LoRA-adapted COMET-KIWI encoder. On a held-out talk-level test set, the model achieves Pearson correlations of 0.388 (LQ) and 0.301 (EXP), improving over frozen COMET-KIWI. Given low absolute rater agreement, we interpret results relative to human consistency and target stable ranking signals for formative assessment.
- Abstract（参考訳）: 人間同時解釈(SI)は、一般的に、転送、配送品質、時間同期を分離した分析ルーリックを用いて評価されるが、ルーリック整列セグメントレベルのSI評価のために自動計量は設計されていない。
意味伝達(LQ)、配送品質(EXP)、知覚レイテンシ(LAT)のスコアを備えた,1,101個のSIセグメントからなるプロの注釈付きコーパスを構築した。
構造的LLMの促進とスカラーの監督により破砕次元が崩壊し,人間格付けとほぼゼロに近い相関と強い断面積結合が得られた。
ロラ適応COMET-KIWIエンコーダに二重回帰ヘッドを導入する。
保持されたトークレベルテストセットでは、Pearson相関が0.388(LQ)と0.301(EXP)となり、凍ったCOMET-KIWIよりも改善された。
絶対レートの低い合意を条件として、人間の一貫性に比較して結果を解釈し、定式化評価のための安定したランキング信号をターゲットにする。
関連論文リスト
- Rethinking the Evaluation and Optimization of LLM-Based Social Simulation [56.18577997572273]
主観性係数を用いて、主観性が高くなるにつれて、精度に基づく評価とハードラベルトレーニングがいかに失敗するかを分析する。
我々は193のアノテーションと100の主観的質問を含む19,300の文脈のベンチマークであるSUBJSIMを構築した。
SUBJSIMの結果は,本手法の利点を示すものである。
論文 参考訳（メタデータ） (2026-08-20T06:26:03Z) - Mapping and Measuring the Behavioral Evolution of Large Language Models [28.603443859513153]
ベンチマークのリーダーボードは、言語モデルのパフォーマンスを概説するが、その振る舞いが他のモデルとどのように関係しているか、世代によって異なる。
1万のプロンプトの共有バンクに対する応答を用いて、6つのファミリーから32モデルの出力挙動を特徴付ける。
論文 参考訳（メタデータ） (2026-08-11T15:07:28Z) - A Multi-Cohort Validation of Censoring-Aware Conformal Lower Predictive Bounds for Pathology Survival Models [0.0]
全スライディングサバイバルモデルは、個々のイベント時間に関するキャリブレーションされたステートメントなしで、リスクランキングを提供することが多い。
離散時間多重インスタンス学習サバイバルヘッド用ポストホックコンフォメーションラッパーである固定カットド・ドコサルクについて検討した。
論文 参考訳（メタデータ） (2026-07-23T12:58:04Z) - Beyond Time Shifts: Adapting Omni-LLM as a Reference-Free Evaluator for Generative Audio-Visual Models [29.611813571399097]
クロスモーダル同期は、生成されたコンテンツの世界のダイナミクスと因果関係の一貫性を評価するための重要なプロキシである。
既存の評価指標は、構造的正当性を推定し、同期を単に時間的アライメントに還元する。
本研究では,相対的人間の知覚を連続的かつグローバルに一貫した計量に蒸留する枠組みを提案する。
論文 参考訳（メタデータ） (2026-07-10T04:19:18Z) - From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape [79.30826980815927]
ルーブリックは、複雑な品質判断を構造化され、実行可能な標準に変換する明示的な基準セットです。
我々は,既存のルーリックデザインを体系的に整理し,その構築と最適化を検証し,評価と訓練をまたいだ役割を解析する。
論文 参考訳（メタデータ） (2026-06-07T13:34:55Z) - Phase-Separated Complex Hilbert PCA on Markerless 3D Pose Estimation Data: A Global Phase Network and Its Extension to a Continuous Field on the Body Surface [4.849773844811223]
スポーツ運動におけるキネマティック・チェーンの定量的解析は,パフォーマンス評価と外傷予防に不可欠である。
KS(Kinematic-Sequence)やCRP(Continuous relative phase)といった従来の手法は、隣接する結合対に限られる。
我々は、マーカーレス3Dポーズ推定データにおいて、各動き相に対して複素ヒルベルト主成分分析(CHPCA)を別々に適用する。
論文 参考訳（メタデータ） (2026-04-27T12:44:35Z) - TrustJudge: Inconsistencies of LLM-as-a-Judge and How to Alleviate Them [58.04324690859212]
自動評価器(LLM-as-a-judge)としての大規模言語モデル(LLM)は、現在の評価フレームワークにおいて重大な矛盾を明らかにしている。
スコア比較不整合とペアワイズ・トランジティビティ不整合という2つの基本的不整合を同定する。
我々は2つの重要なイノベーションを通じてこれらの制限に対処する確率的フレームワークであるTrustJudgeを提案する。
論文 参考訳（メタデータ） (2025-09-25T13:04:29Z) - RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。
提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。
実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
論文 参考訳（メタデータ） (2025-05-28T14:55:33Z) - Federated Contrastive Learning for Personalized Semantic Communication [55.46383524190467]
我々は,パーソナライズされたセマンティックコミュニケーションを支援することを目的とした,協調型コントラスト学習フレームワークを設計する。
FedCLは、複数のクライアントにわたるローカルセマンティックエンコーダと、基地局が所有するグローバルセマンティックデコーダの協調トレーニングを可能にする。
分散クライアント間の異種データセットから生じるセマンティック不均衡問題に対処するために,コントラスト学習を用いてセマンティックセントロイドジェネレータを訓練する。
論文 参考訳（メタデータ） (2024-06-13T14:45:35Z) - Revisiting the Gold Standard: Grounding Summarization Evaluation with
Robust Human Evaluation [136.16507050034755]
要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。
細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。
ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
論文 参考訳（メタデータ） (2022-12-15T17:26:05Z) - Re-Examining System-Level Correlations of Automatic Summarization
Evaluation Metrics [64.81682222169113]
システムレベルの相関により, 要約品質の人的判断を再現する自動要約評価指標を確実に定量化する。
システムレベルの相関の定義が、実際にシステムを評価するためにメトリクスがどのように使われているかと矛盾する2つの方法を特定する。
論文 参考訳（メタデータ） (2022-04-21T15:52:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。