論文の概要: Discourse Dependency: A Continuous Criterion for Translation Difficulty
- arxiv url: http://arxiv.org/abs/2609.04959v1
- Date: Fri, 04 Sep 2026 10:06:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-07 18:15:23.998636
- Title: Discourse Dependency: A Continuous Criterion for Translation Difficulty
- Title(参考訳): 談話依存: 翻訳困難に対する継続的基準
- Abstract要約: 我々は、ある意味的かつ現在測定されていない軸が参照到達距離であり、そのセグメントが含んでいる実体や代名詞を解決するためにその文書を振り返らなければならないと論じる。
我々はこれを、名前付きエンティティ・リメンションとプロノミナル・コアスから計算されたメトリックフリーのソース・サイド測度である、談話依存(DDP)として定式化する。
DDPをWMT24++とWMT25に適用すると、どちらもドメインラベルが区別しない低DDPセグメントに強く結びついていることがわかる。
- 参考スコア(独自算出の注目度): 12.962948381809662
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent calls for harder machine translation benchmarks have not clarified what difficulty should mean. We argue that one meaningful and currently unmeasured axis is referential reach, the distance a segment must look back into its document to resolve the entities and pronouns it contains. We formalize this as discourse dependency (DDP), a metric-free, source-side measure computed from named entity re-mentions and pronominal coreference. Validated against gold coreference, DDP errs one-sidedly in 99.2% of segments, so a high-DDP segment is certified to require long-range context. Applying DDP to WMT24++ and WMT25 shows that both are heavily skewed toward low-DDP segments, which domain labels do not distinguish. Building on DDP, we compare five context injection strategies in an English-Korean post-editing setup, varying context size and selection. As DDP grows, no strategy keeps pace with human post-editing. On segments with DDP >= 15 raters prefer human translations, while automatic metrics register no difference. As frontier systems saturate aggregate scores, DDP shifts evaluation from how well models score to how far they can reach.
- Abstract(参考訳): 近年の機械翻訳ベンチマークの難しさは明らかになっていない。
我々は、ある意味的かつ現在測定されていない軸が参照到達距離であり、そのセグメントが含んでいる実体や代名詞を解決するためにその文書を振り返らなければならないと論じる。
我々はこれを、名前付きエンティティ・リメンションとプロノミナル・コアスから計算されたメトリックフリーのソース・サイド測度である、談話依存(DDP)として定式化する。
金のコア基準に反し、DDPは99.2%のセグメントで一方的にアースするので、高DDPセグメントは長距離コンテキストを必要とすることが保証される。
DDPをWMT24++とWMT25に適用すると、どちらもドメインラベルが区別しない低DDPセグメントに強く結びついていることがわかる。
DDP上に構築した5つのコンテキストインジェクション戦略を,英語と韓国語による後編集,文脈サイズ,選択の異なる設定で比較した。
DDPが成長するにつれて、ヒトのポスト編集と歩調を合わせる戦略は存在しない。
DDP >= 15 のラッカーは人間の翻訳を好むが、自動測度では差は認められない。
フロンティアシステムが集計スコアを飽和させるにつれて、DDPはモデルがどれだけのスコアを得られるかを評価する。
関連論文リスト
- IndicQE-APE: A Benchmark for Quality Estimation and Automatic Post-Editing for Indic Languages [77.88427845181154]
我々はWMT 2020-2024の共有タスクの系統を、英語のリソースを拡張してインディクシーに集約する:9つの方向対に対して126,754ドルのインスタンス。
セグメントレベルのQEでは,LSMが6つ,COMETが3つ,APEでは3つのシステムをベンチマークした。
論文 参考訳(メタデータ) (2026-08-17T09:50:52Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳(メタデータ) (2026-06-02T07:01:33Z) - LIBERO-Para: A Diagnostic Benchmark and Metrics for Paraphrase Robustness in VLA Models [15.955490895662384]
本稿では,言語一般化の詳細な解析のためのベンチマークであるLIBERO-Paraを紹介する。
パラフレージングにより22-52ppの連続的な性能劣化が観察された。
本稿では,意味的因子と構文的因子を用いてパラフレーズの難易度を定量化する指標PRIDEを提案する。
論文 参考訳(メタデータ) (2026-03-30T11:27:34Z) - Scaling DPPs for RAG: Density Meets Diversity [10.57930385564285]
Retrieval-Augmented Generation (RAG) は、外部知識を基盤として、Large Language Models (LLM) を強化する。
標準的なRAGパイプラインは、関連ランキングを使用してコンテキストを構築し、ユーザクエリと各コーパスチャンク間のポイントワイズスコアを実行する。
本稿では,DPP(Determinantal Point Processes)を軽量P-Adapterを通じて組み込んだRAGの多様性を考慮した検索機構であるScalDPPを提案する。
論文 参考訳(メタデータ) (2026-02-04T07:37:07Z) - Agent Data Protocol: Unifying Datasets for Diverse, Effective Fine-tuning of LLM Agents [85.02904078131682]
本稿では,エージェントデータセット間の"インターリングア"として機能する軽量表現言語であるエージェントデータプロトコル(ADP)を紹介する。
ADPはAPI/ツールの使用、ブラウジング、コーディング、ソフトウェアエンジニアリング、一般的なエージェントなど、さまざまなタスクを捉えるのに十分な表現力を持っている。
すべてのコードとデータが公開され、ADPが標準化され、スケーラブルで再現可能なエージェントトレーニングの障壁を低くすることを期待している。
論文 参考訳(メタデータ) (2025-10-28T17:53:13Z) - Don't Sweat the Small Stuff: Segment-Level Meta-Evaluation Based on Pairwise Difference Correlation [6.842448271028217]
Pairwise Different Pearson (PDP)は機械翻訳のための新しいセグメントレベルのメタ評価指標である
以前のPearsonの$rho$ベースとKendallの$tau$ベースのメタ評価アプローチの制限に対処する。
論文 参考訳(メタデータ) (2025-09-29T22:06:50Z) - Alleviating Distribution Shift in Synthetic Data for Machine Translation Quality Estimation [55.73341401764367]
合成QEデータの分散シフトを緩和する新しいフレームワークであるDCSQEを紹介する。
DCSQEは、参照、すなわち翻訳監督信号を使用して、生成プロセスとアノテーションプロセスの両方をガイドする。
実験により、DCSQEは教師なし設定と教師なし設定の両方でSOTAベースラインを上回っていることが示された。
論文 参考訳(メタデータ) (2025-02-27T10:11:53Z) - Does Manipulating Tokenization Aid Cross-Lingual Transfer? A Study on
POS Tagging for Non-Standardized Languages [18.210880703295253]
3つの異なる家系の7つの言語で事前訓練された言語モデル(PLM)を精査する。
我々は,そのゼロショット性能を,近縁な非標準多様体で解析する。
全体として、ソース内のサブワードに分割される単語の割合とターゲットデータとの類似性が、ターゲットデータ上でのモデル性能の予測に最強であることが判明した。
論文 参考訳(メタデータ) (2023-04-20T08:32:34Z) - Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。
本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。
本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。
セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
論文 参考訳(メタデータ) (2021-10-04T03:59:15Z) - Structured Domain Adaptation with Online Relation Regularization for
Unsupervised Person Re-ID [62.90727103061876]
Unsupervised Domain adapt(UDA)は、ラベル付きソースドメインデータセットでトレーニングされたモデルを、ラベルなしのターゲットドメインデータセットに適応させることを目的としている。
本稿では,オンライン関係整合性正規化項を用いたエンドツーエンドなドメイン適応フレームワークを提案する。
提案手法は,複数のUDAタスクにおける人物再IDの最先端性能を実現することを目的としている。
論文 参考訳(メタデータ) (2020-03-14T14:45:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。