論文の概要: TACTICS: Taxonomy-Aware Intelligent Corpus Sampling for Machine Translation
- arxiv url: http://arxiv.org/abs/2609.17956v1
- Date: Wed, 16 Sep 2026 00:34:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.580524
- Title: TACTICS: Taxonomy-Aware Intelligent Corpus Sampling for Machine Translation
- Title(参考訳): TACTICS: 機械翻訳のための分類学を意識したインテリジェントコーパスサンプリング
- Abstract要約: 大規模な機械翻訳(MT)システムは通常、その分布組成がどのように組み立てられたかの人工物であるコーパスからのランダムなサンプルで評価される。
本稿では,対象を明示的な目的として再放送するTACTICSを提案する。
- 参考スコア(独自算出の注目度): 1.5891911851102112
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large-scale machine-translation (MT) systems are typically evaluated on random samples from a corpus whose distributional composition is an artifact of how it was assembled. Such a sample inherits the phenomena the collection happens to contain rather than the full space a system must handle, spanning rule-governed conventions (terminology, punctuation, currency formatting) and context-dependent phenomena (tone, honorifics, document-level coherence), and thus provides no coverage guarantee for assessing robustness. We propose TACTICS (Taxonomy-Aware Coverage-opTimized Intelligent Corpus Sampling), which recasts coverage as an explicit objective. TACTICS induces a hierarchical taxonomy from a locale style guide, classifies segments against it, and selects a fixed-budget subset jointly optimizing coverage of rare categories, document-level coherence, and distributional fidelity to the full corpus. Applied to MT evaluation across four translation directions, TACTICS improves coverage of rare categories over lexical and embedding-based selection. By targeting the phenomena that separate systems, TACTICS makes a fixed evaluation budget go further, recovering the true system ranking from far fewer segments than random sampling wherever a real quality gap exists and never signaling a difference where none exists.
- Abstract(参考訳): 大規模な機械翻訳(MT)システムは通常、その分布組成がどのように組み立てられたかの人工物であるコーパスからのランダムなサンプルで評価される。
このようなサンプルは、システムが扱わなければならない全空間ではなく、規則に支配された慣習(用語、句読点、通貨の定式化)と文脈に依存した現象(音色、名誉、文書レベルの一貫性)にまたがって収集される現象を継承し、堅牢性を評価するためのカバレッジ保証を提供しない。
本稿では,TACTICS (Taxonomy-Aware Coverage-opTimized Intelligent Corpus Smpling) を提案する。
TACTICSは、ローカライズスタイルのガイドから階層的な分類を誘導し、それに対してセグメントを分類し、稀なカテゴリ、文書レベルの一貫性、および全コーパスに対する分布の忠実度を共同最適化する固定予算サブセットを選択する。
4つの翻訳方向のMT評価に適用すると、TACTICSは語彙や埋め込みに基づく選択よりも稀なカテゴリのカバレッジを向上させる。
TACTICSは、個別のシステムが異なる現象をターゲットとして、固定評価予算をさらに進め、実際の品質格差が存在する場合のランダムサンプリングよりも、真のシステムランキングをはるかに少ないセグメントから回収し、何も存在しない差を合図しない。
関連論文リスト
- Beyond Flat Labels: Level-Restricted Contrastive Learning for Hierarchical Fine-Grained Vision Classification [50.20892407648858]
マルチモーダルコントラスト学習は、画像とテキストカテゴリを整列させることで、ゼロショットの視覚的分類を可能にした。
既存の手法は、しばしば分類学レベルで矛盾する予測を生成する。
本稿では,各分類レベルが適切な最適化を受けることを保証するグループバランス設計を提案する。
我々は、BioCLIPに基づいてTreeOfLife-10Mでモデルをトレーニングし、複数の階層分類ベンチマークで評価する。
論文 参考訳(メタデータ) (2026-06-20T02:12:05Z) - Rubric-as-Experts: Case-Specific MQM Rubrics for Translation Quality Evaluation [25.962832706506457]
大規模言語モデル(LLM)は、細粒度翻訳品質評価(QE)において強い可能性を示している。
既存のMQMベースのアプローチは通常、すべての翻訳サンプル間で共有される固定されたルーブリック構成に依存します。
本稿では,個別翻訳インスタンスに対するMQM評価空間を適応的に構築するケース固有動的ルーリックフレームワークを提案する。
論文 参考訳(メタデータ) (2026-06-19T15:56:16Z) - Robust Active Learning for Few-Shot Example Selection in Text-to-SQL [0.0]
サンプル検索は大規模言語モデルの基盤となる主要なパラダイムである。
我々はこれらの例のアクティブな選択を制約付き実験設計問題として定式化する。
標準的なアクティブな学習フレームワークとは異なり、私たちの設定には3つの重要な課題があります。
論文 参考訳(メタデータ) (2026-06-08T19:56:24Z) - Weight-Informed Self-Explaining Clustering for Mixed-Type Tabular Data [63.62853416081748]
WISEは表現、特徴重み付け、クラスタリング、解釈を統一するフレームワークである。
クラスタリングを駆動する同じプリミティブに根ざした、忠実で人間解釈可能な説明を生成する。
論文 参考訳(メタデータ) (2026-04-07T13:18:31Z) - Automated Skill Decomposition Meets Expert Ontologies: Bridging the Granularity Gap with LLMs [1.2891210250935148]
本稿では,Large Language Models (LLM) を用いた自動スキル分解について検討する。
我々のフレームワークは、パイプラインをプロンプトと生成から正規化とオントロジーノードとのアライメントまで標準化する。
出力を評価するために、コンテンツ精度を評価するために最適な埋め込みベースのマッチングを使用するF1スコアと、粒度を評価するために構造的に正しい配置を信用する階層型F1スコアの2つの指標を導入する。
論文 参考訳(メタデータ) (2025-10-13T12:03:06Z) - SCORE: A Semantic Evaluation Framework for Generative Document Parsing [2.5101597298392098]
マルチモーダル生成文書解析システムは意味論的に正しいが構造的に異なる出力を生成する。
従来のメトリクス-CER, WER, IoU, TEDS-misclassized such diversity as error, penalizing valid interpretations and obscuring system behavior。
SCORE, (i) 調整した編集距離を頑健な内容の忠実度と統合する解釈非依存のフレームワーク, (ii) トークンレベルの診断で幻覚と排便を区別する, (iii) 空間的寛容とセマンティックアライメントによるテーブル評価, (iv) 階層対応の整合性チェックを紹介する。
論文 参考訳(メタデータ) (2025-09-16T16:06:19Z) - Hierarchical Conformal Classification [5.964388602612373]
コンフォーマル予測(CP)は、機械学習モデルにおける不確実性を定量化する強力なフレームワークである。
標準CPは、クラスをフラットで非構造化として扱い、クラスラベル間の意味や階層構造のような関係を無視している。
本稿では,クラス階層を予測集合の構造と意味論の両方に組み込んだCPの拡張である階層型HCCal Classification (HCC)を提案する。
論文 参考訳(メタデータ) (2025-08-18T18:05:55Z) - METER: Multi-modal Evidence-based Thinking and Explainable Reasoning -- Algorithm and Benchmark [48.78602579128459]
本稿では,画像,ビデオ,音声,映像コンテンツにまたがる偽造検出のための統合ベンチマークMETERを紹介する。
我々のデータセットは4つのトラックから構成されており、それぞれのトラックは実際のvsフェイク分類だけでなく、エビデンスチェーンに基づく説明も必要である。
論文 参考訳(メタデータ) (2025-07-22T03:42:51Z) - Consistent Supervised-Unsupervised Alignment for Generalized Category Discovery [49.67913741459179]
Generalized Category Discovery (GCD)は、未知のデータから新しいカテゴリを同時に発見しながら、既知のカテゴリを分類することに焦点を当てている。
従来のGCD手法は、不整合最適化目標とカテゴリー混乱による課題に直面している。
本稿ではニューラル・コラプスにインスパイアされた一般化カテゴリー発見(NC-GCD)フレームワークを提案する。
論文 参考訳(メタデータ) (2025-07-07T07:34:41Z) - Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。
これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。
提案手法は他の最先端アルゴリズムに対して好適に機能する。
論文 参考訳(メタデータ) (2024-05-15T00:17:48Z) - On the Limitations of Cross-lingual Encoders as Exposed by
Reference-Free Machine Translation Evaluation [55.02832094101173]
クロスランガルエンコーダの評価は通常、教師付き下流タスクにおけるゼロショットのクロスランガル転送または教師なしのクロスランガル類似性によって行われる。
本稿では、ソーステキストと(低品質な)システム翻訳を直接比較するMT(Reference-free Machine Translation)の評価について述べる。
事前学習したM-BERTとLASERで得られた最先端の言語間セマンティック表現に基づいて,様々なメトリクスを体系的に検討する。
参照なしMT評価において,セマンティックエンコーダとしての性能は低く,その2つの重要な限界を同定する。
論文 参考訳(メタデータ) (2020-05-03T22:10:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。