Fugu-MT 論文翻訳(概要): DAHRS: Divergence-Aware Hallucination-Remediated SRL Projection

論文の概要: DAHRS: Divergence-Aware Hallucination-Remediated SRL Projection

arxiv url: http://arxiv.org/abs/2407.09283v1
Date: Fri, 12 Jul 2024 14:13:59 GMT
ステータス: 処理完了
システム内更新日: 2024-07-15 23:18:28.543597
Title: DAHRS: Divergence-Aware Hallucination-Remediated SRL Projection
Title（参考訳）: DAHRS:ダイバージェンスを意識した幻覚-SRLプロジェクション
Authors: Sangpil Youm, Brodie Mather, Chathuri Jayaweera, Juliana Prada, Bonnie Dorr,
Abstract要約: 多様性を意識した幻覚-SRLプロジェクション(DAHRS) 言語的にインフォームドされた修復アライメントを利用してDAHRSを実装した上で,greedy First-Come First-CFA (F) SRLプロジェクションを施行した。 XSRLよりも高い単語レベルF1を達成する:87.6%対77.3%(EN-FR)、89.0%対82.7%(EN-ES)
参考スコア（独自算出の注目度）: 0.7922558880545527
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Semantic role labeling (SRL) enriches many downstream applications, e.g., machine translation, question answering, summarization, and stance/belief detection. However, building multilingual SRL models is challenging due to the scarcity of semantically annotated corpora for multiple languages. Moreover, state-of-the-art SRL projection (XSRL) based on large language models (LLMs) yields output that is riddled with spurious role labels. Remediation of such hallucinations is not straightforward due to the lack of explainability of LLMs. We show that hallucinated role labels are related to naturally occurring divergence types that interfere with initial alignments. We implement Divergence-Aware Hallucination-Remediated SRL projection (DAHRS), leveraging linguistically-informed alignment remediation followed by greedy First-Come First-Assign (FCFA) SRL projection. DAHRS improves the accuracy of SRL projection without additional transformer-based machinery, beating XSRL in both human and automatic comparisons, and advancing beyond headwords to accommodate phrase-level SRL projection (e.g., EN-FR, EN-ES). Using CoNLL-2009 as our ground truth, we achieve a higher word-level F1 over XSRL: 87.6% vs. 77.3% (EN-FR) and 89.0% vs. 82.7% (EN-ES). Human phrase-level assessments yield 89.1% (EN-FR) and 91.0% (EN-ES). We also define a divergence metric to adapt our approach to other language pairs (e.g., English-Tagalog).
Abstract（参考訳）: セマンティックロールラベリング(SRL)は、機械翻訳、質問応答、要約、スタンス/ビリーフ検出など、多くの下流アプリケーションを強化している。しかし、多言語SRLモデルの構築は、複数の言語に対する意味的注釈付きコーパスが不足しているため困難である。さらに、大言語モデル(LLM)に基づく最先端SRLプロジェクション(XSRL)は、突発的なロールラベルで取り除かれた出力を出力する。このような幻覚の修復は、LSMの説明可能性の欠如のため、容易ではない。幻覚的役割ラベルは、初期アライメントに干渉する自然発生の発散タイプと関連していることを示す。言語的にインフォームドされたアライメントの修復と,greedy First-Come First-Assign (FCFA) SRL プロジェクションを併用し,Dergence-Aware Hallucination-Remediated SRL projection (DAHRS)を実装した。 DAHRSは、追加のトランスフォーマーベースの機械を使わずにSRLプロジェクションの精度を改善し、XSRLを人間と自動の比較の両方で打ち破り、フレーズレベルのSRLプロジェクション(例:EN-FR、EN-ES)に対応するためにワードを超えて前進する。根拠としてCoNLL-2009を用い、XSRLよりも87.6%、77.3%(EN-FR)、89.0%(EN-ES)の単語レベルF1を達成する。ヒトの句レベルの評価は89.1%(EN-FR)と91.0%(EN-ES)である。また、他の言語ペア(例えば、英語-タガログ)にアプローチを適用するために、分岐計量を定義する。

関連論文リスト

Machine Translation Hallucination Detection for Low and High Resource Languages using Large Language Models [12.447489454369636]
本稿では,Large Language Models (LLM) を用いた文レベルの幻覚検出手法と多言語埋め込みにおける意味的類似性について述べる。 LLMは、いかなる機械翻訳タスクに対しても明示的に訓練されていないにもかかわらず、以前提案されたモデルと同等またはそれ以上の性能を達成することができる。
論文参考訳（メタデータ） (2024-07-23T13:40:54Z)
FLAME: Factuality-Aware Alignment for Large Language Models [86.76336610282401]
従来のアライメントプロセスでは,大規模言語モデル(LLM)の事実精度が向上しない。両段階の幻覚につながる要因は,教師付き微調整(SFT)と強化学習(RL)である。直接選好最適化により,事実認識型SFTと事実認識型RLで構成された事実認識型アライメントを提案する。
論文参考訳（メタデータ） (2024-05-02T17:54:54Z)
"Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。本研究は,Halucination rate,Halucination rate,Halucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sorucination rate,Sr。
論文参考訳（メタデータ） (2023-12-18T17:18:04Z)
Persian Semantic Role Labeling Using Transfer Learning and BERT-Based Models [5.592292907237565]
本稿では,特徴抽出の必要性を解消するだけでなく,既存手法よりも優れた特徴抽出手法を提案する。提案手法は補助的特徴を一切用いておらず, 同様の状況下では従来手法に比べて精度が16(83.16)以上向上している。
論文参考訳（メタデータ） (2023-06-17T12:50:09Z)
CharSpan: Utilizing Lexical Similarity to Enable Zero-Shot Machine Translation for Extremely Low-resource Languages [22.51558549091902]
我々は,超低リソース言語 (ELRL) から英語への機械翻訳 (MT) の課題を,「近縁」な高リソース言語 (HRL) からの言語間移動を活用して解決する。多くのERRLは、いくつかのHRLと語彙的類似性を共有しており、新しいモデリングの機会を提供する。既存のサブワードベースのニューラルMTモデルは、HRLとELRLの埋め込み空間を暗黙的に調整するだけであるため、この語彙的類似性を明示的に利用しない。 HRLのトレーニングデータに「文字スパンノイズ増強」に基づく新しいCharSpanアプローチを提案する。
論文参考訳（メタデータ） (2023-05-09T07:23:01Z)
PriMeSRL-Eval: A Practical Quality Metric for Semantic Role Labeling Systems Evaluation [66.79238445033795]
より厳密なSRL評価指標PriMeSRLを提案する。また,PriMeSRLは,すべてのSoTA SRLモデルの品質評価を著しく低下させることを示した。また、PriMeSRLは、SoTA SRLモデルにおける実際の故障を必然的にペナルティ化することを示す。
論文参考訳（メタデータ） (2022-10-12T17:04:28Z)
Is Reinforcement Learning (Not) for Natural Language Processing?: Benchmarks, Baselines, and Building Blocks for Natural Language Policy Optimization [73.74371798168642]
我々は、強化学習による言語生成を最適化するためのオープンソースのモジュールライブラリRL4LMを紹介する。次に、ターゲット文字列ではなく、報酬関数によって教師される6つの言語生成タスクのセットであるGRUEベンチマークを示す。最後に,言語生成における動作空間を効果的に削減するNLPOアルゴリズムを提案する。
論文参考訳（メタデータ） (2022-10-03T21:38:29Z)
Overlap-based Vocabulary Generation Improves Cross-lingual Transfer Among Related Languages [18.862296065737347]
語彙重なりの次元に沿った言語族における言語間の関連性は、LRLのコーパス制限を克服するために活用される可能性がある。そこで我々は,BPE語彙生成アルゴリズムを改良したOverlap BPEを提案する。
論文参考訳（メタデータ） (2022-03-03T19:35:24Z)
Syntax Role for Neural Semantic Role Labeling [77.5166510071142]
意味的役割ラベリング(SRL)は、文の意味的述語・代名詞構造を認識することを目的としている。従来のモデルでは、構文情報はSRLのパフォーマンスに顕著な貢献をする可能性がある。最近の神経SRL研究は、構文情報は神経意味的役割のラベル付けにおいてはるかに重要でないことを示している。
論文参考訳（メタデータ） (2020-09-12T07:01:12Z)
Cross-lingual Semantic Role Labeling with Model Transfer [49.85316125365497]
言語間セマンティックロールラベリングは、普遍的な特徴の助けを借りてモデル転送によって達成できる。本稿では,多種多様なユニバーサル特徴と転送手法を組み込んだエンドツーエンドSRLモデルを提案する。
論文参考訳（メタデータ） (2020-08-24T09:37:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。