論文の概要: SIREN: Situation-aware Index for Response and Emergency ActioNability in Crisis Translation
- arxiv url: http://arxiv.org/abs/2610.16646v1
- Date: Mon, 12 Oct 2026 12:06:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 22:07:57.030857
- Title: SIREN: Situation-aware Index for Response and Emergency ActioNability in Crisis Translation
- Title(参考訳): SIREN:危機翻訳における対応と緊急アクチオナビリティに関する状況認識指標
- Abstract要約: SIREN(Situation-aware Index for Response and Emergency ActioNability)は人体評価の枠組みである。
エラーレベルでは,ChatGPT-4o と Google Translate の HOPE 注釈付きイタリア語-英語翻訳に適用する。
メッセージレベルでは、TranslateGemma-4BとGoogle Translateによる英仏翻訳を評価する。
- 参考スコア(独自算出の注目度): 3.1948816877289268
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Machine translation (MT) is increasingly utilized in multilingual crisis communication, yet conventional evaluation does not directly assess whether translated emergency messages preserve their actionability. We introduce SIREN (Situation-aware Index for Response and Emergency ActioNability), a human evaluation framework assessing whether translation choices compromise protective action, directive force, and urgency of the source text. We evaluate SIREN in two complementary settings. At the error level, we apply it to HOPE-annotated Italian--English translations produced by ChatGPT-4o and Google Translate: 31.63\% and 48.73\% of errors, respectively, compromise actionability, predominantly by affecting the protective action. At the message level, we evaluate English--French translations produced by TranslateGemma-4B and Google Translate, with actionability preserved in 85.34\% and 92.67\% of translations, respectively. TranslateGemma-4B failures predominantly weaken directive force, whereas Google Translate failures more often compromise protective actions and receive Major impact ratings. These findings show that translation systems can differ not only in how often actionability is lost, but also in the nature and functional impact of these failures. Alongside SIREN, we contribute an English--French crisis-translation resource with human actionability annotations and post-edited reference translations, supporting further research on function-oriented evaluation for crisis communication. Our experimental data is available at https://github.com/mcstaiano/SIREN.
- Abstract(参考訳): 機械翻訳(MT)は多言語危機コミュニケーションにおいてますます活用されているが、従来の評価では、翻訳された緊急メッセージが動作可能性を維持するかどうかを直接評価するものではない。
SIREN(Situation-Aware Index for Response and Emergency ActioNability)は,翻訳選択が保護行動,指令力,緊急性を損なうか否かを評価する人間評価フレームワークである。
SIRENを2つの相補的設定で評価した。
エラーレベルでは,ChatGPT-4o と Google Translate の HOPE 注釈付きイタリア語-英語翻訳にそれぞれ 31.63 % と 48.73 % の誤差を施す。
メッセージレベルでは,TranslateGemma-4B と Google Translate が生成する英仏翻訳を評価し,それぞれ85.34\% と92.67\% の動作性が保持されている。
翻訳Gemma-4Bの障害は、主に指令力の低下を招き、Google Translateの障害は保護行為を妥協し、大きな影響評価を受けることが多い。
これらの結果から, 翻訳システムは, 動作可能性の喪失頻度だけでなく, 障害の性質や機能的影響にも異なる可能性が示唆された。
SIRENとともに、人間の行動可能性アノテーションや編集後参照翻訳による英仏危機翻訳資源を提供し、危機コミュニケーションのための機能指向評価のさらなる研究を支援する。
実験データはhttps://github.com/mcstaiano/SIREN.comで公開されています。
関連論文リスト
- Generative AI translations in high-stakes emergency messaging [2.1995878015371986]
極端な天候の報告や地震の指示のような緊急メッセージには、高い利害関係が伴うことがある。
したがって、機械翻訳や生成人工知能の使用は推奨されない。
英語から中国語とスペイン語に翻訳された地震指示文のAI生成による実験により、談話固有のプロンプトは理解性と行動可能性を大幅に改善できることが示された。
論文 参考訳(メタデータ) (2026-10-06T16:06:22Z) - Inference-Time Steering for Cross-Lingual Factual Consistency in LLMs [51.56484100374058]
大規模言語モデル(LLM)は目覚ましい多言語流布を示すが、その内部知識表現はハイリソース言語に対して不均等に偏っている。
我々は,これらのバイアスを推論時に緩和できるかどうかを考察し,対象言語でクエリされたかのように,英語の確率モデルに答えるように強制する。
Gemma 3 12Bの実験では、最も強い全体的な介入、効率性のバランス、安全性、ドメイン外の一般化を促すペルソナが明らかにされている。
論文 参考訳(メタデータ) (2026-07-21T16:15:05Z) - LLM-Powered Automatic Translation and Urgency in Crisis Scenarios [0.21485350418225244]
大規模言語モデル(LLM)は危機の準備と対応のためにますます提案されている。
本研究では,危機領域翻訳における最先端LLMと機械翻訳システムの性能について検討する。
論文 参考訳(メタデータ) (2026-02-13T20:56:06Z) - Toxicity-Aware Few-Shot Prompting for Low-Resource Singlish Translation [3.7678366606419345]
低リソースの言語ペア間の有害な内容の翻訳は、攻撃的な表現を衛生化するための並列データと安全フィルタの不足による課題を提起する。
コードミキシングされたSinglishセーフティコーパス上で実証された毒性保存翻訳のための2段階のフレームワークを提案する。
我々は,Singlishを包括的NLPテストベッドとして位置づけることにより,実世界の応用における社会言語的ニュアンスを維持することの重要性を強調した。
論文 参考訳(メタデータ) (2025-07-16T06:58:02Z) - Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering [68.3400058037817]
本稿では,TREQA(Translation Evaluation via Question-Answering)について紹介する。
我々は,TREQAが最先端のニューラルネットワークとLLMベースのメトリクスより優れていることを示し,代用段落レベルの翻訳をランク付けする。
論文 参考訳(メタデータ) (2025-04-10T09:24:54Z) - LLMs for Translation: Historical, Low-Resourced Languages and Contemporary AI Models [0.0]
本稿は、ゲミニが18世紀のオスマン帝国の写本『Infidels: The Memoirs of Osman Agha of Timisoara』を翻訳した際の業績について考察する。
我々の分析によると、ジェミニの安全メカニズムは、原稿の14~23%を有害と判断し、未訳の通過をもたらすことがわかった。
論文 参考訳(メタデータ) (2025-03-14T21:59:12Z) - Understanding and Addressing the Under-Translation Problem from the Perspective of Decoding Objective [72.83966378613238]
最新のニューラル・マシン・トランスレーション(NMT)システムでは、アンダー・トランスレーションとオーバー・トランスレーションの2つの課題が残っている。
我々は,NMTにおけるアンダートランスレーションの根本原因を詳細に分析し,デコード目的の観点から解説する。
本研究は,低翻訳の検知器としてEOS(End Of Sentence)予測の信頼性を活用し,低翻訳のリスクが高い候補を罰する信頼性に基づくペナルティを強化することを提案する。
論文 参考訳(メタデータ) (2024-05-29T09:25:49Z) - Lost In Translation: Generating Adversarial Examples Robust to
Round-Trip Translation [66.33340583035374]
本研究は, ラウンドトリップ翻訳における現在のテキスト対逆攻撃の堅牢性に関する包括的研究である。
筆者らは,現在最先端のテキストベースの6つの敵攻撃が,ラウンドトリップ翻訳後の有効性を維持していないことを実証した。
本稿では,機械翻訳を逆例生成のプロセスに組み込むことにより,この問題に対する介入に基づく解決策を提案する。
論文 参考訳(メタデータ) (2023-07-24T04:29:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。