論文の概要: From Script to Semantics: Prompting Strategies for African NLI
- arxiv url: http://arxiv.org/abs/2606.03304v1
- Date: Tue, 02 Jun 2026 08:20:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-03 22:00:04.858933
- Title: From Script to Semantics: Prompting Strategies for African NLI
- Title(参考訳): スクリプトからセマンティックスへ:アフリカのNLIの戦略を実証する
- Authors: Anuj Tiwari, Terry Oko-odion, Hannah Nwokocha,
- Abstract要約: 本稿では,スワヒリ,ヨルバ,ハウサにおける自然言語推論(NLI)の促進戦略の体系的研究について述べる。
私たちはBaseline(ゼロショット)、Script-Aware、Language Specific、Contrastive、NL-STP(Native-Label Self-Translation)の5つのプロンプト戦略を評価する。
いくつかの構成では、中性なクラス崩壊と高い予測スキューを伴う戦略間で、クラスワイズの性能に有意な差が認められる。
- 参考スコア(独自算出の注目度): 1.0705399532413615
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Large language models (LLMs) are increasingly evaluated in multilingual settings, yet their inference behavior in low-resource African languages remains underexplored especially under pure prompting without fine-tuning. We present a systematic study of prompting strategies for Natural Language Inference (NLI) in Swahili, Yoruba, and Hausa using the AfriXNLI benchmark. We evaluate five prompting strategies Baseline (zero-shot), Script-Aware, Language Specific, Contrastive, and Native-Label Self-Translation (NL-STP) across two mid-sized open weight models (Llama3.2-3B and Gemma3-4B). To isolate the effect of prompt design, the effect of few-shot examples and Chain-of-Thought reasoning is eliminated in our study. We find a significant difference in performance of class wise across strategies with highly neutral class collapse and high prediction skew in some configurations. Contrastive prompting proves to be the most reliable and steadily improving strategy over language and model and has better balance of class behavior and balance of overall accuracy gains. Notably, well-constructed prompts are sufficient to beat more powerful baselines that are provided with few-shot prompts and Chain-of-Thought prompts. We have found that prompt formulation is essential to multilingual NLI with low-resource languages and that language aware decision structuring can be used to meaningfully enhance robustness in resource challenged settings.
- Abstract(参考訳): 大規模言語モデル(LLM)は多言語環境での評価が増えているが、低リソースのアフリカの言語における推論の振る舞いは、特に微調整なしで純粋なプロンプトの下では未熟である。
我々は,AfriXNLIベンチマークを用いて,スワヒリ,ヨルバ,ハウサにおける自然言語推論(NLI)の促進戦略の体系的研究を行った。
我々は,2つの中規模オープンウェイトモデル(Llama3.2-3BとGemma3-4B)に対して,Baseline(ゼロショット),Script-Aware,Language Specific,Contrastive,Non-Label Self-Translation(NL-STP)の5つのプロンプト戦略を評価する。
本研究では, 即時設計の効果を分離するために, 少数ショット例とチェーン・オブ・ソート推論の効果を排除した。
いくつかの構成では、中性なクラス崩壊と高い予測スキューを伴う戦略間で、クラスワイズの性能に有意な差が認められる。
対照的に、プロンプトは言語とモデルに対する戦略を最も信頼性が高く着実に改善し、クラスの振る舞いのバランスと全体的な精度の向上のバランスが良いことを証明している。
特に、よく構築されたプロンプトは、数発のプロンプトとChain-of-Thoughtプロンプトを備えた、より強力なベースラインを打ち負かすのに十分である。
我々は、低リソース言語を用いた多言語NLIにおいて、迅速な定式化が不可欠であること、そして、言語を意識した意思決定構造は、リソースチャレンジされた設定における堅牢性を有意義に向上するために利用できることを発見した。
関連論文リスト
- No One Fits All: From Fixed Prompting to Learned Routing in Multilingual LLMs [22.409170147732464]
異なるリソースレベルと4つのベンチマークを持つ10言語にわたるプロンプト戦略を評価する。
各インスタンスにネイティブまたは翻訳ベースのプロンプトが最適かどうかを予測する軽量な分類器を導入する。
論文 参考訳(メタデータ) (2026-04-18T09:40:51Z) - Cross-Lingual Prompt Steerability: Towards Accurate and Robust LLM Behavior across Languages [61.18573330164572]
システムプロンプトは、推論時に大きな言語モデル(LLM)を条件付けするための軽量で強力なメカニズムを提供する。
本稿では, 異なるシステムが, 正確な, 頑健な言語間行動に対して, ステアモデルをどのように促すかを包括的に検討する。
論文 参考訳(メタデータ) (2025-12-02T14:54:54Z) - CausalAbstain: Enhancing Multilingual LLMs with Causal Reasoning for Trustworthy Abstention [9.76878200328024]
大規模言語モデル (LLM) はしばしば言語間の知識格差を示す。
textitCausalAbstain は LLM が複数のフィードバック応答を利用するかどうかを判断するのに役立つ手法である。
textitCausalAbstainは有用なフィードバックを効果的に選択し、解釈可能性による禁忌決定を強化する。
論文 参考訳(メタデータ) (2025-05-31T11:35:31Z) - PromptRefine: Enhancing Few-Shot Performance on Low-Resource Indic Languages with Example Selection from Related Example Banks [57.86928556668849]
大規模言語モデル(LLM)は、近ごろ、コンテキスト内学習(ICL)を通じて、印象的な数ショットの学習能力を実証した。
ICLのパフォーマンスは、数発のデモの選択に大きく依存しており、最も最適な例の選択は永続的な研究課題である。
本稿では,低リソースのIndic言語におけるICLの性能向上を目的とした,新しい代替最小化手法であるPromptRefineを提案する。
論文 参考訳(メタデータ) (2024-12-07T17:51:31Z) - Analyzing and Adapting Large Language Models for Few-Shot Multilingual
NLU: Are We There Yet? [82.02076369811402]
教師付きファインチューニング(SFT)、教師付きインストラクションチューニング(SIT)、インコンテキストラーニング(ICL)は、3つの代替であり、事実上の標準的アプローチである。
提案手法は,6つの高・低リソース言語,3つの異なるNLUタスク,多種多様な言語とドメインのセットアップを用いて,3つのアプローチを網羅的かつ体系的に比較する。
そこで本研究では,教師あり指導のチューニングが,性能とリソース要件の最良のトレードオフであることを示す。
論文 参考訳(メタデータ) (2024-03-04T10:48:13Z) - Multilingual Relation Classification via Efficient and Effective
Prompting [9.119073318043952]
本稿では,プロンプトベース多言語関係分類(RC)に関する最初の研究について述べる。
本稿では,関係3重項からプロンプトを合成し,クラスラベルの最小翻訳のみを伴う効率的かつ効率的な手法を提案する。
完全教師付き、少数ショット、ゼロショットのシナリオでその性能を評価し、14言語でその有効性を分析した。
論文 参考訳(メタデータ) (2022-10-25T08:40:23Z) - A Multi-level Supervised Contrastive Learning Framework for Low-Resource
Natural Language Inference [54.678516076366506]
自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。
本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-31T05:54:18Z) - Adversarial GLUE: A Multi-Task Benchmark for Robustness Evaluation of
Language Models [86.02610674750345]
AdvGLUE(Adversarial GLUE)は、様々な種類の敵攻撃の下で、現代の大規模言語モデルの脆弱性を調査し評価するための新しいマルチタスクベンチマークである。
GLUEタスクに14の逆攻撃手法を適用してAdvGLUEを構築する。
テストしたすべての言語モデルとロバストなトレーニングメソッドは、AdvGLUEではパフォーマンスが悪く、スコアは明確な精度よりもはるかに遅れています。
論文 参考訳(メタデータ) (2021-11-04T12:59:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。