論文の概要: Evaluating Prompt-Based and Fine-Tuned Approaches to Czech Anaphora Resolution

• arxiv url: http://arxiv.org/abs/2506.18091v1
• Date: Sun, 22 Jun 2025 16:32:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.742447
• Title: Evaluating Prompt-Based and Fine-Tuned Approaches to Czech Anaphora Resolution
• Title（参考訳）: チェコのアナフォラ分解能に対するプロンプトと微調整によるアプローチの評価
• Authors: Patrik Stano, Aleš Horák,
• Abstract要約: アナフォラ分解は、チェコ語のような形態学的に豊かな言語において、自然言語理解において重要な役割を担っている。 本稿では,チェコ語テキストにおけるアナフォラ分解能に対する2つの近代的アプローチの比較評価を行った。 本研究では,大規模言語モデル (LLM) と微調整型コンパクト生成モデルとの比較を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Anaphora resolution plays a critical role in natural language understanding, especially in morphologically rich languages like Czech. This paper presents a comparative evaluation of two modern approaches to anaphora resolution on Czech text: prompt engineering with large language models (LLMs) and fine-tuning compact generative models. Using a dataset derived from the Prague Dependency Treebank, we evaluate several instruction-tuned LLMs, including Mistral Large 2 and Llama 3, using a series of prompt templates. We compare them against fine-tuned variants of the mT5 and Mistral models that we trained specifically for Czech anaphora resolution. Our experiments demonstrate that while prompting yields promising few-shot results (up to 74.5% accuracy), the fine-tuned models, particularly mT5-large, outperform them significantly, achieving up to 88% accuracy while requiring fewer computational resources. We analyze performance across different anaphora types, antecedent distances, and source corpora, highlighting key strengths and trade-offs of each approach.
• Abstract（参考訳）: アナフォラ分解は、特にチェコ語のような形態学的に豊かな言語において、自然言語理解において重要な役割を担っている。 本稿では,チェコ語テキスト上でのアナフォラ分解に対する2つの近代的アプローチ,すなわち,大規模言語モデル(LLM)を用いた迅速なエンジニアリングと,微調整型コンパクト生成モデルの比較評価を行う。 Prague Dependency Treebank から得られたデータセットを用いて,Mistral Large 2 や Llama 3 などの命令調整 LLM を,一連のプロンプトテンプレートを用いて評価した。 我々は、チェコのアナフォラ分解能を特別に訓練したmT5とMistralの微調整されたモデルと比較した。 実験の結果, 精度は74.5%まで向上するが, 微調整モデル, 特にmT5大モデルでは, 精度が88%まで向上し, 計算資源の削減が図られた。 我々は,様々なアナフォラタイプ,先行距離,ソースコーパスのパフォーマンスを分析し,それぞれのアプローチの重要な強みとトレードオフを強調した。

関連論文リスト

• M-Prometheus: A Suite of Open Multilingual LLM Judges [64.22940792713713]
  M-Prometheusは,多言語出力の直接評価とペア比較フィードバックを両立できるオープンウェイトLLM判定器のスイートである。 M-Prometheusモデルは、20以上の言語にまたがる多言語報酬ベンチマークや、4つの言語対をカバーする文語機械翻訳(MT)評価において、最先端のLLM判事より優れている。
  論文  参考訳（メタデータ） (2025-04-07T11:37:26Z)
• Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
  トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。 また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。 我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
  論文  参考訳（メタデータ） (2024-11-05T12:26:25Z)
• The Power of Question Translation Training in Multilingual Reasoning: Broadened Scope and Deepened Insights [108.40766216456413]
  大規模言語モデルの英語と非英語のパフォーマンスのギャップを埋めるための質問アライメントフレームワークを提案する。 実験結果から、さまざまな推論シナリオ、モデルファミリー、サイズにわたって、多言語のパフォーマンスを向上できることが示された。 我々は、表現空間、生成された応答とデータスケールを分析し、質問翻訳訓練がLLM内の言語アライメントをどのように強化するかを明らかにする。
  論文  参考訳（メタデータ） (2024-05-02T14:49:50Z)
• Split and Rephrase with Large Language Models [2.499907423888049]
  Split and Rephrase (SPRP) タスクは、複雑な文を短い文法文の列に分割する。 タスク上の大きな言語モデルを評価し、主要なメトリクスに基づいて、技術の現状を大幅に改善できることを示します。
  論文  参考訳（メタデータ） (2023-12-18T10:16:37Z)
• On the Calibration of Multilingual Question Answering LLMs [57.296161186129545]
  複数の多言語大言語モデル(MLLM)のキャリブレーションを様々な質問応答タスクでベンチマークする。 本研究では,分布内,分布外,言語間移動設定におけるキャリブレーションの異なる次元について検討する。 LlaMa2のようなデコーダのみのLLMでは、コンテキスト内学習は多言語データの信頼性校正を改善する。
  論文  参考訳（メタデータ） (2023-11-15T03:29:02Z)
• Multilingual and Multi-topical Benchmark of Fine-tuned Language models and Large Language Models for Check-Worthy Claim Detection [1.4779899760345434]
  本研究では,(1)微調整言語モデルと(2)チェック価値のあるクレーム検出タスクにおける大規模言語モデルの性能を比較した。 様々なソースやスタイルのテキストからなる多言語・多言語データセットを構築した。
  論文  参考訳（メタデータ） (2023-11-10T15:36:35Z)
• Evaluating and Improving the Coreference Capabilities of Machine Translation Models [30.60934078720647]
  機械翻訳は幅広い言語能力を必要とする。 現在のエンドツーエンドモデルは、バイリンガルコーパスで一致した文を観察することで暗黙的に学習することが期待されている。
  論文  参考訳（メタデータ） (2023-02-16T18:16:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。