論文の概要: Repurposing Annotation Guidelines to Instruct LLM Annotators: A Case Study

• arxiv url: http://arxiv.org/abs/2510.12835v1
• Date: Mon, 13 Oct 2025 13:07:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.346477
• Title: Repurposing Annotation Guidelines to Instruct LLM Annotators: A Case Study
• Title（参考訳）: LLMアノテータを指導するためのアノテーションガイドラインの再検討
• Authors: Kon Woo Kim, Rezarta Islamaj, Jin-Dong Kim, Florian Boudin, Akiko Aizawa,
• Abstract要約: 既存のアノテーションガイドラインは、テキストアノテーションタスクのための大きな言語モデル(LLM)アノテーションを指示するために再利用することができる。 本稿では,ガイドラインをLCMの明確な指示に変換するモデレーション指向のガイドライン検索手法を提案する。
• 参考スコア（独自算出の注目度）: 18.680267879256252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study investigates how existing annotation guidelines can be repurposed to instruct large language model (LLM) annotators for text annotation tasks. Traditional guidelines are written for human annotators who internalize training, while LLMs require explicit, structured instructions. We propose a moderation-oriented guideline repurposing method that transforms guidelines into clear directives for LLMs through an LLM moderation process. Using the NCBI Disease Corpus as a case study, our experiments show that repurposed guidelines can effectively guide LLM annotators, while revealing several practical challenges. The results highlight the potential of this workflow to support scalable and cost-effective refinement of annotation guidelines and automated annotation.
• Abstract（参考訳）: 本研究では,テキストアノテーションタスクのための大規模言語モデル (LLM) アノテータを指示するために,既存のアノテーションガイドラインをいかに再利用するかを検討する。 従来のガイドラインは、トレーニングを内部化する人間アノテータ向けに書かれており、LSMは明示的で構造化された指示を必要とする。 LLM のモデレーションプロセスを通じて,ガイドラインを LLM の明確なディレクティブに変換するモデレーション指向のガイドライン再作成手法を提案する。 NCBI Disease Corpusをケーススタディとして, 再利用ガイドラインは, LLMアノテータを効果的にガイドし, 実用上の課題を明らかにした。 結果は、このワークフローが、スケーラブルで費用効率の良いガイドラインと自動アノテーションの洗練をサポートする可能性を強調している。

関連論文リスト

• Robustness via Referencing: Defending against Prompt Injection Attacks by Referencing the Executed Instruction [68.6543680065379]
  大型言語モデル(LLM)はインジェクション攻撃に弱い。 本研究では,LLMの命令追従能力を抑えるのではなく,新たな防御手法を提案する。
  論文  参考訳（メタデータ） (2025-04-29T07:13:53Z)
• Bridging Writing Manner Gap in Visual Instruction Tuning by Creating LLM-aligned Instructions [20.58878416527427]
  視覚的指示とLMMのベース言語モデル(LLM)の間にはかなりの書法差があることを論じる。 そこで本研究では,軟式視覚命令の書き方とベースLLM自体の書き方とを整合させるために,ベースLLMを活用することを提案する。
  論文  参考訳（メタデータ） (2025-03-24T03:59:06Z)
• LLMs can be easily Confused by Instructional Distractions [16.060402139507644]
  大規模言語モデルは、タスクに続く命令において例外的なスキルを示す。 この強度は、モデルが特定の命令を無視しなければならない場合に脆弱性になる可能性がある。 DIM-Benchと呼ばれる新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-02-05T04:52:57Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。