論文の概要: Repurposing Annotation Guidelines to Instruct LLM Annotators: A Case Study

• arxiv url: http://arxiv.org/abs/2510.12835v1
• Date: Mon, 13 Oct 2025 13:07:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-16 20:13:28.346477
• Title: Repurposing Annotation Guidelines to Instruct LLM Annotators: A Case Study
• Title（参考訳）: LLMアノテータを指導するためのアノテーションガイドラインの再検討
• Authors: Kon Woo Kim, Rezarta Islamaj, Jin-Dong Kim, Florian Boudin, Akiko Aizawa,
• Abstract要約: 既存のアノテーションガイドラインは、テキストアノテーションタスクのための大きな言語モデル(LLM)アノテーションを指示するために再利用することができる。 本稿では,ガイドラインをLCMの明確な指示に変換するモデレーション指向のガイドライン検索手法を提案する。
• 参考スコア（独自算出の注目度）: 18.680267879256252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study investigates how existing annotation guidelines can be repurposed to instruct large language model (LLM) annotators for text annotation tasks. Traditional guidelines are written for human annotators who internalize training, while LLMs require explicit, structured instructions. We propose a moderation-oriented guideline repurposing method that transforms guidelines into clear directives for LLMs through an LLM moderation process. Using the NCBI Disease Corpus as a case study, our experiments show that repurposed guidelines can effectively guide LLM annotators, while revealing several practical challenges. The results highlight the potential of this workflow to support scalable and cost-effective refinement of annotation guidelines and automated annotation.
• Abstract（参考訳）: 本研究では,テキストアノテーションタスクのための大規模言語モデル (LLM) アノテータを指示するために,既存のアノテーションガイドラインをいかに再利用するかを検討する。 従来のガイドラインは、トレーニングを内部化する人間アノテータ向けに書かれており、LSMは明示的で構造化された指示を必要とする。 LLM のモデレーションプロセスを通じて,ガイドラインを LLM の明確なディレクティブに変換するモデレーション指向のガイドライン再作成手法を提案する。 NCBI Disease Corpusをケーススタディとして, 再利用ガイドラインは, LLMアノテータを効果的にガイドし, 実用上の課題を明らかにした。 結果は、このワークフローが、スケーラブルで費用効率の良いガイドラインと自動アノテーションの洗練をサポートする可能性を強調している。

関連論文リスト

• Robustness via Referencing: Defending against Prompt Injection Attacks by Referencing the Executed Instruction [68.6543680065379]
  大型言語モデル(LLM)はインジェクション攻撃に弱い。 本研究では,LLMの命令追従能力を抑えるのではなく,新たな防御手法を提案する。
  論文  参考訳（メタデータ） (2025-04-29T07:13:53Z)
• Bridging Writing Manner Gap in Visual Instruction Tuning by Creating LLM-aligned Instructions [20.58878416527427]
  視覚的指示とLMMのベース言語モデル(LLM)の間にはかなりの書法差があることを論じる。 そこで本研究では,軟式視覚命令の書き方とベースLLM自体の書き方とを整合させるために,ベースLLMを活用することを提案する。
  論文  参考訳（メタデータ） (2025-03-24T03:59:06Z)
• LLMs can be easily Confused by Instructional Distractions [16.060402139507644]
  大規模言語モデルは、タスクに続く命令において例外的なスキルを示す。 この強度は、モデルが特定の命令を無視しなければならない場合に脆弱性になる可能性がある。 DIM-Benchと呼ばれる新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-02-05T04:52:57Z)
• APE: Active Learning-based Tooling for Finding Informative Few-shot Examples for LLM-based Entity Matching [14.113933201562157]
  このデモでは、APE(Active Prompt Engineering)と呼ばれるループ型ツールを紹介します。 APEは人間のフィードバックの最もあいまいな例を反復的に選択します。
  論文  参考訳（メタデータ） (2024-07-29T22:22:50Z)
• Auto-Instruct: Automatic Instruction Generation and Ranking for Black-Box Language Models [91.02730155418699]
  大規模言語モデル(LLM)は、自然言語命令に従うことで幅広いタスクを実行できる。 LLMに提供される命令の質を自動改善する新しい手法であるAuto-Instructを導入する。 118のアウトオブドメインタスクの実験では、Auto-Instructは人間による命令と既存のLCM生成命令のベースラインを超越している。
  論文  参考訳（メタデータ） (2023-10-19T19:52:55Z)
• Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
  トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。 我々は「反射チューニング」と呼ばれる新しい手法を提案する。 このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
  論文  参考訳（メタデータ） (2023-10-18T05:13:47Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)
• Enhancing Large Language Models Against Inductive Instructions with Dual-critique Prompting [55.15697111170836]
  本稿では,大規模言語モデル(LLM)のテクスト誘導的指示に対する行動を明らかにするとともに,その真しさと有用性を高める。 広範囲な人的・自動的な評価の結果,帰納的命令処理において LLM に共通する脆弱性が発見された。 異なる帰納的スタイルがモデルに同じエラーを識別する能力に影響を及ぼし、基礎となる仮定の複雑さがモデルの性能にも影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-23T06:38:20Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。