論文の概要: Codebook LLMs: Evaluating LLMs as Measurement Tools for Political Science Concepts

• arxiv url: http://arxiv.org/abs/2407.10747v2
• Date: Thu, 09 Jan 2025 14:35:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 13:57:11.430631
• Title: Codebook LLMs: Evaluating LLMs as Measurement Tools for Political Science Concepts
• Title（参考訳）: Codebook LLMs:政治科学概念の測定ツールとしてのLLMの評価
• Authors: Andrew Halterman, Katherine A. Keith,
• Abstract要約: 抗議イベントや政治暴力、マニフェストなど、現実世界の3つの政治科学のコードブックを収集し、キュレートしています。 我々は,コードブック-LLM計測のための5段階のフレームワークを提案する。人間とLLMの両方のためのコードブックを作成し,LLMの基本機能をコードブック上でテストし,ゼロショット計測精度を評価する。 現在のオープンウェイトLLMは、以下のコードブックのゼロショットに制限があるが、教師あり指導チューニングは性能を大幅に向上させることができる。
• 参考スコア（独自算出の注目度）: 7.005758904228446
• License:
• Abstract: Codebooks -- documents that operationalize concepts and outline annotation procedures -- are used almost universally by social scientists when coding political texts. To code these texts automatically, researchers are increasing turning to generative large language models (LLMs). However, there is limited empirical evidence on whether "off-the-shelf" LLMs faithfully follow real-world codebook operationalizations and measure complex political constructs with sufficient accuracy. To address this, we gather and curate three real-world political science codebooks -- covering protest events, political violence and manifestos -- along with their unstructured texts and human labels. We also propose a five-stage framework for codebook-LLM measurement: preparing a codebook for both humans and LLMs, testing LLMs' basic capabilities on a codebook, evaluating zero-shot measurement accuracy (i.e. off-the-shelf performance), analyzing errors, and further (parameter-efficient) supervised training of LLMs. We provide an empirical demonstration of this framework using our three codebook datasets and several pretrained 7-12 billion open-weight LLMs. We find current open-weight LLMs have limitations in following codebooks zero-shot, but that supervised instruction tuning can substantially improve performance. Rather than suggesting the "best" LLM, our contribution lies in our codebook datasets, evaluation framework, and guidance for applied researchers who wish to implement their own codebook-LLM measurement projects.
• Abstract（参考訳）: 概念を運用し、アノテーションの手順を概説する文書であるコードブックは、政治文書をコーディングする際、ほぼ普遍的に社会科学者によって使用されている。 これらのテキストを自動的にコーディングするために、研究者はジェネレーティブな大規模言語モデル(LLMs)への転換を増やしている。 しかし、LLMが現実世界のコードブックの運用に忠実に従い、複雑な政治構造を十分な精度で測定するかどうかについての実証的な証拠は限られている。 これに対処するため、我々は、抗議イベント、政治的暴力、マニフェストを含む3つの現実世界の政治科学のコードブックを、構造化されていないテキストや人間のラベルとともに収集し、キュレートしました。 また,コードブック-LLM計測のための5段階のフレームワークを提案する。人間とLLMのためのコードブックの作成,LLMの基本能力をコードブック上でテストし,ゼロショット計測精度(即ち市販性能)を評価し,エラーを分析し,さらにLLMの監督的トレーニングを行う。 3つのコードブックデータセットと、事前訓練された7〜12億個のオープンウェイトLLMを使用して、このフレームワークの実証デモを行う。 現在のオープンウェイトLLMは、以下のコードブックのゼロショットに制限があるが、教師あり指導チューニングは性能を大幅に向上させることができる。 ベスト”なLLMを提案するのではなく、コードブックデータセット、評価フレームワーク、そして、独自のコードブック-LLM測定プロジェクトを実装したいと考える応用研究者のためのガイダンスに、私たちのコントリビューションがあります。

関連論文リスト

• Leveraging LLMs for Legacy Code Modernization: Challenges and Opportunities for LLM-Generated Documentation [2.249533649156367]
  MUMPSやメインフレームアセンブリといった時代遅れの言語で記述されたレガシーソフトウェアシステムは、効率性、メンテナンス、スタッフリング、セキュリティにおいて課題を提起する。 本稿では,2つのデータセットを用いたレガシコードのための文書生成におけるLCMの利用について検討する。 本稿では,ラインワイドなコードコメントを生成するためのプロンプト戦略を提案し,その完全性,可読性,有用性,幻覚性を評価する。
  論文  参考訳（メタデータ） (2024-11-22T14:27:27Z)
• OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
  コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。 オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。 トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
  論文  参考訳（メタデータ） (2024-11-07T17:47:25Z)
• zsLLMCode: An Effective Approach for Functional Code Embedding via LLM with Zero-Shot Learning [6.976968804436321]
  大型言語モデル(LLM)はゼロショット学習の能力を持ち、訓練や微調整を必要としない。 LLMを用いた関数型コード埋め込みを生成する新しいアプローチであるzsLLMCodeを提案する。
  論文  参考訳（メタデータ） (2024-09-23T01:03:15Z)
• Case2Code: Scalable Synthetic Data for Code Generation [105.89741089673575]
  大規模言語モデル(LLM)は、コード生成において顕著なブレークスルーを示している。 最近の研究は、いくつかの強力なLLMによって生成された合成データをトレーニングすることで、コードLLMを改善している。 プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。
  論文  参考訳（メタデータ） (2024-07-17T11:35:00Z)
• Source Code Summarization in the Era of Large Language Models [23.715005053430957]
  大規模言語モデル(LLM)は、コード関連のタスクのパフォーマンスを大幅に向上させた。 本稿では,LLMにおけるコード要約の体系的および包括的研究を行う。
  論文  参考訳（メタデータ） (2024-07-09T05:48:42Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Large Language Models: A Survey [69.72787936480394]
  大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
  論文  参考訳（メタデータ） (2024-02-09T05:37:09Z)
• If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
  大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
  論文  参考訳（メタデータ） (2024-01-01T16:51:20Z)
• Large Language Models for Code Analysis: Do LLMs Really Do Their Job? [13.48555476110316]
  大規模言語モデル(LLM)は、自然言語理解とプログラミングコード処理タスクの領域において大きな可能性を証明している。 本稿では、コード解析タスクの実行におけるLLMの能力を総合的に評価する。
  論文  参考訳（メタデータ） (2023-10-18T22:02:43Z)
• Aligning Large Language Models with Human: A Survey [53.6014921995006]
  広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。 その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。 本調査では,これらのアライメント技術の概要について概観する。
  論文  参考訳（メタデータ） (2023-07-24T17:44:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。