Fugu-MT 論文翻訳(概要): Codebook LLMs: Adapting Political Science Codebooks for LLM Use and Adapting LLMs to Follow Codebooks

論文の概要: Codebook LLMs: Adapting Political Science Codebooks for LLM Use and Adapting LLMs to Follow Codebooks

arxiv url: http://arxiv.org/abs/2407.10747v1
Date: Mon, 15 Jul 2024 14:20:09 GMT
ステータス: 処理完了
システム内更新日: 2024-07-16 14:51:56.401142
Title: Codebook LLMs: Adapting Political Science Codebooks for LLM Use and Adapting LLMs to Follow Codebooks
Title（参考訳）: Codebook LLMs: LLM使用のための政治科学のコードブックへの適応とLLMの追跡コードブックへの適応
Authors: Andrew Halterman, Katherine A. Keith,
Abstract要約: 有効な測定を気にする政治学者は、代わりにコードブック・コンストラクト・ラベルの仮定を行うべきだと論じる。我々は,LLMがコードブック命令に準拠するかどうかを理解するために,一連の実験を行う。オリジナルのコードブックを再構築することで、ゼロショットのパフォーマンスがわずかに向上することがわかった。
参考スコア（独自算出の注目度）: 7.005758904228446
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Codebooks -- documents that operationalize constructs and outline annotation procedures -- are used almost universally by social scientists when coding unstructured political texts. Recently, to reduce manual annotation costs, political scientists have looked to generative large language models (LLMs) to label and analyze text data. However, previous work using LLMs for classification has implicitly relied on the universal label assumption -- correct classification of documents is possible using only a class label or minimal definition and the information that the LLM inductively learns during its pre-training. In contrast, we argue that political scientists who care about valid measurement should instead make a codebook-construct label assumption -- an LLM should follow the definition and exclusion criteria of a construct/label provided in a codebook. In this work, we collect and curate three political science datasets and their original codebooks and conduct a set of experiments to understand whether LLMs comply with codebook instructions, whether rewriting codebooks improves performance, and whether instruction-tuning LLMs on codebook-document-label tuples improves performance over zero-shot classification. Using Mistral 7B Instruct as our LLM, we find re-structuring the original codebooks gives modest gains in zero-shot performance but the model still struggles to comply with the constraints of the codebooks. Optimistically, instruction-tuning Mistral on one of our datasets gives significant gains over zero-shot inference (0.76 versus 0.53 micro F1). We hope our conceptualization of the codebook-specific task, assumptions, and instruction-tuning pipeline as well our semi-structured LLM codebook format will help political scientists readily adapt to the LLM era.
Abstract（参考訳）: コンストラクトを運用し、アノテーションの手順を概説する文書であるコードブックは、構造化されていない政治文書をコーディングする際に、ほぼ普遍的に社会科学者によって使用されている。近年,手書きアノテーションのコストを削減すべく,政治学者はテキストデータのラベル付けと解析を行うための生成大型言語モデル (LLM) を検討している。しかし、分類にLLMを使った以前の研究は、普遍的なラベルの仮定に暗黙的に依存しており、文書の正しい分類は、クラスラベルまたは最小限の定義だけで可能であり、LCMが事前学習中に誘導的に学習する情報である。対照的に、有効な測定を気にする政治科学者は、代わりにコードブック・コンストラクト・ラベルの仮定を行うべきだと論じる。本研究では、3つの政治科学データセットとそのオリジナルのコードブックを収集・キュレートし、LLMがコードブックの命令に準拠するかどうか、コードブックの書き換えによって性能が向上するか否か、およびコードブック-文書-ラベルタプル上の命令チューニング LLM がゼロショット分類よりも性能を向上させるかどうかを理解するための一連の実験を行う。 Mistral 7B Instruct を LLM として使用すると、オリジナルのコードブックの再構築によってゼロショットのパフォーマンスがわずかに向上することがわかったが、このモデルはまだ、コードブックの制約を満たすのに苦労している。最適に、私たちのデータセットの1つで命令チューニングを行うMistralは、ゼロショット推論(0.76対0.53マイクロF1)よりも大幅に向上する。私たちは、コードブック固有のタスク、仮定、命令チューニングパイプライン、および半構造化されたLLMコードブックフォーマットの概念化によって、政治科学者がLLMの時代に容易に適応できることを願っています。

関連論文リスト

Leveraging LLMs for Legacy Code Modernization: Challenges and Opportunities for LLM-Generated Documentation [2.249533649156367]
MUMPSやメインフレームアセンブリといった時代遅れの言語で記述されたレガシーソフトウェアシステムは、効率性、メンテナンス、スタッフリング、セキュリティにおいて課題を提起する。本稿では,2つのデータセットを用いたレガシコードのための文書生成におけるLCMの利用について検討する。本稿では,ラインワイドなコードコメントを生成するためのプロンプト戦略を提案し,その完全性,可読性,有用性,幻覚性を評価する。
論文参考訳（メタデータ） (2024-11-22T14:27:27Z)
OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
論文参考訳（メタデータ） (2024-11-07T17:47:25Z)
zsLLMCode: An Effective Approach for Functional Code Embedding via LLM with Zero-Shot Learning [6.976968804436321]
大型言語モデル(LLM)はゼロショット学習の能力を持ち、訓練や微調整を必要としない。 LLMを用いた関数型コード埋め込みを生成する新しいアプローチであるzsLLMCodeを提案する。
論文参考訳（メタデータ） (2024-09-23T01:03:15Z)
Case2Code: Scalable Synthetic Data for Code Generation [105.89741089673575]
大規模言語モデル(LLM)は、コード生成において顕著なブレークスルーを示している。最近の研究は、いくつかの強力なLLMによって生成された合成データをトレーニングすることで、コードLLMを改善している。プログラムの表現性と正確性を利用したtextbfCase2Code タスクを提案する。
論文参考訳（メタデータ） (2024-07-17T11:35:00Z)
Source Code Summarization in the Era of Large Language Models [23.715005053430957]
大規模言語モデル(LLM)は、コード関連のタスクのパフォーマンスを大幅に向上させた。本稿では,LLMにおけるコード要約の体系的および包括的研究を行う。
論文参考訳（メタデータ） (2024-07-09T05:48:42Z)
Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
論文参考訳（メタデータ） (2024-02-28T08:24:38Z)
Large Language Models: A Survey [69.72787936480394]
大規模言語モデル(LLM)は、広範囲の自然言語タスクにおける強力なパフォーマンスのために、多くの注目を集めている。 LLMの汎用言語理解と生成能力は、膨大なテキストデータに基づいて数十億のモデルのパラメータを訓練することで得られる。
論文参考訳（メタデータ） (2024-02-09T05:37:09Z)
If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練されるコードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文参考訳（メタデータ） (2024-01-01T16:51:20Z)
Large Language Models for Code Analysis: Do LLMs Really Do Their Job? [13.48555476110316]
大規模言語モデル(LLM)は、自然言語理解とプログラミングコード処理タスクの領域において大きな可能性を証明している。本稿では、コード解析タスクの実行におけるLLMの能力を総合的に評価する。
論文参考訳（メタデータ） (2023-10-18T22:02:43Z)
Aligning Large Language Models with Human: A Survey [53.6014921995006]
広範囲なテキストコーパスで訓練されたLarge Language Models (LLM) は、幅広い自然言語処理(NLP)タスクの先導的なソリューションとして登場した。その顕著な性能にもかかわらず、これらのモデルは、人間の指示を誤解したり、偏見のあるコンテンツを生成したり、事実的に誤った情報を生成するといった、ある種の制限を受ける傾向にある。本調査では,これらのアライメント技術の概要について概観する。
論文参考訳（メタデータ） (2023-07-24T17:44:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。