論文の概要: Codebook LLMs: Adapting Political Science Codebooks for LLM Use and Adapting LLMs to Follow Codebooks
- arxiv url: http://arxiv.org/abs/2407.10747v1
- Date: Mon, 15 Jul 2024 14:20:09 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-16 14:51:56.401142
- Title: Codebook LLMs: Adapting Political Science Codebooks for LLM Use and Adapting LLMs to Follow Codebooks
- Title（参考訳）: Codebook LLMs: LLM使用のための政治科学のコードブックへの適応とLLMの追跡コードブックへの適応
- Authors: Andrew Halterman, Katherine A. Keith,
- Abstract要約: 有効な測定を気にする政治学者は、代わりにコードブック・コンストラクト・ラベルの仮定を行うべきだと論じる。
我々は,LLMがコードブック命令に準拠するかどうかを理解するために,一連の実験を行う。
オリジナルのコードブックを再構築することで、ゼロショットのパフォーマンスがわずかに向上することがわかった。
- 参考スコア（独自算出の注目度）: 7.005758904228446
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Codebooks -- documents that operationalize constructs and outline annotation procedures -- are used almost universally by social scientists when coding unstructured political texts. Recently, to reduce manual annotation costs, political scientists have looked to generative large language models (LLMs) to label and analyze text data. However, previous work using LLMs for classification has implicitly relied on the universal label assumption -- correct classification of documents is possible using only a class label or minimal definition and the information that the LLM inductively learns during its pre-training. In contrast, we argue that political scientists who care about valid measurement should instead make a codebook-construct label assumption -- an LLM should follow the definition and exclusion criteria of a construct/label provided in a codebook. In this work, we collect and curate three political science datasets and their original codebooks and conduct a set of experiments to understand whether LLMs comply with codebook instructions, whether rewriting codebooks improves performance, and whether instruction-tuning LLMs on codebook-document-label tuples improves performance over zero-shot classification. Using Mistral 7B Instruct as our LLM, we find re-structuring the original codebooks gives modest gains in zero-shot performance but the model still struggles to comply with the constraints of the codebooks. Optimistically, instruction-tuning Mistral on one of our datasets gives significant gains over zero-shot inference (0.76 versus 0.53 micro F1). We hope our conceptualization of the codebook-specific task, assumptions, and instruction-tuning pipeline as well our semi-structured LLM codebook format will help political scientists readily adapt to the LLM era.
- Abstract（参考訳）: コンストラクトを運用し、アノテーションの手順を概説する文書であるコードブックは、構造化されていない政治文書をコーディングする際に、ほぼ普遍的に社会科学者によって使用されている。
近年,手書きアノテーションのコストを削減すべく,政治学者はテキストデータのラベル付けと解析を行うための生成大型言語モデル (LLM) を検討している。
しかし、分類にLLMを使った以前の研究は、普遍的なラベルの仮定に暗黙的に依存しており、文書の正しい分類は、クラスラベルまたは最小限の定義だけで可能であり、LCMが事前学習中に誘導的に学習する情報である。
対照的に、有効な測定を気にする政治科学者は、代わりにコードブック・コンストラクト・ラベルの仮定を行うべきだと論じる。
本研究では、3つの政治科学データセットとそのオリジナルのコードブックを収集・キュレートし、LLMがコードブックの命令に準拠するかどうか、コードブックの書き換えによって性能が向上するか否か、およびコードブック-文書-ラベルタプル上の命令チューニング LLM がゼロショット分類よりも性能を向上させるかどうかを理解するための一連の実験を行う。
Mistral 7B Instruct を LLM として使用すると、オリジナルのコードブックの再構築によってゼロショットのパフォーマンスがわずかに向上することがわかったが、このモデルはまだ、コードブックの制約を満たすのに苦労している。
最適に、私たちのデータセットの1つで命令チューニングを行うMistralは、ゼロショット推論(0.76対0.53マイクロF1)よりも大幅に向上する。
私たちは、コードブック固有のタスク、仮定、命令チューニングパイプライン、および半構造化されたLLMコードブックフォーマットの概念化によって、政治科学者がLLMの時代に容易に適応できることを願っています。
関連論文リスト
- OpenCoder: The Open Cookbook for Top-Tier Code Large Language Models [70.72097493954067]
コードのための大規模言語モデル(LLM)は、コード生成、推論タスク、エージェントシステムなど、さまざまな領域で必須になっている。
オープンアクセスのコード LLM はプロプライエタリなモデルの性能レベルに近づきつつあるが、高品質なコード LLM は依然として限られている。
トップクラスのコードLLMであるOpenCoderは、主要なモデルに匹敵するパフォーマンスを達成するだけでなく、研究コミュニティの"オープンクックブック"としても機能します。
論文 参考訳（メタデータ） (2024-11-07T17:47:25Z) - zsLLMCode: An Effective Approach for Functional Code Embedding via LLM with Zero-Shot Learning [6.976968804436321]
大型言語モデル(LLM)はゼロショット学習の能力を持ち、訓練や微調整を必要としない。
LLMを用いた関数型コード埋め込みを生成する新しいアプローチであるzsLLMCodeを提案する。
論文 参考訳（メタデータ） (2024-09-23T01:03:15Z) - InverseCoder: Unleashing the Power of Instruction-Tuned Code LLMs with Inverse-Instruct [43.7550233177368]
本稿では,逆ではなくコードスニペットからの命令を要約したINVERSE-INSTRUCTを提案する。
InverseCoder というコード LLM のシリーズを提示する。これは、広範囲のベンチマークにおいて、元のコード LLM のパフォーマンスを上回ります。
論文 参考訳（メタデータ） (2024-07-08T08:00:05Z) - Benchmarking the Communication Competence of Code Generation for LLMs and LLM Agent [2.8391355909797644]
大規模言語モデル(LLM)は、コード生成の分野でタスクを実行する能力を大幅に改善した。
LLMが有能なプログラマであることと、最上位のソフトウェアエンジニアであることの間にはまだギャップがある。
論文 参考訳（メタデータ） (2024-05-31T22:06:18Z) - CodecLM: Aligning Language Models with Tailored Synthetic Data [51.59223474427153]
命令追従能力のための高品質な合成データを適応的に生成するフレームワークであるCodecLMを紹介する。
まず、ターゲットの指示分布をキャプチャするために、オンザフライで生成された簡潔なキーワードであるメタデータにシード命令をエンコードする。
また、デコード中に自己論理とコントラストフィルタを導入し、データ効率の良いサンプルを調整する。
論文 参考訳（メタデータ） (2024-04-08T21:15:36Z) - KnowCoder: Coding Structured Knowledge into LLMs for Universal Information Extraction [59.039355258637315]
コード生成によるユニバーサル情報抽出(UIE)を行うためのLarge Language Model(LLM)であるKnowCoderを提案する。
KnowCoderは、異なるスキーマをPythonクラスに一様に変換するコードスタイルのスキーマ表現メソッドを導入した。
KnowCoderには、2フェーズの学習フレームワークがあり、コード事前トレーニングによるスキーマ理解能力と、命令チューニングによるスキーマ追従能力を向上させる。
論文 参考訳（メタデータ） (2024-03-12T14:56:34Z) - Assured LLM-Based Software Engineering [51.003878077888686]
この記事では,2024年4月15日にポルトガルのリスボンで開催された International Workshop on Interpretability, Robustness, and Benchmarking in Neural Software Engineering で,Mark Harman 氏による基調講演の内容の概要を紹介する。
論文 参考訳（メタデータ） (2024-02-06T20:38:46Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳（メタデータ） (2024-01-01T16:51:20Z) - Making Large Language Models A Better Foundation For Dense Retrieval [19.38740248464456]
デンス検索では,クエリとドキュメント間の意味的関係を表現するために,識別テキストの埋め込みを学習する必要がある。
意味理解におけるLLMの強い能力を考えると、大きな言語モデル(LLM)の使用の恩恵を受けるかもしれない。
本稿では,LLaRA (LLM adapted for dense RetrievAl) を提案する。
論文 参考訳（メタデータ） (2023-12-24T15:10:35Z) - Enabling Large Language Models to Learn from Rules [99.16680531261987]
私たちは、人間がルールから学習することで、新しいタスクや知識を別の方法で学習できることにインスピレーションを受けています。
まず, LLMの強い文脈内能力を用いて, テキスト規則から知識を抽出する規則蒸留法を提案する。
実験の結果, LLMをルールから学習させることは, サンプルサイズと一般化能力の両方において, サンプルベース学習よりもはるかに効率的であることがわかった。
論文 参考訳（メタデータ） (2023-11-15T11:42:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。