論文の概要: CoDA: A Human-LM Collaborative Codebook Development Assistant for Domain-Specific Text Annotation
- arxiv url: http://arxiv.org/abs/2610.24157v1
- Date: Fri, 16 Oct 2026 19:30:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 10:35:08.793448
- Title: CoDA: A Human-LM Collaborative Codebook Development Assistant for Domain-Specific Text Annotation
- Title（参考訳）: CoDA: ドメイン特化テキストアノテーションのための人間-LM協調型コードブック開発アシスタント
- Abstract要約: 我々はオープンソースのコラボレーティブなコードブック開発アシスタントであるCoDAを紹介する。
CoDAは、ドメインの専門家が言語モデルで構造化されていないテキストに新しい変数をアノテートするためのアノテーションガイドラインを作成するのに役立つ。
ホームレスのケースマネージメントノートから健康指標を抽出し,ソーシャルメディア上での野生動物の売買投稿の感情を分類する2つの実世界のケーススタディについて,CoDAを実証した。
- 参考スコア（独自算出の注目度）: 10.910718362059127
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: We present CoDA, an open-source human-LM collaborative codebook development assistant that helps domain experts develop annotation guidelines for annotating new variables in unstructured text with language models. Existing language model annotation systems primarily focus on downstream classification performance, while assuming the availability of high-quality annotation guidelines, or codebooks. In practice, developing these codebooks is time-consuming and challenging, particularly for concepts that require expert knowledge. CoDA addresses this gap by collaborating with domain experts to iteratively develop codebooks through targeted review of incorrect language model predictions and incorporating expert feedback into the evolving codebook. We demonstrate CoDA on two real-world case studies: extracting health indicators from homelessness case management notes and classifying sentiment of wildlife trafficking posts on social media. Across both domains, CoDA produces codebooks that achieve downstream classification performance comparable to expert codebooks while reducing codebook development time from several weeks to two hours and requiring 5X fewer manually annotated examples. Applying CoDA to generate annotations at scale, we identified 2,410 case notes that contained health discussions or referrals and 10,196 social media posts expressing negative sentiment that may warrant investigation for potential wildlife trafficking. By accelerating codebook development, CoDA helps practitioners use language models to extract domain-specific insights from unstructured text at scale.
- Abstract（参考訳）: 我々は,言語モデルを用いて非構造化テキストに新しい変数を注釈付けするためのアノテーションガイドラインをドメインの専門家が開発するのを支援する,オープンソースの人-LM協調型コードブック開発アシスタントであるCoDAを紹介する。
既存の言語モデルアノテーションシステムは主に下流の分類性能に重点を置いており、高品質なアノテーションガイドラインやコードブックが利用できることを前提としている。
実際にこれらのコードブックを開発するのは時間がかかり、特に専門家の知識を必要とする概念にとって難しい。
CoDAはこのギャップに対処するため、ドメインの専門家と共同で、不正な言語モデル予測のターゲットレビューを通じてコードブックを反復的に開発し、進化するコードブックに専門家のフィードバックを組み込むことで対処する。
ホームレスのケースマネージメントノートから健康指標を抽出し,ソーシャルメディア上での野生動物の売買投稿の感情を分類する2つの実世界のケーススタディについて,CoDAを実証した。
両方のドメインでCoDAは、専門家のコードブックに匹敵するダウンストリームの分類性能を達成するコードブックを作成し、コードブックの開発時間を数週間から2時間に短縮し、手動で注釈付けした例を5倍少なくする。
CoDAを大規模アノテーションに応用し、健康に関する議論や紹介を含む2,410件のケースノートと、野生生物の売買に関する調査を強制する否定的な感情を示す10,196件のソーシャルメディア投稿を特定した。
コードブックの開発を加速することにより、CoDAは実践者が言語モデルを使用して、非構造化テキストから大規模にドメイン固有の洞察を抽出するのに役立つ。
関連論文リスト
- CALICO: A Human-Centered, Codebook-Aligned System for Annotation [10.833002335797]
人中心のコードブック対応のアノテーションワークフローであるCALICOについて紹介する。
CALICOはプロンプトを編集可能、バージョン管理可能、最適化可能なアーティファクトとして扱う。
ドメイン固有のAIコンパニオン会話コードブック上でCALICOを評価する。
論文 参考訳（メタデータ） (2026-09-13T18:38:43Z) - CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。
また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
論文 参考訳（メタデータ） (2025-08-28T06:03:11Z) - EduCoder: An Open-Source Annotation System for Education Transcript Data [1.21874133788585]
EduCoderは、教育対話の発話レベルアノテーションをサポートするように設計されたドメイン特化ツールである。
研究者やドメインの専門家が、観測データに基づいたコードブックを共同で定義するためのプラットフォームを提供する。
分類的およびオープンなアノテーションタイプと文脈的素材を取り入れている。
論文 参考訳（メタデータ） (2025-07-07T18:15:29Z) - Contextualized Data-Wrangling Code Generation in Computational Notebooks [131.26365849822932]
我々は、マルチモーダルなコンテキスト依存を明確にしたデータラングリングコード生成例をマイニングするために、CoCoMineという自動アプローチを提案する。
コンテクスト化されたデータラングリングコード生成のための58,221のサンプルを含むデータセットであるCoCoNoteをNotebooksで構築する。
実験結果は、データラングリングコード生成にデータコンテキストを組み込むことの重要性を示す。
論文 参考訳（メタデータ） (2024-09-20T14:49:51Z) - CodeCloak: A Method for Evaluating and Mitigating Code Leakage by LLM Code Assistants [22.342331134131744]
CodeCloakは、コードアシスタントサービスに送信する前にプロンプトを操作する、新しいディープ強化学習エージェントである。
CodeCloakは、次の2つの矛盾した目標を達成することを目指している。
論文 参考訳（メタデータ） (2024-04-13T19:30:58Z) - Comments as Natural Logic Pivots: Improve Code Generation via Comment Perspective [85.48043537327258]
本稿では, MANGO (comMents As Natural loGic pivOts) を提案する。
その結果、MANGOは強いベースラインに基づいてコードパス率を大幅に改善することがわかった。
論理的なコメントの復号化戦略の堅牢性は、考えの連鎖よりも顕著に高い。
論文 参考訳（メタデータ） (2024-04-11T08:30:46Z) - ReACC: A Retrieval-Augmented Code Completion Framework [53.49707123661763]
本稿では,語彙のコピーと類似したセマンティクスを持つコード参照の両方を検索により活用する検索拡張コード補完フレームワークを提案する。
我々は,Python および Java プログラミング言語のコード補完タスクにおけるアプローチを評価し,CodeXGLUE ベンチマークで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-03-15T08:25:08Z) - Deep Graph Matching and Searching for Semantic Code Retrieval [76.51445515611469]
本稿では,グラフニューラルネットワークに基づくエンドツーエンドのディープグラフマッチングと探索モデルを提案する。
まず、自然言語クエリテキストとプログラミング言語のコードスニペットをグラフ構造化データで表現する。
特に、DGMSは、個々のクエリテキストやコードスニペットのより構造的な情報をキャプチャするだけでなく、それらの微妙な類似性も学習する。
論文 参考訳（メタデータ） (2020-10-24T14:16:50Z) - COSEA: Convolutional Code Search with Layer-wise Attention [90.35777733464354]
我々は、畳み込みニューラルネットワークを階層的注意で活用し、コード固有の構造論理をキャプチャする新しいディープラーニングアーキテクチャ、COSEAを提案する。
COSEAは、コード検索タスクの最先端メソッドよりも大幅に改善できる。
論文 参考訳（メタデータ） (2020-10-19T13:53:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。