論文の概要: Source Code Authorship Attribution Does Not Generalize from Competitions to Classrooms

• arxiv url: http://arxiv.org/abs/2608.00227v1
• Date: Fri, 31 Jul 2026 19:15:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-06 15:22:45.393595
• Title: Source Code Authorship Attribution Does Not Generalize from Competitions to Classrooms
• Title（参考訳）: ソースコードオーサリングの属性はコンペティションから教室へ一般化しない
• Abstract要約: トレーニング済みの変換器CodeBERTを3つのデータソースで微調整する。 CodeBERTは10人の著者のTop-1精度92.6%に達し、1000人の著者のTop-1を70.7%保持している。 調査されたコースワークデータセットでは、同じパイプラインが対応するチャンスベースライン内またはそれ以下で実行される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Source code authorship attribution aims to identify the author of a program fragment from its writing style. We fine-tune the pre-trained transformer CodeBERT on three sources of data: publicly available Google Code Jam (GCJ) submissions from an open Kaggle repository, a curated GCJ archive, and institutional coursework datasets collected at a technical university. On multi-round GCJ data, CodeBERT reaches 92.6% Top-1 accuracy for 10 authors and retains 70.7% Top-1 (88.2% Top-10) for 1000 authors. On the examined coursework datasets, the same pipeline performs at or below the corresponding chance baselines: 0.2% Top-1 on a closed-assignment dataset of 690 authors and 0.06% Top-1 on open-ended assignments evaluated over 812 authors. A companion multi-model benchmark provides consistent cross-model evidence across additional dataset configurations, indicating that the observed performance gap is not specific to CodeBERT and persists across the evaluated model families. We analyze dataset and task properties that plausibly explain this gap and argue that GCJ-based benchmarks overestimate the practical applicability of authorship attribution in educational settings unless they are validated on the target coursework context.
• Abstract（参考訳）: ソースコードのオーサシップ属性は、プログラムフラグメントの作者をその書き込みスタイルから識別することを目的としている。 オープンなKaggleリポジトリからのGoogle Code Jam(GCJ)提出、GCJアーカイブのキュレーション、技術大学で収集された機関的なコースワークデータセット。 マルチラウンドGCJデータでは、CodeBERTは10人の著者で92.6%のTop-1精度に達し、1000人の著者で70.7%のTop-1(88.2%Top-10)を維持している。 調査されたコースワークデータセットでは、同じパイプラインが対応するチャンスベースライン以下で実行され、0.2%のTop-1が690人のクローズドアサインデータセットで、0.06%のTop-1が812人の著者で評価されている。 コンパニオンマルチモデルベンチマークは、追加のデータセット構成に対して一貫性のあるクロスモデルエビデンスを提供し、観察されたパフォーマンスギャップがCodeBERTに固有のものではなく、評価されたモデルファミリにわたって持続していることを示している。 我々は,このギャップを十分説明できるようなデータセットとタスク特性を分析し,GCJベースのベンチマークは,対象コースのコンテキストで検証されない限り,教育環境における著者帰属の実践的適用性を過大評価している。

関連論文リスト

• Extracting Dataset Mentions in Forced Displacement and FCV Documents: A Weakly Supervised Framework with LLM-Based Label Refinement [0.0]
  本稿では,データセット抽出を強制変位,Fragile,Conflict, Violence(FCV)文書に適用するためのフレームワークを提案する。 一般的な研究文献に基づいて訓練された軽量モデルは、ラベルのないドメイン文書から候補データセットの言及を生成する。 我々は、研究、人道、運用文書にまたがる1,706本のテキストパスの独立したゴールドスタンダード・ベンチマークで、結果のモデルを評価した。
  論文  参考訳（メタデータ） (2026-09-10T18:34:08Z)
• Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
  より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。 生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。 どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
  論文  参考訳（メタデータ） (2026-08-30T20:00:17Z)
• A Structured Cyber Threat Intelligence Dataset Using STIX 2.1 Entities and MITRE ATT&CK Mappings [0.20415910628419062]
  本研究では,150の英語CTIレポートを手作業で構築したデータセットを提案する。 複雑な実体関係と正規化された敵行動を保持するレポートレベルのデータセットは、依然として限られている。 このデータセットは、CTI情報抽出、知識グラフの構築、インシデント分析、脅威属性のベンチマークを提供する。
  論文  参考訳（メタデータ） (2026-07-25T17:59:35Z)
• AgentFAIR: A Multi-Agent Collaborative Framework for FAIRness Evaluation of Geospatial Datasets [4.193537335690018]
  本稿では,構造抽出とサブプリンシプル固有評価器を組み合わせたマルチエージェントフレームワークであるAgentFAIRを提案する。 それぞれが0-3の成熟度スコア、エビデンス、レコメンデーションを生成します。 15データセットの専門家による予備的な研究では、フライスのカッパは0.71で、82%が専門家のコンセンサスと一致している。
  論文  参考訳（メタデータ） (2026-07-17T09:32:54Z)
• JobHop v2: A Large-Scale Career Trajectory Dataset from Unstructured Resumes [44.09276843323847]
  JobHopv2は、エンドツーエンドの大規模言語モデル(LLM)抽出によって構築された、公開可能なJobHopデータセットの改良版である。 データセットは、355,315ドルのキャリアトラジェクトリからなり、ESCOの職業コード、四半期ごとの時間情報、正規化された5段階の教育の達成が注釈付けされている。
  論文  参考訳（メタデータ） (2026-07-13T15:42:06Z)
• Evaluating Static and Process Evidence for Code Authorship in Programming Education [0.0]
  プログラミングコースでは、インストラクターは、応募が学生の以前のプログラミングプロファイルと一致しているかどうかを解釈する必要がある。 既存のソースコードのオーサリング手法は、しばしばプログラミング・コンテストやオープンソースのデータセットで評価される。 本研究は、タスク認識評価を用いて、これらのプロダクションコンテキストを対比し、リポジトリ可視のプロセス機能が最終コードを超えて情報を追加するかどうかをテストする。
  論文  参考訳（メタデータ） (2026-07-08T13:35:21Z)
• OpenDataArena: A Fair and Open Arena for Benchmarking Post-Training Dataset Value [74.80873109856563]
  OpenDataArena(ODA)は、トレーニング後のデータの本質的な価値をベンチマークするために設計された、総合的でオープンなプラットフォームである。 ODAは4つの主要な柱からなる包括的なエコシステムを確立している。 (i) 多様なモデル間で公平でオープンな比較を保証する統一的なトレーニング評価パイプライン、 (ii) 異なる軸数に沿ってデータ品質をプロファイリングする多次元スコアリングフレームワーク、 (iii) データセットの系図を視覚化してコンポーネントソースを識別するインタラクティブなデータ系統探索である。
  論文  参考訳（メタデータ） (2025-12-16T03:33:24Z)
• Rank-R1: Enhancing Reasoning in LLM-based Document Rerankers via Reinforcement Learning [76.50690734636477]
  ランキングタスクを実行する前にユーザクエリと候補文書の両方を推論する新しいLCMベースのリランカである Rank-R1 を導入する。 TREC DL と BRIGHT データセットを用いた実験により,Ranc-R1 が特に複雑なクエリに対して非常に有効であることが判明した。
  論文  参考訳（メタデータ） (2025-03-08T03:14:26Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• Extending the WILDS Benchmark for Unsupervised Adaptation [186.90399201508953]
  We present the WILDS 2.0 update, which extends 8 of the 10 datasets in the WILDS benchmark of distribution shifts to include curated unlabeled data。 これらのデータセットは、組織学から野生生物保護まで幅広い応用、タスク(分類、回帰、検出)、モダリティにまたがる。 ドメイン不変量や自己学習,自己管理など,ラベルのないデータを活用する最先端の手法を体系的にベンチマークする。
  論文  参考訳（メタデータ） (2021-12-09T18:32:38Z)
• Summary-Source Proposition-level Alignment: Task, Datasets and Supervised Baseline [94.0601799665342]
  資料の参照要約における文のアライメントは,補助的な要約作業として有用であった。 本稿では,2つの重要な新機能を導入しながら,要約ソースアライメントを明示的なタスクとして確立することを提案する。 我々は提案レベルのアライメントのための新しいトレーニングデータセットを作成し、利用可能な要約評価データから自動的に抽出する。 教師なしアプローチよりも優れたアライメント品質を示す教師付き命題アライメントベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-01T17:27:12Z)
• SacreROUGE: An Open-Source Library for Using and Developing Summarization Evaluation Metrics [74.28810048824519]
  SacreROUGEは、要約評価メトリクスの使用と開発のためのオープンソースライブラリである。 このライブラリは、既存の評価メトリクスの公式実装に関するPythonラッパーを提供する。 ライブラリに実装されたメトリックが、人間による注釈付き判断とどの程度の相関があるかを評価する機能を提供する。
  論文  参考訳（メタデータ） (2020-07-10T13:26:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。