論文の概要: ORCA: Evaluating LLMs on Data Science Code Translation

• arxiv url: http://arxiv.org/abs/2609.30749v1
• Date: Fri, 25 Sep 2026 03:24:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.215582
• Title: ORCA: Evaluating LLMs on Data Science Code Translation
• Title（参考訳）: ORCA:データサイエンスコード翻訳におけるLLMの評価
• Abstract要約: 大規模言語モデル(LLM)は、データサイエンスコード生成(DSCG)においてかなりの進歩を見せている。 我々は、ORCA-MAINとORCA-PROJECTの2つの補完的な設定を持つ総合的なベンチマークであるORCAを紹介する。 提案手法は,まずまずソースコードの意図を推論し,翻訳のための追加コンテキストとして利用する。
• 参考スコア（独自算出の注目度）: 21.16167998019249
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Data Science Code Translation (DSCT) is the process of converting code between data science libraries while preserving functional equivalence and enabling interoperability across data science ecosystems. While Large Language Models (LLMs) have demonstrated considerable progress in Data Science Code Generation (DSCG), their performance in DSCT remains insufficiently studied. To address this gap, we introduce ORCA, a comprehensive benchmark with two complementary settings: ORCA-MAIN, which comprises 1,600 carefully curated grounding-level tasks across 3 representative domains: Data Querying, Data Manipulation, and Deep Learning; and ORCA-PROJECT, which contains 200 translation tasks over complete data science projects across 7 data science task types. Each task is accompanied by annotated reference translations and test cases for validating functional equivalence. We further incorporate a multi-stage quality verification process that thoroughly verifies task correctness and test case robustness. Experimental results demonstrate challenges in DSCT, with even frontier LLMs showing limited performance. Specifically, Claude-Opus-4.6 achieves a success rate of 56.92% on ORCA-MAIN and 33.67% on ORCA-PROJECT, indicating considerable room for improvement in DSCT. We also observe a clear directional preference in DSCT, where translation is consistently easier when the source code expresses the task through more explicit, fine-grained operations. Motivated by this, we propose an intent-augmented method, in which the model first infers source-code intent and then uses it as additional context for translation, achieving average absolute success-rate gains of 4.80% and 5.33% on ORCA-MAIN and ORCA-PROJECT, respectively.
• Abstract（参考訳）: データサイエンスコード翻訳(Data Science Code Translation、DSCT)は、データサイエンスライブラリ間でコードを変換し、機能的等価性を保持し、データサイエンスエコシステム間の相互運用性を可能にするプロセスである。 大規模言語モデル(LLM)は、データサイエンスコード生成(DSCG)においてかなりの進歩を見せているが、DSCTにおけるそれらの性能はいまだに十分に研究されていない。 ORCA-MAINはデータクエリ、データ操作、ディープラーニングの3つの領域にまたがる1,600の厳格な基底レベルタスクで構成されており、ORCA-PROJECTは7つのデータサイエンスタスクタイプにわたる完全なデータサイエンスプロジェクトに対する200の翻訳タスクを含んでいる。 各タスクには注釈付き参照翻訳と機能等価性を検証するテストケースが付属する。 さらに,タスクの正しさとテストケースの堅牢性を徹底的に検証する多段階品質検証プロセスを導入する。 実験結果からDSCTの課題が示され,フロンティアLLMでも性能が制限された。 具体的には、Claude-Opus-4.6はORCA-MAINで56.92%、ORCA-PROJECTで33.67%、DSCTではかなり改善の余地がある。 また、DSCTでは、ソースコードがより明示的できめ細かな操作によってタスクを表現する場合、翻訳が一貫して簡単である。 そこで本研究では,まずまずソースコードの意図を推定し,それを翻訳の文脈として利用し,ORCA-MAINとORCA-PROJECTで平均4.80%と5.33%の絶対成功率を達成できるインテント拡張手法を提案する。

関連論文リスト

• DICS: Exploring Data Intrinsic Consistency for Visual Instruction Selection [53.457992197673185]
  データ固有の一貫性(Data Intrinsic Consistency、DIC)は、サンプルレベルのコンポーネント間の一貫性を定量化するために設計された自己スコアの指標である。 DICSは、高いサンプル内一貫性とグローバルな分布多様性の間のトレードオフを最適化する適応データ選択手法である。 DIC-6Mは6Mサンプルのマルチモーダル命令コーパスであり、最大規模の視覚的命令選択学習を可能にする。
  論文  参考訳（メタデータ） (2026-08-31T03:44:54Z)
• Traceable Latent Variable Discovery Based on Multi-Agent Collaboration [26.092412951168324]
  本稿では,大言語モデルのメタデータに基づく推論機能を統合した新たな因果モデリングフレームワークTLVDを提案する。 病院と2つのベンチマークデータセットが提供した3つの未同定リアル患者データセットに対してTLVDを評価した。
  論文  参考訳（メタデータ） (2026-02-16T04:29:32Z)
• DSBench: How Far Are Data Science Agents from Becoming Data Science Experts? [58.330879414174476]
  現実的なタスクでデータサイエンスエージェントを評価するためのベンチマークであるDSBenchを紹介する。 このベンチマークには、466のデータ分析タスクと、EloquenceとKaggleのコンペからソースされた74のデータモデリングタスクが含まれている。 現状のLLM, LVLM, エージェントを評価したところ, 最高のエージェントはデータ解析タスクの34.12%しか解決できず, RPG(Relative Performance Gap)は34.74%であった。
  論文  参考訳（メタデータ） (2024-09-12T02:08:00Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)
• A Dimensional Structure based Knowledge Distillation Method for Cross-Modal Learning [15.544134849816528]
  簡単な作業から抽出した特徴を解析・観察することで特徴識別性と次元構造(DS)の相関を見いだす。 クロスモーダル・ナレッジ・蒸留法 (CMKD) を提案し, 教師付きクロスモーダル・ラーニング (CML) の性能向上を図る。 提案手法は, チャネル的に独立して, 中間的な特徴を均一に分散させることで, その精度を高めるために, 難易度から意味的に無関係な特徴を学習する。
  論文  参考訳（メタデータ） (2023-06-28T07:29:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。