論文の概要: Iterated creation, grading, and revision of data science projects by language models
- arxiv url: http://arxiv.org/abs/2611.05548v1
- Date: Tue, 03 Nov 2026 19:39:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.829538
- Title: Iterated creation, grading, and revision of data science projects by language models
- Title(参考訳): 言語モデルによるデータサイエンスプロジェクトの作成・評価・改訂
- Abstract要約: 我々はエージェントAIモデルがエンドツーエンドのデータサイエンスプロジェクトを完成させる程度を評価する。
Anthropic、OpenAI、Google、DeepSeek、Z.AIの5人の開発者による7つのモデルを検討しています。
最初の147件のうち107件が実行されレンダリングされ、最終ラウンドのフィードバックで平均スコアが59パーセントから76パーセントに上昇する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We evaluate the extent to which agentic AI models can complete an end-to-end data science project, and how this improves with feedback. A 'writer' model with specific tools creates a complete data science project including downloading, cleaning, and analyzing a dataset, and writing a short paper about it. The project is executed and a 'grader' model evaluates it. The writer can then revise its submission, and this repeats for a total of three rounds. We consider seven models from five developers: Anthropic, OpenAI, Google, DeepSeek, and Z.AI. Each model is both a writer and a grader, so there are 49 writer-grader pairs and we run each pair three times. Of the 147 initial submissions, 107 run and render, and the average score increases from 59 per cent to 76 per cent after the final round of feedback. By writer the extent of the increase ranges from 3 percentage points for Anthropic's Opus 5.5 to 46 percentage points for Anthropic's Haiku 4.5, and by grader it ranges from 13 percentage points for Google's Gemini 3.8 Flash to 32 percentage points for Anthropic's Haiku 4.5. When a model grades its own writing the score tends to be about 9 percentage points higher than the average of what the other models give it. About half of the difference that we see from round to round is within the grader's own noise. Feedback generally results in the highest marks, but even just having the chance to revise, or having the additional budget, in terms of time or tool calls, without any feedback, results in considerable increases for some of the models but not for others. We find that how much such a loop helps depends on which model plays which role, but weaker models generally do not improve stronger models.
- Abstract(参考訳): 我々はエージェントAIモデルがエンドツーエンドのデータサイエンスプロジェクトを完成させられる範囲を評価し、フィードバックによってどのように改善されるかを評価する。
特定のツールを備えた‘ライター’モデルは、データセットのダウンロード、クリーニング、分析を含む完全なデータサイエンスプロジェクトを作成し、それに関する短い論文を書く。
プロジェクトが実行され、'grader'モデルがそれを評価します。
その後、著者は提出を改めることができるが、これは合計3ラウンドの繰り返しとなる。
Anthropic、OpenAI、Google、DeepSeek、Z.AIの5人の開発者による7つのモデルを検討しています。
各モデルはライタとグレーダの両方なので、49のライタグレータペアがあり、各ペアを3回実行します。
最初の147件のうち107件が実行されレンダリングされ、最終ラウンドのフィードバックで平均スコアが59パーセントから76パーセントに上昇する。
AnthropicのHaiku 4.5では5.5から46ポイント、GoogleのGemini 3.8 Flashでは13ポイント、AnthropicのHaiku 4.5では32ポイントとなっている。
モデルが自身の書き込みを評価した場合、スコアは、他のモデルが与える平均よりも約9パーセント高い傾向にある。
ラウンドからラウンドへの差の約半分は、グレーダ自身のノイズの範囲内にあります。
フィードバックは一般的に最高点を達成しますが、時間やツールコールの観点からは、修正や追加予算の余裕さえあれば、フィードバックなしでは、一部のモデルでは大幅に増加しますが、他のモデルではそうではありません。
このようなループがどれだけ役に立つかは、どのモデルがどの役割を果たすかによって異なるが、より弱いモデルは一般的により強力なモデルを改善することができない。
関連論文リスト
- VERS: Steering Reasoning Models by Editing Their Activation Explanations [0.0]
説明を編集すれば 一つのトークンでモデルを操れる
私たちはVERS(Verbalize, Edit, Reconstruct, Steer)を構築します。
1つの推論の疑わしい点における説明の編集を1つの固定方向に変え、段落時にこの方向を追加する。
論文 参考訳(メタデータ) (2026-11-02T12:39:13Z) - Where Do Vision Language Models Fail at 3D Reasoning? [47.6491029140717]
視覚言語モデルは、回復に苦労しながら個々の判断を正しく得ることができ、3Dオブジェクトの正確な特性を一貫して利用することができる。
BedBenchは、個別の判断と複合回答にまたがる13の手続き的に生成されたタスクのベンチマークである。
人間の精度は93.3%であり、最良のモデルでは7.2%である。
論文 参考訳(メタデータ) (2026-10-29T09:00:14Z) - 3DCodeEdit: Benchmarking Instruction-Guided 3D Program Editing [56.634290206718184]
命令誘導編集タスクのベンチマークである3DCodeEditを導入する。
その編集はパラメータから構造的変化、スタイル、シーン構成まで様々で、人間レビューされたチェックリストに対するレンダリングから判断される。
17モデル中、平均成功率は37%に過ぎず、最強モデルでさえ、構造的およびスタイル的な編集の60%以下である。
論文 参考訳(メタデータ) (2026-10-28T03:29:59Z) - RSI Arena: Towards Recursive Self-Improvement with Human Feedback [64.79750666976021]
10台のフロンティアモデルがトレーニングエージェントとして働き、それぞれがNVIDIA Nemotron 3.5 Lightning 30B-A3B Baseから始まる。
我々は、20のベンチマークと盲人評価により、それらのモデルを評価した。
NVIDIA Instructを共通参照として,10モデル中8モデルのスタイル調整された相対評価において,Stage 1からStage 2への改善を観察する。
論文 参考訳(メタデータ) (2026-10-24T11:54:45Z) - Which Answer Did the Seventeen-Year-Old Write? A Behavioral Case Study of Author-Age Misattribution, Miscalibrated Confidence, and Non-Corrective Self-Explanation in Six Frontier Language Models [0.0]
3人の生徒が「幸せとは何か?」と手動で同じ試験に答えた。
コレクションに記録されている年齢は17歳、28歳、45歳。
ほとんどのフロンティア言語モデルは、それを大人に自信を持って割り当てる。
私たちは1,081のAPIセッションを実行し、フレーミング、開示フォーマット、オーディエンス・アウェアネス・インストラクションを操作する6つの実験条件に対して3,225のレスポンスを記録しました。
論文 参考訳(メタデータ) (2026-10-22T21:45:19Z) - Recursive Self-Improvement in Unified Multimodal Models [41.20184334137855]
統一マルチモーダルモデル(UMM)は、テキストと画像の両方を理解し、生成する。
UMMのテキストと視覚能力が相互にトレーニングデータを供給する訓練ループを提案する。
論文 参考訳(メタデータ) (2026-10-02T08:34:21Z) - Improved Visual Grounding through Self-Consistent Explanations [58.51131933246332]
本稿では,大規模な言語モデルを用いて,既存のテキスト画像データセットをパラフレーズで拡張するための戦略を提案する。
SelfEQは、自己整合性を促進するパラフレーズの視覚的説明地図に関する弱教師付き戦略である。
論文 参考訳(メタデータ) (2023-12-07T18:59:22Z) - Tool-Augmented Reward Modeling [58.381678612409]
本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。
我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。
人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
論文 参考訳(メタデータ) (2023-10-02T09:47:40Z) - RL4F: Generating Natural Language Feedback with Reinforcement Learning
for Repairing Model Outputs [27.777809444120827]
以前の作業では、アウトプットを修復する際のガイドとして、自然言語フィードバックを備えた言語モデルの提供が提案されていた。
我々は,GPT-3のエンドタスク性能を最大化するために,批判生成を訓練するマルチエージェント協調フレームワークRL4Fを紹介する。
複数のテキスト類似度指標の相対的な改善は、他の学習、検索強化、あるいはプロンプトに基づく批判ジェネレータと比べて最大10%向上する。
論文 参考訳(メタデータ) (2023-05-15T17:57:16Z) - PART: Pre-trained Authorship Representation Transformer [52.623051272843426]
文書を書く著者は、自分のテキストに識別情報を印字する。
以前の作品では、手作りの機能や分類タスクを使って著者モデルを訓練していた。
セマンティクスの代わりにテキストの埋め込みを学習するために、対照的に訓練されたモデルを提案する。
論文 参考訳(メタデータ) (2022-09-30T11:08:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。