論文の概要: The Best Programming Language for Tokenmaxxing: An Investigation of Coding Agent Behavior Across Programming Languages
- arxiv url: http://arxiv.org/abs/2607.22807v1
- Date: Fri, 24 Jul 2026 16:41:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:14.884391
- Title: The Best Programming Language for Tokenmaxxing: An Investigation of Coding Agent Behavior Across Programming Languages
- Title（参考訳）: Tokenmaxxingに最適なプログラミング言語: プログラミング言語間のコーディングエージェントの振る舞いの検討
- Abstract要約: 我々はPython、Java、Rust、OCamlのプログラミング問題に関する最近の5つのモデルを評価した。
モデル間で整合性のあるトークン消費には大きなバリエーションがあることが示されています。
- 参考スコア（独自算出の注目度）: 13.509521852529728
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although coding agents are now very effective in a variety of programming languages, this paper first shows that the cost (in tokens) can very significantly by programming language. We evaluate five recent models on programming problems in Python, Java, Rust, and OCaml. We carefully control for problem difficulty, and show that there can be stark variation in token consumption that is consistent across models. To understand why, we analyze both the structure and content of agent trajectories. First, we re-execute every intermediate solution and abstract each trajectory as a sequence of test-outcome vectors, then label the work between successive solutions. This reveals agents repeatedly producing noncompiling solutions in unfamiliar languages and revising solutions that already pass. Second, we analyze trajectory text, finding that agents plan solutions in code comments, distrust the provided tests in favor of inputs they invent, and sidestep unfamiliar target languages by prototyping in Python. Our results show that by-language token efficiency is a metric that should be considered when benchmarking and developing multilingual agents, and, for the tokenmaxxer, a guide to the most expensive language to work in.
- Abstract（参考訳）: プログラミングエージェントは今や様々なプログラミング言語で非常に効果的であるが、この論文はまず、コスト(トークン)がプログラミング言語によって著しく大きいことを示している。
我々はPython、Java、Rust、OCamlのプログラミング問題に関する最近の5つのモデルを評価した。
問題の難易度を慎重に制御し、モデル間で整合性のあるトークン消費の変動が存在することを示す。
原因を理解するため,エージェント・トラジェクトリの構造と内容を分析する。
まず、全ての中間解を再実行し、各トラジェクトリをテストアウトカムベクトルの列として抽象化し、連続した解間の作業にラベル付けする。
これにより、不慣れな言語で繰り返し非コンパイルソリューションを生成し、すでにパスしているソリューションを改訂するエージェントが明らかになる。
第二に、トラジェクトリテキストを分析し、エージェントがコードコメントでソリューションを計画し、提案したテストを不信頼にし、Pythonでプロトタイピングすることで、不慣れなターゲット言語をサイドステップで分析する。
この結果から,多言語エージェントのベンチマークや開発において考慮すべき指標としてバイランゲージトークン効率が示唆され,トークンxerは最も高価な言語へのガイドとなる。
関連論文リスト
- Large Language Models for Multilingual Code Intelligence: A Survey [15.859504186659825]
この調査では、共通自然言語要求からの多言語コード生成と、言語間のセマンティクスを保存する多言語コード翻訳という2つの重要なタスクに焦点を当てた。
代表的な手法、ベンチマーク、評価指標をレビューし、信頼できる言語間の一般化の課題と機会を強調している。
論文 参考訳（メタデータ） (2026-04-27T20:20:26Z) - Evaluating Robustness of Large Language Models Against Multilingual Typographical Errors [45.37878669586302]
大規模言語モデル(LLM)は、ユーザ入力を持つマルチリンガルな実世界のアプリケーションにますます多くデプロイされている。
ほとんどのベンチマークはクリーンな入力を前提としており、LLMの堅牢性は、ほとんど探索されていないタイプミスに委ねられている。
MulTypoは,言語固有のキーボードレイアウトとタイピング行動に基づいて,ヒューマンライクなエラーをシミュレートする多言語型タイポ生成アルゴリズムである。
論文 参考訳（メタデータ） (2025-10-10T16:49:12Z) - Isolating Language-Coding from Problem-Solving: Benchmarking LLMs with PseudoEval [7.33924106492889]
既存のコード生成ベンチマークは、大規模言語モデルのエンドツーエンドのパフォーマンスを研究するために設計されている。
我々は擬似コードで書かれたソリューションを入力として提供する多言語コード生成ベンチマークであるPseudoEvalを構築した。
本研究は,プログラミング言語間で問題解決能力が伝達される可能性を示し,言語符号化には言語固有の取り組みが必要であることを示唆する。
論文 参考訳（メタデータ） (2025-02-26T14:08:17Z) - CRUXEval-X: A Benchmark for Multilingual Code Reasoning, Understanding and Execution [50.1875460416205]
CRUXEVAL-Xコード推論ベンチマークには19のプログラミング言語が含まれている。
各言語に対して少なくとも600人の被験者で構成され、合計19Kのコンテンツ一貫性テストがある。
Pythonでのみトレーニングされたモデルでさえ、他の言語で34.4%のPass@1を達成することができる。
論文 参考訳（メタデータ） (2024-08-23T11:43:00Z) - Multilingual Contrastive Decoding via Language-Agnostic Layers Skipping [60.458273797431836]
対照的なレイヤ(DoLa)によるデコーディングは、大規模言語モデルの生成品質を改善するために設計されている。
このアプローチは英語以外のタスクではうまくいきません。
モデルの前方通過における言語遷移に関する従来の解釈可能性の研究から着想を得て,改良されたコントラスト復号アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-07-15T15:14:01Z) - Teaching Large Language Models to Self-Debug [62.424077000154945]
大規模言語モデル(LLM)は、コード生成において素晴らしいパフォーマンスを達成した。
本稿では,大規模言語モデルで予測プログラムを数発のデモでデバッグする自己デバッグを提案する。
論文 参考訳（メタデータ） (2023-04-11T10:43:43Z) - xCodeEval: A Large Scale Multilingual Multitask Benchmark for Code
Understanding, Generation, Translation and Retrieval [32.60391966381949]
我々はこれまでで最大のマルチ言語マルチタスクベンチマークであるxCodeEvalを紹介した。
コード理解、生成、翻訳、検索を含む合計7ドルのタスクが特徴だ。
xCodeEvalは実行ベースの評価を採用し、多言語コード実行エンジンであるExecEvalを提供する。
論文 参考訳（メタデータ） (2023-03-06T10:08:51Z) - Language Models Can Teach Themselves to Program Better [4.627023679353507]
近年の言語モデル (LM) は、人間の許可を受けた問題で訓練された場合、コード生成において画期的な性能を達成する。
そこで本研究では,Pythonインタプリタの正しさをフィルタするプログラミング問題と解を,LMが合成可能であることを示す。
LMの性能は、独自の合成問題と検証された解を微調整することで改善される。
論文 参考訳（メタデータ） (2022-07-29T06:43:28Z) - AVATAR: A Parallel Corpus for Java-Python Program Translation [77.86173793901139]
プログラム翻訳とは、ある言語から別の言語へソースコードを移行することを指す。
AVATARは9,515のプログラミング問題とそのソリューションをJavaとPythonという2つの人気のある言語で記述したものです。
論文 参考訳（メタデータ） (2021-08-26T05:44:20Z) - Revisiting Language Encoding in Learning Multilingual Representations [70.01772581545103]
言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。
XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。
実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
論文 参考訳（メタデータ） (2021-02-16T18:47:10Z) - X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained
Language Models [103.75890012041366]
言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。
しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。
我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
論文 参考訳（メタデータ） (2020-10-13T05:29:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。