論文の概要: ALIAS: Evaluating Performance and Memorization in LLM-Written TLA+ Specifications

• arxiv url: http://arxiv.org/abs/2610.29767v1
• Date: Wed, 21 Oct 2026 14:02:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.379926
• Title: ALIAS: Evaluating Performance and Memorization in LLM-Written TLA+ Specifications
• Title（参考訳）: ALIAS: LLMで書かれたTLA+仕様の性能評価とメモリ化
• Abstract要約: 我々は、一貫した識別子リネーム(CIR)でテストし、タスク内のすべての識別子に新しい名前を与え、リコールの証拠としてリコールされたタスクの低いスコアを扱います。 111のTLA+-Benchタスクで、Claude Opus 4.8の正しさを28%から18%に下げ、GPT-5の正しさを9%から7%に下げる。 2つのモデルファミリーでは、タスクの相容れない部分で微調整され、リネームによってトレーニングの収益の約半分が取り除かれ、4.9ポイント(Qwen)と1.3ポイント(Gemma)のコストがかかる。
• 参考スコア（独自算出の注目度）: 1.4462128376169208
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Memorization inflates the benchmark scores of large language models (LLMs), since a model can reproduce answers it saw in training. Researchers test for it with consistent identifier renaming (CIR), which gives every identifier in a task a new name, and treat a lower score on the renamed task as evidence of recall. We test this method on the Temporal Logic of Actions Plus (TLA+) language, whose model checker acts as an oracle by confirming whether a renamed task preserves the exact behaviors of the original. Across 111 TLA+-Bench tasks, renaming lowers the correctness of Claude Opus 4.8 from 28% to 18% and of GPT-5 from 9% to 7%. Most of this decrease comes from how the test grades, which requires exact names that most descriptions never state. Grading by behavior shrinks the decrease to about 3 percentage points for Opus 4.8 and to 0 for GPT-5. In two model families fine-tuned on disjoint halves of the tasks, renaming removes about half of the training gain in likelihood and costs 4.9 percentage points (Qwen) and 1.3 percentage points (Gemma) on unseen tasks. A lower score after renaming therefore mixes memorization, name-based grading, and the cost of new names.
• Abstract（参考訳）: メモリ化は、トレーニングで見た回答を再現できるため、大きな言語モデル(LLM)のベンチマークスコアを膨らませる。 研究者は、一貫した識別子リネーム(CIR)でテストし、タスク内のすべての識別子に新しい名前を与え、リコールの証拠としてリコールされたタスクの低いスコアを扱います。 本手法は,モデルチェッカーが託宣として振舞う時間論理+(TLA+)言語を用いて提案手法をテストする。 111のTLA+-Benchタスクで、Claude Opus 4.8の正しさを28%から18%に下げ、GPT-5の正しさを9%から7%に下げる。 テストグレードは、ほとんどの記述が決して記述しない正確な名前を必要とする。 振舞いによるグラディングはOpus 4.8の約3ポイント、GPT-5の0ポイントまで減少する。 2つのモデルファミリーでは、タスクの相容れない部分で微調整され、リネームによってトレーニングの収益の約半分が取り除かれ、4.9ポイント(Qwen)と1.3ポイント(Gemma)のコストがかかる。 したがって、リネーム後の低いスコアは、暗記、名前ベースのグレーディング、そして新しい名前のコストを混合する。

関連論文リスト

• How Language Models Organize Task Information [15.685091205854823]
  14個のコアタスクで5つの実験室から19個のLMを評価する。10つのベースモデルにより、確実に読みやすい9つの機能とほぼ同じ順序のタスクが提供される。 20モデルにわたる制御された合成実験では、成功した学習対象は単一機能の読み出しを許容する一方、可読性制御には数十の機能が必要である。 連続的な学習の後、保存されたヘッドは失敗するが、線形可読性は高いままであり、リカバリはテスト手順による初期タスク学習よりも少ないラベルを必要とする。
  論文  参考訳（メタデータ） (2026-10-20T06:43:48Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• Neural Variable Name Repair: Learning to Rename Identifiers for Readability [0.0]
  変数名の修復には,ローカルあるいはパラメータ名のすべての発生をプレースホルダに置き換える,実際のC++関数が与えられる。 関数をTree-sitterでパースすることで、BigCodeのThe StackのC++部分から自動的にこのタスクを実行します。 そこで我々は,Top-5 と組込み型部分類似度スコア (0-100) を用いて,近似同義語や形式変種に対する評価を行った。
  論文  参考訳（メタデータ） (2025-11-30T23:37:46Z)
• Small Edits, Big Consequences: Telling Good from Bad Robustness in Large Language Models [0.0]
  大きな言語モデル(LLM)が、ひとつの単語の誤読が安全性を損なう可能性があるような設定でコードを書くようになりました。 有用な堅牢性と有害な不感度の開始点を調査するために、50のLeetCode問題をコンパイルし、3つの最小限の急激な摂動を発生させる。 3つの「推論チューニング」バージョンを含む6つのフロンティアモデルにより、各変更プロンプトが解決される。
  論文  参考訳（メタデータ） (2025-07-15T03:22:07Z)
• Dynamic Cheatsheet: Test-Time Learning with Adaptive Memory [52.44029486173232]
  Dynamic Cheatsheet(DC)は、永続的で進化するメモリを備えたブラックボックス言語モデルを提供する軽量フレームワークである。 DCは、蓄積した戦略、コードスニペット、および推論時に一般的な問題解決の洞察をモデルが保存し再利用することを可能にする。 このテストタイム学習は、明確な地味なラベルや人間のフィードバックを必要とせずに、幅広いタスクのパフォーマンスを大幅に向上させる。
  論文  参考訳（メタデータ） (2025-04-10T17:57:33Z)
• Enhancing Mathematical Reasoning in LLMs by Stepwise Correction [39.67266805233599]
  Best-of-N復号法は、大規模言語モデル(LLM)に複数の解を生成するように指示し、それぞれがスコアリング関数を使用してスコアし、数学的な推論問題に対する最終解として最も高いスコアを選択する。 本稿では,LLMが生成した推論経路の誤りステップを特定し,修正するのに役立つ,ステップワイズ補正(StepCo)という新しいプロンプト手法を提案する。 バリデーション・then-reviseプロセスは、回答の正しさを向上するだけでなく、生成に必要なパスを減らしてトークン消費を減らす。
  論文  参考訳（メタデータ） (2024-10-16T18:18:42Z)
• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• Guess the Instruction! Flipped Learning Makes Language Models Stronger Zero-Shot Learners [26.612759764193758]
  メタトレーニングは、様々な下流タスクで言語モデル(LM)を微調整する。 Flipped Learningは、入力インスタンスとラベルが与えられたタスク命令を生成するためにLMを訓練する。 BIGベンチマークの14のタスクでは、11BサイズのFlippedはゼロショットのT0-11B、さらに16倍の3ショットのGPT-3 (175B)を平均で上回っている。
  論文  参考訳（メタデータ） (2022-10-06T15:00:47Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• Unbiased Teacher for Semi-Supervised Object Detection [50.0087227400306]
  SS-OD(Semi-Supervised Object Detection)を再検討し,SS-ODにおける擬似ラベルバイアス問題を特定する。 学生と徐々に進歩する教師を相互に利益ある方法で共同で訓練するシンプルで効果的なアプローチであるUnbiased Teacherを紹介します。
  論文  参考訳（メタデータ） (2021-02-18T17:02:57Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。