論文の概要: Does a Self-Learning Migration Agent Learn? An Audited Evaluation of Evidence-Graded Experience Memory for Oracle-to-PostgreSQL Migration
- arxiv url: http://arxiv.org/abs/2611.16143v1
- Date: Thu, 12 Nov 2026 01:09:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.29553
- Title: Does a Self-Learning Migration Agent Learn? An Audited Evaluation of Evidence-Graded Experience Memory for Oracle-to-PostgreSQL Migration
- Title(参考訳): 自己学習型移行エージェントは学習するか? Oracle-PostgreSQL移行におけるエビデンスグレード体験記憶の評価
- Abstract要約: 我々は,Oracle-to-Postgre移行にエビデンスを受け入れるエージェントを4つの研究で評価した。
我々は、参照、コピー、メートル法、不安定なフィードバックから、クロスタスク学習を区別する6つの評価ルールを導出する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Do large language model (LLM) migration agents learn from accumulated experience, or do apparent gains reflect retrieval and reference reuse? We evaluate an evidence-graded agent for Oracle-to-PostgreSQL migration across four studies. On 1,833 documentation-derived source-reference pairs, persistent memory improved reference conformity (RC) over a no-memory baseline by 0.015 [0.004, 0.025], while policy adaptation added no gain (-0.004 [-0.010, 0.001]). An audit found that 264 of 367 held-out units (72%) shared a PostgreSQL reference with training, and the memory effect on the 103 leak-free units fell to 0.002 [-0.008, 0.011]. A model-free nearest-target copy baseline scored RC 0.222, outperforming all LLM systems (at most 0.163). A reference-grouped split reduced copying to 0.119; a rerun on 374 units in 118 independent target groups found no statistically distinguishable memory effect (0.005 [-0.003, 0.017]) and no policy effect. A separate Oracle-grounded evaluation on 216-224 real PL/SQL units showed that 10-22% of PostgreSQL-accepted units were behaviorally incorrect; a human-gated fix cycle increased demonstrably correct units from 98/216 to 167/224. A write-back study showed a 54% decline in retrieval margin as the knowledge base grew from 12 to 1,200 entries. We derive six evaluation rules that distinguish cross-task learning from reference leakage, copying, metric artifacts, and unstable feedback.
- Abstract(参考訳): 大規模言語モデル(LLM)マイグレーションエージェントは、蓄積した経験から学習するか、あるいは、検索と参照の再利用を反映する明らかなゲインがあるか?
我々は,Oracle-PostgreSQL移行のためのエビデンスグレードエージェントを4つの研究で評価した。
1,833のドキュメンテーション由来のソース参照ペアでは、永続的なメモリ改善によるノンメモリベースライン上の参照適合度(RC)は0.015[0.004, 0.025]、ポリシー適応ではゲイン(-0.004[-0.010, 0.001])が加えられなかった。
監査の結果、367基の保留ユニット(72%)のうち264基がPostgreSQL参照をトレーニングと共有しており、103基のリークフリーユニットのメモリ効果は0.002[-0.008, 0.011]に低下した。
モデル無しで最寄りのコピーベースラインはRC 0.222を記録し、全てのLLMシステム(ほとんどの0.163)を上回った。
118個の標的群で374個のユニットが再実行され、統計的に区別可能なメモリ効果(0.005[-0.003, 0.017])は見られず、政策効果も認められなかった。
216-224 の実 PL/SQL ユニットに対する Oracle による別の評価では,PostgreSQL が受け入れるユニットの 10-22% が動作上の誤りであった。
文献による調査では、知識ベースが12から1200まで増加するにつれて、検索マージンが54%減少していた。
参照リーク,コピー,メトリックアーティファクト,不安定なフィードバックから,クロスタスク学習を区別する6つの評価ルールを導出する。
関連論文リスト
- CrossPloit: A Benchmark for Cross-Version PoC Migration in Python Web Applications [14.456042205294358]
脆弱性データベースの影響を受けたバージョンは、スキャナのデプロイ、パイプラインのパッチ、インシデント対応が脆弱であると判断する。
リストアップされたバージョンに対する概念実証(PoC)のエクスプロイトがあると、以前の未登録バージョンでは、同じ脆弱性がトリガー可能であることが示される。
このクロスバージョンPoCマイグレーションは、ソースコード分析、環境修復、実行ベースの検証を組み合わせたものだ。
論文 参考訳(メタデータ) (2026-11-12T10:21:05Z) - Replay Fidelity in LLM Agent Evaluation: Randomness, Hidden State, and Test Oracles in AppWorld [0.0]
固定コードリプレイを284回分離したAppWorldコーパスを用いて,71回の実行が失敗したことを監査する。
出力と判定は一致しないものの, 物質化状態の相違点を4つ同定する。
このコントリビューションは、リプレイの適性、隠蔽状態、およびテスト・オーラ統合の有界な経験的特徴である。
論文 参考訳(メタデータ) (2026-11-08T08:07:06Z) - ProtAgent: Post-Training Compact Protein Tool Agents with Interaction-Level Credit Assignment [59.85337246242935]
タンパク質アノテーション剤は、適切なバイオインフォマティクスツールを選択し、それらのアウトプットを解釈し、最終的な答えで結果のエビデンスを使用する必要がある。
本稿では,教師付き微調整を用いた2段階パイプラインであるProtAgentについて紹介する。
論文 参考訳(メタデータ) (2026-10-24T15:42:13Z) - When Agent Evaluation Becomes Unreliable: An Empirical Study of Oracle Failures and Configuration-Dependent Measurement in an LLM Agent Benchmark [7.717546214164674]
オラクル統合監査アプローチは、2つのタスクドメインと合成ドメインに7つのオラクル欠陥クラスを注入することで測定される。
広く使用されているエージェントベンチマークでは、データベースをリセットしてゼロトゥルースハッシュを構築し、決して復元しない報酬関数を公開する。
論文 参考訳(メタデータ) (2026-10-12T02:11:43Z) - Agora: Git as Shared Memory for Collective AutoResearch [54.31992252587096]
別々のセッションで作業する調査エージェントは、他の人が試したことと、構築可能な結果を知る必要がある。
各コミットは結果、洞察、仮説、検証、報告を記録し、それを以前の作業とリンクする。
約12日間に渡り,13人の言語モデル労働者がアゴラを重み移動問題の解決に利用したことを報告した。
論文 参考訳(メタデータ) (2026-09-16T04:00:54Z) - Does Your Agent's Memory Survive a Model Upgrade? A Controlled Study of Memory Portability [2.8890052855500143]
長文読解(LC-RAW)における記憶量と記憶量の比較を行った。
ランダム化された応答符号を持つ48の合成ヒストリー、正確なスコアリング、100億以下のパラメータを持つ2つのオープンウェイトモデルを使用する。
論文 参考訳(メタデータ) (2026-09-04T16:44:17Z) - MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳(メタデータ) (2026-08-26T18:22:03Z) - Annotations as Rollouts: Efficient and Scalable Reinforcement Learning for Video MLLMs [104.11820606942855]
Video-ORA-9Bは4,780ミリ秒ではなく130ミリ秒でデコードされる。
OraRLはモデルのサイズとデータでスケールし、バックボーンを0.8Bから9B、GRPOを最大100kのプロンプトに超える。
論文 参考訳(メタデータ) (2026-08-20T18:28:19Z) - MemDelta: Controlled Baselines and Hidden Confounds in Agent Memory Evaluation [8.38765074765613]
エージェントメモリシステムは、RAGとフルコンテキストベースラインに対してますます評価される。
報告されたゲインは、しばしばメモリメソッドの変更と言語モデル、埋め込みモデル、または検索パイプラインの変更を混合する。
我々は,LongMemEval-S(500の質問,50以上のセッション,3つのモデルファミリ)において,一度に1つのコンポーネントを変更する制御された評価プロトコルであるMemDeltaを提案する。
論文 参考訳(メタデータ) (2026-06-29T07:51:22Z) - Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。
我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。
LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
論文 参考訳(メタデータ) (2026-05-07T13:52:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。