論文の概要: A Low Similarity Score Does Not Show Independence after Source-Conditioned Repository Rewriting
- arxiv url: http://arxiv.org/abs/2611.07887v1
- Date: Thu, 05 Nov 2026 12:05:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.674817
- Title: A Low Similarity Score Does Not Show Independence after Source-Conditioned Repository Rewriting
- Title(参考訳): 低類似度スコアはソース定義リポジトリ書き換え後の独立性を示しない
- Abstract要約: 我々は、Emphsource条件による書き換えの下で、低トークン類似度スコアがサポートできるものをテストする。
6つのコピーレフトPythonプロジェクトの69の書き直しで、以下のことが分かる。
1つの低いスコアは信頼できない証人です。
- 参考スコア(独自算出の注目度): 9.475725535714044
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Maintainers sometimes cite a low token-similarity score as evidence that an LLM-assisted rewrite of a copyleft project is independent of the original. We test what such a score can support under \emph{source-conditioned} rewriting: a coding agent keeps the original in its working copy, rewrites the repository, and iterates until a fixed behavioural harness passes, with no human edit to the code. On 69 rewrites of six copyleft Python projects we find that: \ding{182}~Agent-only rewriting is inexpensive and often yields low scores. Every controlled rewrite passes the harness after repair, usually within half an hour for the initial rewrite. Under a ground-up rearchitecture prompt, most rewrites fall below 25\% JPlag similarity and still pass the harness. \ding{183}~A single low score is an unreliable witness. Identical project--agent--prompt configurations produce wide spreads in similarity; run-to-run variation dominates project and agent effects, and in more than a third of configurations the three repeats straddle the threshold. Rewrites retain more of the original's imports and fingerprint facts than unrelated projects do, yet hand-written independent implementations of the same task often retain as much, and neither signal separates the two groups better than chance. Thus a low score on one rewrite is weak evidence of independence: another run of the same agent may score high. Claims based on similarity should report repeated generations, and candidate provenance signals should be checked against same task independent implementations, not only against unrelated projects.
- Abstract(参考訳): メンテナは、LLM支援によるコピーレフトプロジェクトの書き直しがオリジナルのものと独立している証拠として、トークン類似性の低いスコアを引用することもある。
コーディングエージェントは、オリジナルをその動作コピーに保持し、リポジトリをリライトし、固定された振る舞いハーネスが通過するまで、人間がコードに編集することなく反復する。
6つのコピーレフトPythonプロジェクトの69の書き直しで、以下のことが分かる: \ding{182}~Agentのみの書き直しは安価で、しばしば低いスコアを得る。
制御された書き直しはすべて、修理後にハーネスを通過し、通常は最初の書き直しに30分以内である。
ゼロアップ再設計プロンプトの下では、ほとんどの書き換えは25 % JPlag の類似度を下回り、まだハーネスをパスしている。
\ding{183}~ 1つの低いスコアは信頼できない証人である。
Identical project---agent--prompt 構成は、プロジェクトとエージェントエフェクトのラン・トゥ・ランの変動が支配的であり、構成の3分の1以上では、3つの繰り返しがしきい値にまたがっている。
リライトは、無関係なプロジェクトよりもオリジナルのインポートや指紋の事実を多く保持するが、同じタスクの手書きの独立した実装は、しばしば同じものを保持し、どちらの信号も、偶然よりも2つのグループを分離する。
したがって、1つの書き直しにおける低いスコアは独立性の弱い証拠であり、同じエージェントの別の実行は高いスコアを得ることができる。
類似性に基づくクレームは、繰り返し世代を報告すべきであり、未関連プロジェクトだけでなく、同じタスクに依存しない実装に対して、候補のプロビデンス信号をチェックする必要がある。
関連論文リスト
- StateTape: Action-Conditioned Evidence Lifecycle Modeling for Long-Horizon Coding Agents [6.752407594743261]
StateTapeは、リポジトリの変更時にコーディングエージェントのコンテキストを書き換えるフレームワークである。
テープは、変更された各書き込みのシンボルをマークし、テキストに関する推測からエージェントの書き込みの観察へとスタレネスを変換する。
論文 参考訳(メタデータ) (2026-09-28T21:52:27Z) - Evaluating Real-Time Voice Agents: From Component Quality to Grounded Outcomes [0.0]
リアルタイム音声エージェントは、研究プロトタイプから製品展開へと移行してきたが、それらを記述する文献は断片化されている。
本稿では, TRG (Timing-Recovery-ed) について述べる。
論文 参考訳(メタデータ) (2026-09-25T04:22:20Z) - To Copy or Not to Copy: Controlling Speculative Decoding via Intrinsic Model Signals [53.517661959543894]
投機的復号法 (SD) はLarge Language Model (LLM) の推論を著しく加速した。
既存のアプローチは、ニューラルドラフトとコンテキストベースのコピーという2つのドラフト戦略の根本的なトレードオフに直面している。
既存のコピーベース手法を解析し、それらが偶然に繰り返される傾向があることを確認する。
本稿では,LLMの遅延制御信号としてコピー処理を扱う適応型フレームワークであるSwitchSDを紹介する。
論文 参考訳(メタデータ) (2026-09-17T12:51:20Z) - Independent Patch Verification for Coding Agents with a Bidirectional Reconstruct-and-Verify Framework [49.16055123488827]
大規模言語モデルを利用したコーディングエージェントは、バグレポートから直接コードパッチを生成することができる。
報告された問題を真に解決するかどうかを独立に検証するメカニズムは存在しない。
本稿では,RETRACE をトレーニング不要なポストジェネレーション検証フレームワークとして提案する。
論文 参考訳(メタデータ) (2026-08-09T22:59:13Z) - Autoresearch with Coding Agents: Generalizers and Metric-Maximizers on Quran Recitation Data [4.191965713559235]
コーディングエージェントは、スコアに対してソフトウェアを改善するために、単独で残すことができます。
このパターンでは、エージェントはデータセット、評価スクリプト、編集可能な1つのファイルを受け取り、監督なしで反復する。
このループを実際の生産タスクで実行し、ノイズの多い音声認識書面にどのクラニック詩が現れるかを決定しました。
論文 参考訳(メタデータ) (2026-07-20T15:32:09Z) - Handoff Debt: The Rediscovery Cost When Coding Agents Take Over Interrupted Tasks [0.0]
他のエージェントやエンジニアが残した部分的な状態からタスクを中断し、再割り当てし、レビューし、再開するからです。
前任者の作業が不透明あるいは不完全である場合に課される再検討コスト。
我々の乗っ取りプロトコルは、決定論的ハンドオフポイントで符号化エージェントを中断し、リポジトリを凍結し、4つのハンドオフビューで後継エージェントを評価する。
論文 参考訳(メタデータ) (2026-06-01T20:40:38Z) - DiffScore: Text Evaluation Beyond Autoregressive Likelihood [79.18228156703695]
DiffScoreはMasked Large Diffusion Language Models上に構築された評価フレームワークである。
DiffScoreは、連続マスキングレートでテキストの回復可能性を測定することで、位置バイアスを排除している。
10のベンチマークでの実験によると、DiffScoreはゼロショットと微調整の両方で自動回帰ベースラインを一貫して上回っている。
論文 参考訳(メタデータ) (2026-05-12T06:27:36Z) - Memorize or Generalize? Evaluating LLM Code Generation with Code Rewriting [54.48306552577881]
大規模な言語モデル(LLM)は、主にメモリ化(トレーニングデータの大きな部分を複製または再利用する)と一般化(Generalization)を併用している、と我々は主張する。
既存の評価は、表面/構造的類似性を無視し、繰り返しコードの良質な再利用を有害なリコールと記憶タスクの正しさで混同する。
そこで我々は,2つの信号を組み合わせた正規化スコアである覚書リスク指標(MRI)を提案する。 (i) モデルが元の地平解とどのように類似しているか, (ii) 元のタスクから書き換えされたタスクにどの程度の性能が低下するか。
論文 参考訳(メタデータ) (2025-03-04T05:39:24Z) - CopyBench: Measuring Literal and Non-Literal Reproduction of Copyright-Protected Text in Language Model Generation [132.00910067533982]
LM世代におけるリテラルコピーと非リテラルコピーの両方を測定するために設計されたベンチマークであるCopyBenchを紹介する。
リテラル複写は比較的稀であるが、イベント複写と文字複写という2種類の非リテラル複写は、7Bパラメータのモデルでも発生する。
論文 参考訳(メタデータ) (2024-07-09T17:58:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。