論文の概要: Testing Conversation Preservation Across LLM APIs: A Rule-Based Oracle for Detecting Silent Information Loss
- arxiv url: http://arxiv.org/abs/2611.15543v1
- Date: Wed, 11 Nov 2026 14:28:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.170262
- Title: Testing Conversation Preservation Across LLM APIs: A Rule-Based Oracle for Detecting Silent Information Loss
- Title(参考訳): LLM API間の会話の保存をテストする - 無秩序な情報損失を検出するためのルールベースのOracle
- Abstract要約: LLM API間で会話情報保存をテストするための決定論的オラクルであるIslossを導入する。
ソースと変換されたリクエストと応答を共有中間表現であるConvIRにマップする。
ターゲットAPIの制限による劣化から回避可能な損失を区別する。
- 参考スコア(独自算出の注目度): 10.825154237000065
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM applications increasingly rely on translators and compatibility layers to move conversations across APIs. Yet a translated request can be accepted by the target API while silently losing information about instruction roles, tool interactions, error states, or generation controls. We introduce isloss, a deterministic oracle for testing conversation-information preservation across LLM API translations. It maps source and translated requests and replies to a shared intermediate representation, ConvIR, and applies explicit rules to distinguish legitimate representation changes from information loss. Unlike schema validation or reference-based differential testing, isloss requires neither a reference translation nor additional model calls. It also distinguishes avoidable loss from degradation caused by target API limitations. We evaluate isloss using specification-based fault injection, human review, and experiments on translators, gateways, and client libraries. On held-out tests, it detects 95/125 planted faults (76.0%) with 2/100 false alarms (2.0%). Across a synthetic request suite spanning six configurations of five translator codebases, 127/685 completed translations (18.5%) pass static target checks while silently changing prompt, role, or tool information in ways the target API could have preserved. In translated replies, 203/558 streams (36.4%) cause exceptions or silent corruption in at least one tested official OpenAI SDK. Targeted experiments across six models show that translation-induced changes can alter model behaviour when tasks depend on the affected information. These results establish conversation preservation as a distinct correctness requirement for reliable LLM interoperability, agent execution, and model evaluation.
- Abstract(参考訳): LLMアプリケーションは、API間での会話を移動させるために、トランスレータと互換性レイヤに依存している。
しかし、翻訳された要求はターゲットAPIによって受け入れられ、命令の役割、ツールのインタラクション、エラー状態、生成制御に関する情報は静かに失われる。
LLM API翻訳における会話情報保存をテストするための決定論的オラクルであるIslossを導入する。
ソースと変換された要求と応答を共有中間表現であるConvIRにマッピングし、正当な表現変更と情報損失を区別するために明示的なルールを適用する。
スキーマ検証や参照ベースの差分テストとは異なり、Islossは参照変換も追加のモデル呼び出しも必要としない。
また、ターゲットAPIの制限による劣化から回避可能な損失を区別する。
我々は、仕様ベースのフォールトインジェクション、ヒューマンレビュー、トランスレータ、ゲートウェイ、クライアントライブラリの実験を用いて、アイソスを評価する。
ホールドアウト試験では、95/125の植林断層(76.0%)と2/100の誤報(2.0%)を検出する。
5つのトランスレータコードベースの6つの構成、127/685の完成翻訳(18.5%)からなる合成要求スイートが静的なターゲットチェックをパスし、プロンプト、ロール、ツール情報を静かに変更した。
翻訳された回答では、203/558ストリーム(36.4%)が、少なくとも1つのテストされた公式OpenAI SDKで例外またはサイレントな腐敗を引き起こす。
6つのモデルを対象にした実験により、タスクが影響を受ける情報に依存する場合、翻訳によって引き起こされる変化がモデル行動を変化させることが示された。
これらの結果は,信頼性の高いLLM相互運用性,エージェント実行,モデル評価のための明確な正当性要件として,会話の保存を確立している。
関連論文リスト
- Correct Code, Vulnerable Dependencies: A Large Scale Measurement Study of LLM-Specified Library Versions [52.50730821321986]
大規模言語モデル(LLM)におけるバージョンレベルのリスクの大規模評価を初めて行った。
我々は1000のStack OverflowプログラミングタスクのベンチマークであるPinTrace上で10のLLMを評価した。
LLM バージョン選択は LLM ベース開発における第1級, 以前は見落とされたリスクサーフェスとして確認された。
論文 参考訳(メタデータ) (2026-05-07T13:52:59Z) - Bridging Natural Language and Interactive What-If Interfaces via LLM-Generated Declarative Specification [7.203839699772057]
自然言語 (NL) WIA 質問を中間表現を介してインタラクティブな視覚インタフェースに変換する2段階のワークフローを提案する。
このワークフローを、11のWAAタイプ、5つのデータセット、3つの最先端LCMにまたがる405のWAA質問でベンチマークします。
その結果、モデル全体で、仕様の半分(52.42%)が介入なしに正しく生成されることがわかった。
論文 参考訳(メタデータ) (2026-04-08T23:35:33Z) - Anka: A Domain-Specific Language for Reliable LLM Code Generation [0.0]
大規模言語モデル(LLM)は、複雑な多段階プログラミングタスクの体系的なエラーを示す。
明示的で制約のある構文で設計されたデータ変換パイプライン用のドメイン固有言語()であるAnkaを紹介します。
Ankaは100のベンチマーク問題に対して99.9%のパース成功と95.8%のタスク精度を達成した。
論文 参考訳(メタデータ) (2025-12-29T05:28:17Z) - TAI3: Testing Agent Integrity in Interpreting User Intent [17.520166327611594]
LLMエージェントは、自然言語命令を通じてAPIを呼び出すことによって、現実世界のタスクを自動化するために、ますます多くデプロイされている。
従来のソフトウェアテストでは、構造化された入力を前提としており、自然言語のあいまいさを扱うには不足している。
LLMエージェントの意図的整合性違反を体系的に発見する,API中心のストレステストフレームワークであるTAI3を紹介する。
論文 参考訳(メタデータ) (2025-06-09T08:09:08Z) - LLM-assisted Mutation for Whitebox API Testing [40.91007243855959]
MioHintは、LLM(Large Language Model)のコード理解機能を活用して、APIテストを促進する、新しいホワイトボックスAPIテストアプローチである。
提案手法の有効性を評価するため,16の実世界のAPIサービスを対象に実験を行った。
論文 参考訳(メタデータ) (2025-04-08T07:14:51Z) - Get my drift? Catching LLM Task Drift with Activation Deltas [55.75645403965326]
タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。
そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。
このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
論文 参考訳(メタデータ) (2024-06-02T16:53:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。