論文の概要: Position: Stop Reactively Patching Your Model Every Time and Start Proactive Test-Driven AI Development
- arxiv url: http://arxiv.org/abs/2607.20532v1
- Date: Fri, 10 Jul 2026 13:07:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:13.220747
- Title: Position: Stop Reactively Patching Your Model Every Time and Start Proactive Test-Driven AI Development
- Title(参考訳): ポジション:毎回モデルに反応的にパッチを当てて、プロアクティブなテスト駆動AI開発を始めるのをやめる
- Abstract要約: リアクティブAIフライホイールは、システムの目的内のこれらのエラーのより広範なコンテキストを無視することが多い。
オープンワールドのユースケースの長い尾の性質のため、残余のエラーの収集は統計的に難しくなっている。
私たちは、フィードバックデータをタスク目標に技術的にマッピングする"テストスペース"を作成し、フライホイールをリアクティブからアクティブに進化させることを提唱します。
- 参考スコア(独自算出の注目度): 20.416829680361232
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many modern AI systems are designed to operate under diverse, open-ended, use-cases. To help generalize deployed systems, many deployed-system maintenance pipelines use a reactive AI flywheel that observes emerging feedback from user behavior (errors) and patches the model accordingly. However, when used as the primary maintenance mechanism, these flywheels often ignore the broader context of these errors within the system's objectives, failing to preempt potential future edge cases, which leads to more unnecessary flywheel iterations. Also, it is statistically increasingly difficult to collect remaining errors due to the long-tail nature of open-world use-cases. This position paper argues that a proactive test-driven flywheel is required to address reactive flywheel's limitations and to approach a generalizable system. We advocate for creating a "test space" to technically map feedback data to task objectives, evolving the flywheel from reactive to proactive. We augment our position by mathematically proving a proactive one achieves better long-term scaling with fewer iterations than the reactive flywheel.
- Abstract(参考訳): 多くの現代のAIシステムは、多様でオープンなユースケースの下で動くように設計されている。
デプロイされたシステムの一般化を支援するため、多くのデプロイされたシステムメンテナンスパイプラインでは、ユーザの振る舞い(エラー)から発生したフィードバックを監視し、それに応じてモデルをパッチするリアクティブAIフライホイールを使用している。
しかしながら、メインのメンテナンスメカニズムとして使用すると、これらのフライホイールはシステムの目的の中でこれらのエラーのより広い文脈を無視し、将来のエッジケースをプリエンプすることができないため、より不要なフライホイールのイテレーションにつながる。
また、オープンワールドのユースケースの長い尾の性質のため、残っていたエラーを統計的に収集することはますます困難になっている。
このポジションペーパーは、反応性フライホイールの限界に対処し、一般化可能なシステムにアプローチするために、積極的にテスト駆動のフライホイールが必要であると主張している。
私たちは、フィードバックデータをタスク目標に技術的にマッピングする"テストスペース"を作成し、フライホイールをリアクティブからアクティブに進化させることを提唱します。
我々は, 反応フライホイールよりも少ない繰り返しで, より長期のスケーリングを達成できることを示すことによって, 数学的に位置を拡大する。
関連論文リスト
- Time-Aware Assistive Navigation [17.665122992601788]
現在の言語モデルは、ユーザにリアルタイムな応答を実現するかどうかを計画することは滅多にない。
複雑な屋外環境において,エゴセントリックで補助的なナビゲーションタスクのための大規模ベンチマークを導入する。
提案手法は,命令の根本原因を予測するための直接監督を含む,単純かつ効果的なモデル修正により,性能が大幅に向上することを示す。
論文 参考訳(メタデータ) (2026-09-04T17:59:47Z) - TPRU: Advancing Temporal and Procedural Understanding in Large Multimodal Models [16.203071396170284]
本稿では,多様な実施シナリオをベースとした大規模データセットTPRUを紹介する。
TPRUは3つの相補的なタスクを通じて時間的推論を育むために体系的に設計されている。
我々は,資源効率の向上を目的とした強化学習(RL)ファインチューニング手法を用いてTPRUを利用する。
論文 参考訳(メタデータ) (2026-02-21T16:10:52Z) - Spectral Imbalance Causes Forgetting in Low-Rank Continual Adaptation [58.3773038915023]
継続的な学習は、事前訓練されたモデルを、以前取得した知識を忘れずにシーケンシャルなタスクに適応することを目的としている。
既存のほとんどのアプローチは、現在のタスク固有の更新が以前取得した知識を自然に保存するプロパティを考慮せずに、継続的な学習を過去の更新への干渉を避けるものとして扱う。
本稿では,視覚言語モデルで使用される標準深度ドットと互換性のある一階述語法を用いてこの問題に対処する。
論文 参考訳(メタデータ) (2026-01-31T13:27:02Z) - NoTVLA: Narrowing of Dense Action Trajectories for Generalizable Robot Manipulation [54.87964060934928]
VLA(Vision-Language-Action)モデルは、現実の展開において重要な障壁に直面している。
本稿では,軌道の狭小化に焦点を絞った新しい手法として,軌道の狭小化(Narrowing of Trajectory)VLAフレームワークを提案する。
NoTVLAは2つのクリティカルな制約の下で動作しながら、pi0よりも優れたパフォーマンスと一般化を実現している。
論文 参考訳(メタデータ) (2025-10-04T18:26:55Z) - Scene Graph-Guided Proactive Replanning for Failure-Resilient Embodied Agent [9.370683025542686]
本稿では,サブタスク境界における障害の検出と修正を行う,アクティブなリプランニングフレームワークを提案する。
AI2-THORシミュレータの実験では,実行障害発生前の意味的および空間的ミスマッチを検出する。
論文 参考訳(メタデータ) (2025-08-15T07:48:51Z) - Natural Reflection Backdoor Attack on Vision Language Model for Autonomous Driving [55.96227460521096]
視覚言語モデル(VLM)は推論能力を高めるために自律運転システムに統合されている。
本稿では,自律運転シナリオにおけるVLMシステムを対象とした自然反射型バックドアアタックを提案する。
我々の発見は、自動運転の厳しいリアルタイム要求を生かした、新たなタイプの攻撃を発見しました。
論文 参考訳(メタデータ) (2025-05-09T20:28:17Z) - Centaur: Robust End-to-End Autonomous Driving with Test-Time Training [84.78837437133234]
我々は,手作業によるルールやコスト関数に頼ることなく,テストタイムトレーニングを通じてプランナーの行動を更新するCentaurを提案する。
本稿では,クラスタ・エントロピー(Cluster Entropy,クラスタ・エントロピー)と呼ばれる新しい不確実性尺度を開発した。
論文 参考訳(メタデータ) (2025-03-14T17:59:41Z) - Real-Time Anomaly Detection and Reactive Planning with Large Language Models [18.57162998677491]
例えば、大規模な言語モデル(LLM)は、インターネットスケールのデータに基づいて訓練され、ゼロショット機能を持つ。
本稿では,潜在的な異常に関する判断を安全な制御フレームワークに組み込む2段階の推論フレームワークを提案する。
これにより、モニターは、四輪車や自動運転車のような動的ロボットシステムの信頼性を向上させることができる。
論文 参考訳(メタデータ) (2024-07-11T17:59:22Z) - Task Success is not Enough: Investigating the Use of Video-Language Models as Behavior Critics for Catching Undesirable Agent Behaviors [22.728139463769896]
大規模生成モデルは意味のある候補解を抽出するのに有用であるが、それらはしばしばタスク制約やユーザの好みを見落としている。
具体的AIの文脈では、検証は多くの場合、命令で指定された目標条件が満たされたかどうかのみを評価する。
ロボットタスクのスコープを考えると、Goのような明示的な知識タスクに使用されるものに似たスクリプト検証を構築することは不可能である。
大きなビジョンと言語モデル(VLM)は、ビデオの中の望ましくないロボットの振る舞いを捉えるために、スケーラブルな行動批判として、ほぼ全能的なものですか?
論文 参考訳(メタデータ) (2024-02-06T18:07:43Z) - Unsupervised Domain Adaptation for Self-Driving from Past Traversal
Features [69.47588461101925]
本研究では,新しい運転環境に3次元物体検出器を適応させる手法を提案する。
提案手法は,空間的量子化履歴特徴を用いたLiDARに基づく検出モデルを強化する。
実世界のデータセットの実験では、大幅な改善が示されている。
論文 参考訳(メタデータ) (2023-09-21T15:00:31Z) - Scalable Vehicle Re-Identification via Self-Supervision [66.2562538902156]
自動車再同定は、都市規模の車両分析システムにおいて重要な要素の1つである。
車両再設計のための最先端のソリューションの多くは、既存のre-idベンチマークの精度向上に重点を置いており、計算の複雑さを無視することが多い。
推論時間に1つのネットワークのみを使用する自己教師型学習によって、シンプルで効果的なハイブリッドソリューションを提案する。
論文 参考訳(メタデータ) (2022-05-16T12:14:42Z) - PreTR: Spatio-Temporal Non-Autoregressive Trajectory Prediction
Transformer [0.9786690381850356]
PRediction Transformer (PReTR) と呼ばれるモデルを導入し、時間分解型アテンションモジュールを用いてマルチエージェントシーンから特徴を抽出する。
これは、経験的により良い結果を持つ以前の研究されたモデルよりも計算上の必要性が低いことを示している。
我々は,学習対象クエリの集合を並列デコードするために,エンコーダ・デコーダ・トランスフォーマネットワークを利用する。
論文 参考訳(メタデータ) (2022-03-17T12:52:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。