論文の概要: Beyond Answers, Traces, and Efficiency: Evidence for Adaptive Reasoning
- arxiv url: http://arxiv.org/abs/2611.02704v1
- Date: Mon, 02 Nov 2026 07:55:54 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:40:29.277338
- Title: Beyond Answers, Traces, and Efficiency: Evidence for Adaptive Reasoning
- Title(参考訳): 回答、トレース、効率を超える:適応推論の証拠
- Abstract要約: 現在のAIシステムは、最終回答精度、推論トレース、プロセスの監督、計算または人間相対効率を通じて、推論者として評価される。
我々は,新たな観察,フィードバック,あるいは反例に応答して仮説や行動が修正されるタスク間の適応性から,新たな問題にまたがる抽象的伝達や再結合を行うタスクを区別する。
本稿では,タスクやエビデンスに対する制御された変更の下で,テストの抽象化転送と仮説の修正を,テスト時の手順や予算を明確に報告した介入指向評価を提案する。
- 参考スコア(独自算出の注目度): 4.708787374000642
- License:
- Abstract: Current AI systems are evaluated as reasoners through final-answer accuracy, reasoning traces, process supervision, and computational or human-relative efficiency. Yet these measures do not establish whether reasoning adapts when tasks or evidence change. We distinguish across-task adaptivity, where acquired abstractions transfer or recombine across novel problems, fromwithin-task adaptivity, where hypotheses and actions are revised in response to new observations, feedback, or counterexamples. Using ARC-AGI as a diagnostic case study rather than an alignment benchmark, we examine what existing measures leave unresolved when test-time search, sampling, or adaptation affects performance. We propose intervention-oriented evaluation that tests abstraction transfer and hypothesis revision under controlled changes to tasks and evidence, with explicit reporting of test-time procedures and budgets. This perspective supports evaluating systems for robustness, responsiveness to corrective feedback, and auditability under changing conditions.
- Abstract(参考訳): 現在のAIシステムは、最終回答精度、推論トレース、プロセスの監督、計算または人間相対効率を通じて、推論者として評価される。
しかし、これらの措置は、推論がタスクや証拠の変化に適応するかどうかを定めていない。
我々は,新たな観察,フィードバック,あるいは反例に応答して仮説や行動が修正されるタスク間の適応性から,新たな問題にまたがる抽象的伝達や再結合を行うタスクを区別する。
ARC-AGIをアライメントベンチマークではなく、診断ケーススタディとして使用し、テスト時間探索、サンプリング、適応がパフォーマンスに影響を与える場合、既存の対策が未解決のままであるかどうかを検討する。
本稿では,タスクやエビデンスに対する制御された変更の下で,テストの抽象化転送と仮説の修正を,テスト時の手順や予算を明確に報告した介入指向評価を提案する。
この視点は、変化する条件下での堅牢性、修正的フィードバックに対する応答性、監査可能性の評価システムをサポートする。
関連論文リスト
- Labference: Benchmarking the Reasoning-Action Connection in Robotic Laboratories [34.213448447427936]
Embodied AI for Scienceは、実験目標を信頼性のある物理的手順に変換するロボットを必要とする。
本稿では、観測結果がその後の選択をどのように導くかを評価するためのベンチマークであるLabferenceを紹介する。
論文 参考訳(メタデータ) (2026-10-26T11:33:55Z) - EnactOpt: Diagnosis-Guided Harness Evolution for Embodied Agents [16.436363329468517]
基礎モデル上に構築されたエージェントは、観察を組織化し、アクションをガイドし、実行フィードバックをその後の決定に組み込むための実行ハーネスに依存している。
EnactOptは、限られた実行フィードバックを使って再利用可能なテキストスキルとコンテキストコンストラクションコードを共同で進化させ、基盤となるモデルとランタイムを固定します。
VLABench、ALFWorld、Embodied Agent Interface (EAI)全体で、EnactOptは初期ハーネスよりもタスク成功率を約10~27ポイント向上し、評価されたEPA、TextGrad、Trace2Skillベースラインを上回っている。
論文 参考訳(メタデータ) (2026-10-10T14:51:25Z) - VeriFine: Scaling Verification for Self-Improvement in Embodied Reasoning [80.69185348729495]
我々は,政策の共進化,訓練カリキュラム,審査を通じて検証をスケールする枠組みを導入する。
ポリシー改善ループは、繰り返し発生する障害を診断し、適応的なカリキュラムを構築し、ポリシーを最適化するためにルーリックな判断を使用する。
運転およびロボットナビゲーションタスクの実験は、ポリシーと判断能力の両方において継続的な自己改善を示す。
論文 参考訳(メタデータ) (2026-10-06T17:50:29Z) - Credit-Guided Policy Improvement for Test-time Adaptive Vision-Language Navigation [53.30116823667751]
視覚言語ナビゲーションのためのテスト時適応(TTA-VLN)により、事前訓練されたポリシーは、目に見えない環境にオンラインで適応できる。
分散シフトは、局所的な行動選好を歪め、オフコース決定につながる可能性がある。
我々は,行動誘発観察遷移から署名付き参照関連決定クレジットを回収する信用誘導政策改善(CGPI)を提案する。
論文 参考訳(メタデータ) (2026-09-29T13:46:11Z) - Testing and Verification of Quantum Compilers through Assurance Contracts and Evidence [0.25489046505746704]
この調査は、検証済みの変換、等価チェック、差分および変成テスト、プロパティベースのテスト、およびリビジョン間の保証の証拠を比較します。
記録されたカバレッジ更新とソースレベルの選択決定は、レビューを宣言されたスコープ内で監査可能にする。
論文 参考訳(メタデータ) (2026-09-24T01:24:49Z) - Complex Problem Solving in Large Language Models: A Statistical Control Survey and Diagnostic Framework [52.886947585847594]
大規模言語モデル(LLM)による複雑な問題解決は、しばしばより強い推論やより長い生成の問題としてフレーム化される。
しかし、早期のエラー増幅、迅速な脆さ、誤ったコミットメントを修正する失敗を説明するのは難しい。
本調査はCPSを潜在解状態上の逐次推定・決定問題と解釈する。
論文 参考訳(メタデータ) (2026-09-17T18:28:45Z) - Diagnose, Recover, Certify: Task Readiness under Hidden Dynamics Changes [10.10742501508043]
本稿では,アクティブチェンジ診断とポストチェンジ制御の回復を統一する決定問題である,休息時ダイナミクスドリフトにおけるタスクの即応性を導入する。
Evidence-Gated Matched-Pulse Transport(英語版)を提案する。
複数のシミュレーターにまたがる様々なドミナント・アクチュエーター・ベンチマークで、その結果のフレームワークを評価する。
論文 参考訳(メタデータ) (2026-07-30T12:30:16Z) - Active Test-time Vision-Language Navigation [60.69722522420299]
ATENAは、不確実なナビゲーション結果に対するエピソードフィードバックを通じて、実用的な人間とロボットのインタラクションを可能にする、テスト時のアクティブな学習フレームワークである。
特にATENAは、成功エピソードにおける確実性を高め、失敗エピソードにおいてそれを減らすことを学び、不確実性の校正を改善している。
さらに,自信ある予測に基づいて,エージェントがナビゲーション結果を評価することができる自己学習戦略を提案する。
論文 参考訳(メタデータ) (2025-06-07T02:24:44Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳(メタデータ) (2025-04-02T17:40:47Z) - Position: AI Evaluation Should Learn from How We Test Humans [65.36614996495983]
人間の評価のための20世紀起源の理論である心理測定は、今日のAI評価における課題に対する強力な解決策になり得る、と我々は主張する。
論文 参考訳(メタデータ) (2023-06-18T09:54:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。