論文の概要: Constraint Tree Exploration for Learning from Language Feedback
- arxiv url: http://arxiv.org/abs/2610.09107v1
- Date: Tue, 06 Oct 2026 20:57:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:22.603424
- Title: Constraint Tree Exploration for Learning from Language Feedback
- Title（参考訳）: 言語フィードバックからの学習のための制約木探索
- Abstract要約: 本研究では,行動空間に対する潜在的制約としてユーザ意図を調査し,言語フィードバックからの学習を,実現可能な領域に対する純粋探索として定式化する。
本稿では,木内の候補制約を整理するアルゴリズムTRACEを紹介する。
RecMovieでは、TRACE-Identificationは、評価されたベースラインの最大42%と48%に対して、20と60の評価アウトプットの上限で73%、最終的なアウトプット成功を達成する。
- 参考スコア（独自算出の注目度）: 10.284098885842278
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Natural-language feedback in interactive learning often explains why an action failed by pointing to violated requirements. Misinterpreting this feedback can lead an agent to rule out valid solutions. We study this setting by modeling user intent as latent constraints over an action space and formulating learning from language feedback as pure exploration over feasible regions. We introduce TRACE, an algorithm that organizes candidate constraints in a tree and tests each proposed refinement by generating actions that satisfy it. TRACE commits to the refinement only if the resulting feedback does not contradict it over repeated tests. We distinguish two ways of using the same feedback: (i) falsification, which detects contradictions to the constraint set currently being tested, and (ii) identification, which may additionally name a violated constraint. We prove high-probability coverage bounds with dependence on the candidate class size $H$ for TRACE-Falsification. With reliable identification, TRACE-Identification can replace this dependence by $K/p_{\mathrm{ext}}$, where $K$ is the number of latent constraints and $p_{\mathrm{ext}}$ lower-bounds the probability of extracting a missing true constraint from informative feedback. We evaluate TRACE across six language-feedback tasks. On RecMovie, TRACE-Identification achieves 73% and 86% final-output success under caps of 20 and 60 evaluated outputs, compared with at most 42% and 48% for the evaluated prompting baselines given the same feedback and output caps. Controlled identity-corruption experiments further show greater robustness than direct accumulation when the falsification detector remains reliable.
- Abstract（参考訳）: 対話型学習における自然言語フィードバックは、要求違反を指摘してアクションが失敗した理由をしばしば説明します。
このフィードバックを誤解釈することで、エージェントが有効なソリューションを除外することが可能になる。
本研究では、ユーザ意図を行動空間上の遅延制約としてモデル化し、言語フィードバックからの学習を実現可能な領域に対する純粋探索として定式化する。
本稿では,木内の候補制約を整理するアルゴリズムTRACEを紹介する。
TRACEは、繰り返しテストに対してフィードバックが矛盾しない場合にのみ、改善をコミットする。
同じフィードバックを使う方法が2つあります。
(i)現在テスト中の制約セットとの矛盾を検出するファルシフィケーション、及び
(ii) 違反した制約を名付けることができる識別。
TRACE-Falsification の候補クラスサイズ$H$ に依存する高確率カバレッジ境界を証明した。
信頼性の高い識別によって、TRACE-Identificationはこの依存を$K/p_{\mathrm{ext}}$に置き換えることができる。
TRACEを6つの言語フィードバックタスクで評価する。
RecMovieでは、TRACE-Identificationは、20と60の評価アウトプットの上限で73%と86%のファイナルアウトプット成功を達成する。
制御されたアイデンティティ破壊実験は、ファルシフィケーション検出器の信頼性が保たれたままでは、直接蓄積よりも強い堅牢性を示す。
関連論文リスト
- Stochastic Semantic Evidence Graphs: Uncertainty Propagation and Governance for Agentic AI [0.0]
本稿では,言語ノードが自己回帰トークンサブグラフに拡張する階層型DAGを提案する。
出所証明のために、このグラフは不確実なクレーム-パス関係を保持し、鋭いフレシェ境界を伝播する。
コントロールされた実験では、5000のケースで認証違反は発生せず、クロスRAGとライブブレーブ-検索実験は、検索、プレゼンテーション、ソース、インタラクション効果を分離する。
論文 参考訳（メタデータ） (2026-09-03T22:16:23Z) - BOUND: Brief-Guided Corrective Preference Distillation at Search-Control Boundaries [82.41764922522565]
BOUNDは、永続的な探索ドリフトのための短いガイド付き修正選好蒸留フレームワークである。
Trajectory SFT は Bamboogle で 5.6 EM 、BrowseComp-Plus で 4.8 の精度で上回っている。
論文 参考訳（メタデータ） (2026-08-09T15:32:16Z) - Models Recall What They Violate: Constraint Adherence in Multi-Turn LLM Ideation [0.0]
DriftBenchは、科学的思考における制約の順守を評価するためのベンチマークである。
繰り返し圧力は構造的複雑さを確実に増加させ、しばしば元の制約への固執を減少させる。
オープンベンチマークとして、すべてのブリーフ、プロンプト、ルックス、書き起こし、スコアをリリースします。
論文 参考訳（メタデータ） (2026-04-30T15:46:33Z) - Do LLMs Know They Are Being Tested? Evaluation Awareness and Incentive-Sensitive Failures in GPT-OSS-20B [1.948261185683419]
本研究では,「評価香り」がコンメンシュレート能力を得ることなく測定性能を膨らませるかどうかを考察する。
6つのペアのA/Bシナリオを実行し、タスク内容を保持し、フレーミングの異なる状態でデコードします。
再現可能なA/Bフレームワーク(バンキング、バリデータ、ラン毎のスコア、スクリプト)と実践的なガイダンスを提供する。
論文 参考訳（メタデータ） (2025-10-08T09:49:05Z) - CLUE: Non-parametric Verification from Experience via Hidden-State Clustering [64.50919789875233]
隠れアクティベーションの軌跡内の幾何的に分離可能なシグネチャとして解の正しさが符号化されていることを示す。
ClUE は LLM-as-a-judge ベースラインを一貫して上回り、候補者の再選において近代的な信頼に基づく手法に適合または超えている。
論文 参考訳（メタデータ） (2025-10-02T02:14:33Z) - Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。
Instruct-Verify-and-Act(IVA)を提案する。
実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
論文 参考訳（メタデータ） (2025-08-22T10:54:33Z) - Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。
その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。
VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
論文 参考訳（メタデータ） (2025-05-17T04:16:36Z) - Semantic Probabilistic Control of Language Models [27.866585120174484]
セマンティック制御は、微妙な非語彙的制約を満たすためにLM世代を操る。
我々は、検証者の情報勾配を利用して、対象属性を満たす全ての世代を効率的に推論する。
高確率で制約を満たす世代を産出するLMの毒性, 感情, 話題順守の制御におけるアプローチの有効性を評価する。
論文 参考訳（メタデータ） (2025-05-04T01:21:28Z) - Nearly Optimal Algorithms for Contextual Dueling Bandits from Adversarial Feedback [58.66941279460248]
人からのフィードバックから学ぶことは、大言語モデル(LLM)のような生成モデルを調整する上で重要な役割を果たす
本稿では,このドメイン内のモデルについて考察する。-文脈的デュエルバンディット(contextual dueling bandits)と,正の選好ラベルを相手によって反転させることができる対向フィードバック(reversarial feedback)について考察する。
本稿では,不確実性重み付き最大推定に基づく頑健なコンテキストデュエルバンドイット(RCDB)を提案する。
論文 参考訳（メタデータ） (2024-04-16T17:59:55Z) - A Simple Solution for Offline Imitation from Observations and Examples
with Possibly Incomplete Trajectories [122.11358440078581]
オフラインの模倣は、任意のインタラクションがコストがかかり、専門家のアクションが利用できない現実世界のシナリオで有用である。
本研究では,タスク固有の専門的状態とタスクに依存しない非専門的状態-アクションペアのみを利用できるMPPを解決するために,観察から学習するトラジェクトリ・アウェア・ラーニング(TAILO)を提案する。
論文 参考訳（メタデータ） (2023-11-02T15:41:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。