論文の概要: Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively?

• arxiv url: http://arxiv.org/abs/2609.39578v2
• Date: Thu, 08 Oct 2026 04:08:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.323512
• Title: Thinking Outside the Box: Can Language Models Rely on External Guidance Selectively?
• Title（参考訳）: ボックスの外で考える: 言語モデルは外部ガイダンスを選択的に活用できるか?
• Abstract要約: ボックス外での信頼できないガイダンス思考をオーバーライドしながら、有用なガイダンスの恩恵を受ける能力を呼びます。 Box$2$-Benchを導入し、ワークフローの信頼性を変えながらモデルとタスクを固定し、モデルがガイダンスに依存する方法を分離する。 本結果から, 作業性能だけでは捉えられないエージェント信頼性の次元として, フェールブル外部情報への選択的依存を同定した。
• 参考スコア（独自算出の注目度）: 18.289426274736456
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Agent harnesses often improve language models with human-designed workflows, but as models grow more capable, unreliable guidance can increasingly constrain their execution. We call the ability to benefit from useful guidance while overriding unreliable guidance thinking outside the box. We introduce Box$^2$-Bench, which holds the model and task fixed while varying workflow reliability to isolate how models regulate their reliance on guidance. On Box$^2$-Bench, frontier models often benefit from reliable guidance but remain vulnerable when it is misleading or becomes unreliable. To test whether this capability can be learned, we train two open-weight models using bad workflows, reserving good workflows for evaluation. We explore two complementary training strategies: counterfactual supervised fine-tuning improves robustness, while outcome-based reinforcement learning can shift the balance toward greater use of helpful workflows. We further find that this behavior extends beyond workflows to other forms of external information, improving peer correction and robustness to corrupted memory. Together, our results identify selective reliance on fallible external information as a dimension of agent reliability not captured by task performance alone.
• Abstract（参考訳）: エージェントハーネスは、人間が設計したワークフローで言語モデルを改善することが多いが、モデルがより有能になるにつれて、信頼性の低いガイダンスは、その実行をますます制限する。 ボックス外での信頼できないガイダンス思考をオーバーライドしながら、有用なガイダンスの恩恵を受ける能力を呼びます。 Box$2$-Benchを導入し、モデルとタスクを固定し、ワークフローの信頼性を変えて、モデルがガイダンスに依存する方法を分離する。 Box$2$-Benchでは、フロンティアモデルは信頼できるガイダンスの恩恵を受けることが多いが、誤解を招いたり、信頼できなくなったりする場合は弱いままである。 この能力が学べるかどうかをテストするために、悪いワークフローを使用して2つのオープンウェイトモデルをトレーニングし、評価のための優れたワークフローを保持します。 反実的教師付き微調整は堅牢性を改善する一方、結果に基づく強化学習は、より有用なワークフローの利用に向けてバランスをシフトすることができる。 さらに、この動作はワークフローを超えて外部情報へと拡張され、ピア修正やメモリの破損に対する堅牢性が改善される。 この結果から, タスク性能だけでは捉えられないエージェント信頼性の次元として, フェール可能な外部情報への選択的依存を同定した。

関連論文リスト

• From Knowing to Acting: Benchmarking Self-Awareness Capability of LLM Agents [69.07911499189129]
  エージェントのメタ認知判断(Knowing)を自発的実行(Acting)から切り離して認知行動アライメントを評価するフレームワークであるKAPROを紹介する。 実験の結果,自己認識能力はタスク成功と強く相関するが,内部能力設定では著しく低下することがわかった。 プロプライエタリで推論指向のモデルは、より信頼性の高い認知ゲーティングを示します。
  論文  参考訳（メタデータ） (2026-06-09T17:17:08Z)
• PRISM: A Unified Framework for Post-Training LLMs Without Verifiable Rewards [16.15363954575401]
  大規模言語モデルの訓練後の現在の技術は、費用のかかる人事監督や外部検証に頼っている。 PRISMは、プロセス・リワード・モデル(Process Reward Model, PRM)を用いて、モデルの内部信頼度とともに学習をガイドする統合トレーニングフレームワークである。 PRMと自己確実性を効果的に組み合わせることで,安定したトレーニングとテスト時間性能の両立が期待できることを示す。
  論文  参考訳（メタデータ） (2026-01-08T08:09:29Z)
• Confidence as a Reward: Transforming LLMs into Reward Models [54.98336080630691]
  Confidence-as-a-Reward (CRew) は、モデルの最終回答に対するトークンレベルの信頼を報酬のプロキシとして利用する、トレーニング不要の手法である。 CRew は MATH500 および RewardMATH ベンチマークにおいて,既存のトレーニングフリー報酬手法よりも優れていることを示す。 本稿では,信頼度スコアと正当性信号を組み合わせた選好データを構成する訓練戦略であるCRew-DPOを提案する。
  論文  参考訳（メタデータ） (2025-10-15T12:51:47Z)
• HINT: Helping Ineffective Rollouts Navigate Towards Effectiveness [49.72591739116668]
  強化学習(RL)は、大規模言語モデル(LLM)の長いチェーン・オブ・シント(CoT)推論能力を高めるための重要な要因となっている。 しかし、GRPOのような一般的な手法は、タスクの難しさがモデルの能力を超えると失敗し、スパーシリティと非効率なトレーニングに報いる。 我々は、適応的なヒントフレームワークであるHINT: Helping In Effective Rollouts Navigate Towards Effectiveを提案する。
  論文  参考訳（メタデータ） (2025-10-10T13:42:03Z)
• Self-Consistency as a Free Lunch: Reducing Hallucinations in Vision-Language Models via Self-Reflection [71.8243083897721]
  視覚言語モデルは、しばしば詳細を幻覚させ、既存のオブジェクトを生成するか、出力信頼性を損なう不正確な属性を生成する。 本稿では、長文応答と短文応答の自己整合性を利用して、学習のための選好ペアを生成する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-27T10:37:11Z)
• Augmented Reinforcement Learning Framework For Enhancing Decision-Making In Machine Learning Models Using External Agents [0.0]
  本研究は,意思決定能力向上のための新しい手法である強化強化学習フレームワークを提案する。 外部エージェントは、人間や自動スクリプトのような、決定経路の修正に役立つ誰でもよい。 このフレームワークには、2つの外部エージェントが組み込まれており、コース修正とトレーニングサイクルのすべてのポイントにおける品質データの保証を支援する。
  論文  参考訳（メタデータ） (2025-08-03T06:17:44Z)
• Rationales Are Not Silver Bullets: Measuring the Impact of Rationales on Model Performance and Reliability [70.4107059502882]
  有理数拡張による学習言語モデルは、多くの既存の作品において有益であることが示されている。 モデル性能に対する合理的性の影響を徹底的に調査するため、包括的調査を行う。
  論文  参考訳（メタデータ） (2025-05-30T02:39:37Z)
• Can Large Reasoning Models Self-Train? [51.0277533541394]
  多数決投票を簡単な自己フィードバック機構として利用し、強化学習において自己学習が持続できるかどうかを検討する。 この基本的なアプローチは、モデルの推論性能だけでなく、次のRLイテレーションでより良い品質フィードバックを生成する能力も改善します。 しかし、我々の分析では、このような自己学習パラダイムの限界も明らかにしています - 自己回帰の長いRLは、報酬のハッキングにつながるため、突然、そして完全なパフォーマンスが崩壊します。
  論文  参考訳（メタデータ） (2025-05-27T17:16:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。