論文の概要: Peak-Then-Collapse and the Four Interface Channels of Knowledge-Graph Tool Use

• arxiv url: http://arxiv.org/abs/2605.26037v1
• Date: Mon, 25 May 2026 17:05:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.533149
• Title: Peak-Then-Collapse and the Four Interface Channels of Knowledge-Graph Tool Use
• Title（参考訳）: Peak-Then-Collapse and the Four Interface Channels of Knowledge-Graph Tool Use
• Abstract要約: 我々は、Qwen2.5-7B-Instructの標準RLVRツール使用レシピであるGRPOを、意図的に最小限の知識グラフツールAPIでテストする。 自己検証可能な検索報酬の下で、ポリシーのツールによる回答率は、250ステップで3.8%から9.6%に上昇し、50ステップのウィンドウで0%に崩壊する。
• 参考スコア（独自算出の注目度）: 1.0971997884861282
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We test the standard RLVR tool-use recipe -- GRPO on Qwen2.5-7B-Instruct -- on a deliberately minimal knowledge-graph tool API: four Freebase navigation verbs over Complex WebQuestions. Under a self-verifiable retrieval reward, the policy's tool-grounded answer rate climbs from $3.8\%$ to $9.6\%$ over 250 steps, then collapses to $0\%$ within a single 50-step window -- a \emph{peak-then-collapse} pattern replicated across four seeds. Across seven reward designs, we find four recurring failure modes: adding denser or more targeted proxy rewards shifts the failure mode rather than eliminating it. We argue that a key difference from Python interpreters, web search, and JSON APIs is interface feedback: their failures often leak natural-language signal the model saw in pretraining. A Python traceback names the failing line; an empty Freebase result \texttt{[]} does not. Stripping away that surface exposes a degradation regime that same-family reward redesigns do not fix. A direct oracle ablation rules out relation selection: injecting gold relations at every retrieval call lifts exact-match accuracy by only $+0.20$~pp, and $95.4\%$ of retrieval-dependent errors are retrieval-composition failures rather than answer-extraction failures. As a mitigation, one-iteration self-distillation reaches $40.0\%$ EM at 7B and is capacity-invariant: doubling capacity to 14B improves EM by only $0.25$~pp, and initialization barely matters -- the ceiling appears interface-bound within the 7B--14B range tested.
• Abstract（参考訳）: 我々は、Qwen2.5-7B-Instructの標準RLVRツール使用レシピであるGRPOを、意図的に最小限の知識グラフツールAPIでテストする。 自己検証可能な検索報酬の下で、ポリシーのツール接地された回答率は、250ステップ以上で$3.8\%から$9.6\%に上昇し、その後、1つの50ステップのウィンドウで$0\%に崩壊する -- 4つのシードで複製された「emph{peak-then-collapse」パターンである。 7つの報酬デザイン全体で、繰り返し発生する障害モードが4つあります。 PythonインタプリタやWeb検索,JSON APIとの大きな違いは,インターフェースのフィードバックにある,と私たちは主張しています。 空のFreebase結果 \texttt{[]} は失敗しない。 表面を剥がすと、同じ家族の報酬が修正されないような劣化体制が表れる。 直接オラクルアブレーションは、関係の選択を規定する: すべての検索コールで金の関係を注入すると、正確なマッチ精度が$+0.20$~ppで上がり、検索依存エラーの$95.4\%は、応答抽出失敗ではなく検索合成失敗である。 14Bへの倍増能力は、わずか0.25$~ppでEMを改善し、初期化は、試験された7B-14Bの範囲内では、天井がインターフェースバウンドにしか見えない。

関連論文リスト

• Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
  クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。 反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
  論文  参考訳（メタデータ） (2026-09-02T08:10:22Z)
• Compress and Forget: bitsandbytes Quantization Amplifies Proactive Interference in LLMs [0.23438564092609357]
  プロアクティブ干渉(英: Proactive interference, PI)は、大規模言語モデルにおける文書化された障害モードであり、繰り返し上書きされた値の検索は、事前上書きが蓄積されるにつれて劣化する。 PTQは現在、オープンウェイトモデルのデフォルトのデプロイメントパスとなっているが、この障害モードへの影響はテストされていない。 アーキテクチャ的に異なる3つの命令調整モデルの3つの精度レベル(FP16, INT8, INT4/NF4, ビット/バイト)を評価する。
  論文  参考訳（メタデータ） (2026-08-19T06:17:13Z)
• Beyond Next-Token Prediction: An RLVR Proof of Concept for Tool-Use Agents on Atlassian Workflows [0.0]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、ターゲット環境に直接適用される。 リワードはツールコールトレースから完全に計算され、ライブAPI、学習された判断、ループ内の人間ラベルがない。 報奨が非退化である4つのシナリオにおいて、RL訓練されたポリシーは平均報酬を0.35--0.92から0.95--1.00まで引き上げる。
  論文  参考訳（メタデータ） (2026-07-01T20:55:07Z)
• VeriEvol: Scaling Multimodal Mathematical Reasoning via Verifiable Evol-Instruct [71.22358682581215]
  ビジュアルな数学的推論のための強化学習のスケーリングは、難しい質問を生成すること以上のものを必要とします。 これは2つのコンポーネントからなる反復的なフレームワークであるVeriEvolとしてインスタンス化します。 5ベンチマークのビジュアル・マス・スイートでは、10Kから250KサンプルまでのSFTデータのスケーリングが平均精度を35.42から54.73に引き上げている。
  論文  参考訳（メタデータ） (2026-06-22T16:17:30Z)
• Self-Reflective APIs: Structure Beats Verbosity for AI Agent Recovery [0.7399145439266902]
  Self-reflective APIは、バリデーション失敗時に、マシン可読リカバリ_feedback.[]ペイロードを返す。 リーク監査されたパイロットでは、構造化された提案は、通常の英語診断に対するタスク補完率を+36.7$--$40.0$pp引き上げる。 再利用可能なCIインフラストラクチャとして、audit_prompt_leakage.pyを出荷しています。
  論文  参考訳（メタデータ） (2026-06-03T16:02:11Z)
• Knowing When to Ask: Segment-Level Credit Assignment for LLM Tool Use [0.0]
  textbfCARL(textbfCompetence-textbfAware textbfReinforcement textbfL)を提案する。 モデル自身のロールアウトに対して、パラメトリックな知識がどこに十分で、外部の助けを必要とするかを学ぶために、評論家を訓練する。 AUC 0.93の7Bでのツール依存の質問とパラメトリックで解ける質問を分離する。
  論文  参考訳（メタデータ） (2026-05-27T00:11:31Z)
• When Do LLM Agents Treat Surface Noise Differently from Semantic Noise? A 68-Cell Measurement Study with a Held-Out Trace-Level Validation [9.055086193088083]
  10大言語モデルによって駆動されるチェーン・オブ・シンクとReActエージェントに経験的現象を記述した。 平均的な摂動は、同等の厳しさのプレゼンテーション摂動よりも、最終的な答えを頻繁に変更する。
  論文  参考訳（メタデータ） (2026-05-25T15:57:11Z)
• From Patches to Trajectories: Privileged Process Supervision for Software-Engineering Agents [56.31499185764872]
  教師の長い軌道上の監督された微調整(SFT)は、オープンソフトウェアエンジニアリング(SWE)エージェントに調査と推論を浸透させる主要な方法である。 本稿では,P2T (Patches-to-Trajectories) を提案する。P2T (Patches-to-Trajectories) は,P2T (Patches-to-Trajectories) において,P2T (Patches-to-Trajectories) とP2T (Patches-to-Trajectories) の2つの最適化法である。
  論文  参考訳（メタデータ） (2026-05-21T04:54:55Z)
• Minimal-Intervention KV Retention via Set-Conditioned Diversity [7.208745673318648]
  小さな予算でのKVキャッシュ圧縮は、キャッシュ表現、ヘッドワイドルーティング、圧縮ケイデンス、デコード動作、予算内スコアリングにまたがる複雑な設計空間である。 本稿では,TriAttentioncitemao2026triattention Retention scorerの1機能的変更を提案する。 事前登録されたプロトコルは、凍結した開発スプリットで$をチューニングし、非結合のホールトアウトスプリットで$ = 0.5$、$$$は4つのうち2つでBonferroniをクリアする。
  論文  参考訳（メタデータ） (2026-05-14T02:50:20Z)
• APEX-EM: Non-Parametric Online Learning for Autonomous Agents via Structured Procedural-Episodic Experience Replay [7.370176470430802]
  LLMベースの自律エージェントは、永続的な手続き記憶を欠いている。 我々は,構造化手続き計画の蓄積,検索,再利用を行う非パラメトリックオンライン学習フレームワークであるAPEX-EMを提案する。
  論文  参考訳（メタデータ） (2026-03-31T00:24:56Z)
• A$^2$Search: Ambiguity-Aware Question Answering with Reinforcement Learning [46.81869577197105]
  A$2$Searchはアノテーションのないエンドツーエンドのトレーニングフレームワークで、曖昧さを認識し、扱います。 8つのオープンドメインQAベンチマークの実験では、A$2$Searchが新しい最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-10-09T08:53:31Z)
• Don't Get Lost in the Trees: Streamlining LLM Reasoning by Overcoming Tree Search Exploration Pitfalls [83.89771461061903]
  検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。 検証者による木探索アルゴリズムの最近の進歩は、大規模言語モデル(LLM)の推論能力を大幅に向上させた。 意味論的に等価なコンテンツを持つ冗長な状態による$textitover-Exploration$と、検証器のスコアリングにおける高いばらつきに起因する$textitunder-Exploration$である。 各種木探索アルゴリズムに適合するフレキシブルなプラグアンドプレイシステムであるFETCHを提案する。
  論文  参考訳（メタデータ） (2025-02-16T16:12:01Z)
• Simple ReFlow: Improved Techniques for Fast Flow Models [68.32300636049008]
  拡散および流れマッチングモデルは、優れた生成性能を実現するが、多くのサンプリングステップを犠牲にしている。 我々は、力学、学習、推論のトレーニングに7つの改善点を提案する。 我々は、ニューラルネットワークによる高速な生成のために、最先端のFIDスコア(ガイダンスなし/参照なし)を達成している。
  論文  参考訳（メタデータ） (2024-10-10T11:00:55Z)
• Boot and Switch: Alternating Distillation for Zero-Shot Dense Retrieval [50.47192086219752]
  $texttABEL$は、ゼロショット設定でのパス検索を強化するための、シンプルだが効果的な教師なしのメソッドである。 ラベル付きデータに対して$texttABEL$を微調整するか、既存の教師付き高密度検索と統合することにより、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2023-11-27T06:22:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。