論文の概要: Procedural Exposure Bias in Skill-Augmented Language Model Agents
- arxiv url: http://arxiv.org/abs/2610.26062v1
- Date: Mon, 19 Oct 2026 09:23:54 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-21 06:56:36.173489
- Title: Procedural Exposure Bias in Skill-Augmented Language Model Agents
- Title（参考訳）: スキル強化型言語モデルエージェントにおける手続き的露出バイアス
- Abstract要約: 手続き的露出バイアス(英: Procedural Exposure Bias、PEB)は、言語モデルにおいて、その関連する手続き的パターンが繰り返しスキルで露呈されるにつれて、行動を支持する傾向にある。
ビジュアルスキルは、評価された4つのモデルすべてに対して、テキストスキルよりも高いマクロ平均タスクの成功を達成する。
これらの知見は、手続き的知識がエージェント決定にどのように変換されるかを決定する重要な要因として、スキル表現を確立している。
- 参考スコア（独自算出の注目度）: 21.89470327963384
- License:
- Abstract: External skills provide language-model agents with reusable procedural knowledge, yet how models use such knowledge after it is supplied remains poorly understood. We identify Procedural Exposure Bias (PEB), the tendency of language models to increasingly favor an action as its associated procedural pattern is repeatedly exposed in a skill, even when the interaction state and action relevance remain unchanged. We find that PEB strongly depends on how procedural knowledge is represented: presenting the same content visually substantially attenuates exposure-induced shifts in action preference relative to textual presentation. Further analysis shows that this attenuation primarily arises from visual encoding rather than structured layout. Although repeated procedural signals remain recoverable from Visual representations, they exert a weaker influence on downstream action prediction, distinguishing signal accessibility from its use as action evidence. This effect also extends to executable action selection, where increasing exposure more strongly favors the corresponding action under Text than Visual. Layer-wise analyses show that exposure-dependent action evidence becomes more pronounced toward the model output, with stronger evidence under Text, while activation interventions reveal architecture-specific roles of internal components in transmitting or counteracting the preference shift. Complete-agent evaluations across ALFWorld, ScienceWorld, and WebShop further show that Visual skills achieve higher macro-average task success than Text skills for all four evaluated models. These findings establish skill representation as an important factor governing how procedural knowledge is translated into agent decisions. All code is available at https://github.com/NEUIR/Vis-Skill.
- Abstract（参考訳）: 外的スキルは、再利用可能な手続き的知識を持つ言語モデルエージェントを提供するが、それが供給された後も、モデルがどのようにそのような知識を使うかは理解されていない。
我々は,対話状態と行動関連性が変化していない場合でも,関連する手続きパターンが繰り返しスキルに露呈するにつれて,言語モデルが行動を支持する傾向にある,手続き的露出バイアス(PEB)を同定する。
我々は, PEBがいかに手続き的知識を表現しているかに強く依存していることを発見した。
さらなる分析により、この減衰は主に構造的レイアウトではなく視覚的符号化から生じることが示されている。
繰り返しプロシージャ信号は視覚的表現から回復可能であるが、下流での行動予測に弱い影響を及ぼし、信号のアクセシビリティーと行動証拠としての使用を区別する。
この効果は実行可能なアクション選択にも拡張され、エクスポージャーの増加は、VisualよりもTextでの対応するアクションをより強く推奨する。
レイヤワイズ分析は、露光依存のアクションエビデンスが、テキストの下でより強いエビデンスを持つモデル出力に対してより顕著になり、一方、アクティベーションの介入は、好みのシフトを伝達または反作用する内部コンポーネントのアーキテクチャ固有の役割を明らかにしていることを示している。
ALFWorld、ScienceWorld、WebShopの完全エージェント評価は、ビジュアルスキルが4つの評価モデルすべてにおいてテキストスキルよりも高いマクロ平均タスクの成功を達成することを示している。
これらの知見は、手続き的知識がエージェント決定にどのように変換されるかを決定する重要な要因として、スキル表現を確立している。
すべてのコードはhttps://github.com/NEUIR/Vis-Skillで入手できる。
関連論文リスト
- ActFER: Agentic Facial Expression Recognition via Active Tool-Augmented Visual Reasoning [55.562958315741646]
本稿では, アクティブな視覚的エビデンス獲得とマルチモーダル推論を兼ね備えたエージェントフレームワークであるActFERを提案する。
さらに,エージェントFERに適した強化学習アルゴリズムである実用性キャリブレーションGRPOを開発した。
論文 参考訳（メタデータ） (2026-04-10T05:53:19Z) - Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection [49.26064449816502]
本研究では,テキスト・視覚バイアスと共起バイアスに対処するために,グラディエントベースのインフルエンス・アウェア制約付きデコーディング(GACD)手法を提案する。
GACDは幻覚を効果的に低減し、MLLM出力の視覚的接地を改善する。
論文 参考訳（メタデータ） (2025-09-03T08:13:52Z) - LLM-enhanced Action-aware Multi-modal Prompt Tuning for Image-Text Matching [25.883546163390957]
大規模言語モデル(LLM)が生成する行動関連外部知識を組み込むことにより,CLIPをきめ細かな行動レベル理解に役立てる。
本稿では,行動認識に基づく視覚的特徴を集約し,識別的・行動的視覚的表現を確立するための知識を付加する適応的相互作用モジュールを提案する。
論文 参考訳（メタデータ） (2025-06-30T03:49:08Z) - ExpertLens: Activation steering features are highly interpretable [17.8514287071776]
我々は,活性化ステアリングの研究から,専門家の手法を用いて特定の概念に責任を負うニューロンを同定する。
ExpertLensの表現はモデルやデータセット間で安定しており、行動データから推測される人間の表現と密接に一致している。
この結果から,ExpertLensはモデル表現のキャプチャと解析のためのフレキシブルで軽量なアプローチであることが示唆された。
論文 参考訳（メタデータ） (2025-02-20T23:08:03Z) - On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
教師付き微調整後の文脈認識の喪失について検討した。
性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。
一般命令微調整データセットから文脈依存例を識別する指標を提案する。
論文 参考訳（メタデータ） (2024-11-05T00:16:01Z) - Integrating Language-Derived Appearance Elements with Visual Cues in Pedestrian Detection [51.66174565170112]
本研究では,大言語モデルの強みを文脈的外見の変化の理解に活用するための新しいアプローチを提案する。
本稿では,言語由来の外観要素を定式化し,歩行者検出に視覚的手がかりを取り入れることを提案する。
論文 参考訳（メタデータ） (2023-11-02T06:38:19Z) - SignBERT+: Hand-model-aware Self-supervised Pre-training for Sign
Language Understanding [132.78015553111234]
手の動きは手話の表現において重要な役割を担っている。
現在,手話理解(SLU)の深層学習手法は,手話データ資源の不足により過度に適合する傾向にある。
モデル認識ハンドを組み込んだ初の自己教師型事前学習型SignBERT+フレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-08T17:16:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。