論文の概要: Measuring Behavior Portability in Large Language Models

• arxiv url: http://arxiv.org/abs/2606.22797v1
• Date: Mon, 22 Jun 2026 03:16:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-25 04:34:01.320294
• Title: Measuring Behavior Portability in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける行動可搬性の測定
• Authors: Tianjia Dong, Nadav Kunievsky, James A. Evans,
• Abstract要約: 大規模な言語モデルは、自律的な意思決定者としてますます多くデプロイされている。 行動マッピングは 決定環境によって大きく異なります この感度はスイートベースの評価脆弱性をレンダリングする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly deployed as autonomous decision makers, yet the behavioral mapping they exhibit can vary substantially across decision environments that are payoff-equivalent by construction-environments that share identical payoff-relevant structure but differ in surface presentation. This sensitivity renders suite-based evaluation fragile and raises a fundamental question of behavioral portability: how well does a behavioral mapping learned in one decision environment informative on another that preserves the same underlying incentive structure? We introduce a formal framework to measure this property. Our protocol fits an interpretable behavioral model on data pooled from a set of source environments and evaluates its out-of-sample predictive performance in a held-out target environment, benchmarking against an oracle trained directly on target data. Portability is quantified via a loss-agnostic measure that delivers worst-case bounds on the performance of the induced prediction-action mapping in the target environment. In controlled experiments spanning seven canonical economic decision problems, we document substantial and systematic portability losses, suggesting that behavioral characterizations of LLMs obtained in one decision environment cannot be assumed to transfer reliably to structurally equivalent alternatives.
• Abstract（参考訳）: 大規模言語モデルは、自律的な意思決定者としてますますデプロイされているが、それらが提示する行動マッピングは、同一のペイオフ関連構造を共有するが、表面的な表現では異なる、建設環境と等価な意思決定環境によって大きく異なる可能性がある。 この感度はスイートベースの評価の脆弱さを反映し、行動ポータビリティに関する根本的な疑問を提起する。 この特性を測定するための正式な枠組みを導入する。 提案プロトコルは,一連のソース環境から収集したデータに対する解釈可能な行動モデルに適合し,対象データに基づいて直接訓練されたオラクルに対してベンチマークを行い,そのアウトオブサンプル予測性能を評価する。 ポータビリティは、ターゲット環境における誘導予測-アクションマッピングの性能に最悪のケース境界をもたらす損失非依存尺度によって定量化される。 7つの標準的経済決定問題にまたがる制御実験において, 1つの決定環境で得られたLCMの挙動特性が, 構造的に等価な代替品に確実に移行できないことを示唆し, 実質的かつ体系的な可搬性損失を報告した。

関連論文リスト

• Latent Performance Profiling of Large Language Models [47.009623327601226]
  隠れたアクティベーションと出力分布からタスクに依存しない診断を導出するフレームワークであるLatent Performance Profiling(LPP)を紹介する。 静的精度スコアとは異なり、LPPは同様のサイズのモデル間で安定でアーキテクチャに敏感なシグネチャを提供する。 類似のベンチマークスコアを持つモデルは、エントロピーや適応性の違いなど、対照的なプロファイルを示すことができることを示す。
  論文  参考訳（メタデータ） (2026-05-28T14:41:26Z)
• Joint Model and Data Sparsification via the Marginal Likelihood [53.29070892356214]
  本稿では,個々の特徴とサンプルの相違点を同時学習し,同時にモデルとデータスペーシングを実現することを提案する。 このモデルとデータの対称的なプルーニングは、共役を保存する自然な拡張を提供する。 多様な回帰タスクにわたる経験的結果は、共同ARDアプローチがスパースモデルとロバスト予測モデルの両方を一貫して生成することを確認した。
  論文  参考訳（メタデータ） (2026-05-28T13:26:53Z)
• Robust Representation Learning through Explicit Environment Modeling [20.167786881625698]
  複数の環境にまたがって収集されたラベル付きデータから学習することを考える。 環境間の変動を明示的にモデル化し,その変動を疎外することによって学習した表現について検討する。 これらのモデルは、様々な困難な設定において不変な学習方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-28T21:36:56Z)
• AgentNoiseBench: Benchmarking Robustness of Tool-Using LLM Agents Under Noisy Condition [72.24180896265192]
  本稿では,騒音環境下でのエージェントモデルのロバスト性を評価するためのフレームワークであるAgentNoiseBenchを紹介する。 まず、実世界のシナリオにおけるバイアスと不確実性の詳細な分析を行う。 次に,環境騒音をユーザノイズとツールノイズの2つの主要なタイプに分類する。 この分析に基づいて,既存のエージェント中心ベンチマークに制御可能なノイズを注入する自動パイプラインを開発した。
  論文  参考訳（メタデータ） (2026-02-11T20:33:10Z)
• Multi-environment Invariance Learning with Missing Data [0.0]
  本研究では、変数選択特性と$ell$エラー収束率に関する漸近的でない保証を確立する。 シミュレーションにより新しい推定器の性能を評価し,その応用をUCI Bike Sharingデータセットを用いて実証した。
  論文  参考訳（メタデータ） (2026-01-12T06:30:58Z)
• Benchmarking the Spatial Robustness of DNNs via Natural and Adversarial Localized Corruptions [49.546479320670464]
  本稿では,セグメンテーションモデルの空間的ロバスト性を評価するための特別な指標を紹介する。 本稿では,モデルロバスト性をより深く理解する手法として,地域対応型マルチアタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック・アタック分析を提案する。 その結果、モデルがこれらの2種類の脅威に異なる反応を示すことが明らかとなった。
  論文  参考訳（メタデータ） (2025-04-02T11:37:39Z)
• Variable Importance Matching for Causal Inference [73.25504313552516]
  これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。 Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。 LASSO を用いて Model-to-Match フレームワークを運用する。
  論文  参考訳（メタデータ） (2023-02-23T00:43:03Z)
• Learning Invariant Representations under General Interventions on the Response [2.725698729450241]
  線形構造因果モデル(SCM)に着目し、不変整合性(IMP)を導入する。 離散環境と連続環境の両方において,本手法の一般化誤差を解析する。
  論文  参考訳（メタデータ） (2022-08-22T03:09:17Z)
• Data Augmentation through Expert-guided Symmetry Detection to Improve Performance in Offline Reinforcement Learning [0.0]
  マルコフ決定過程(MDP)の動的モデルのオフライン推定は非自明な作業である。 近年の研究では、密度推定法に依存する専門家誘導パイプラインが、決定論的環境において、この構造を効果的に検出できることが示されている。 学習したMDPを解き、実際の環境に最適化されたポリシーを適用すると、前者の結果が性能改善につながることを示す。
  論文  参考訳（メタデータ） (2021-12-18T14:32:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。