論文の概要: Semantic Bandits: In-Context Exploration-Exploitation is Biased by Semantic Priors
- arxiv url: http://arxiv.org/abs/2608.16707v1
- Date: Mon, 17 Aug 2026 15:25:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-18 19:59:03.778082
- Title: Semantic Bandits: In-Context Exploration-Exploitation is Biased by Semantic Priors
- Title（参考訳）: セマンティック・バンド: セマンティック・プレジデントによるインテクスト・エクスプロイテーション
- Abstract要約: セマンティックな情報的行動ラベルは, エクスプロイトに有利な探索をいかに減らすかを検討する。
負の報酬は、等価な正の報酬よりもかなり多くの探索を引き起こす。
環境や報酬を定義するために言語を使うことは避けられないバイアスをもたらすと我々は主張する。
- 参考スコア（独自算出の注目度）: 15.039508449686009
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly deployed as decision-making agents in settings that require sophisticated environmental exploration. However, existing work has raised questions about how LLMs actually balance exploration and exploitation. Unlike classical agents, LLM agents engage with tasks through natural language, exposing them to semantic information with no formal counterpart in the task structure. We introduce the semantic bandit, an extension of the multi-armed bandit setting that explicitly considers the textual labels assigned to actions, and use it to study how semantic priors --- inductive biases arising from associations between language and expected reward learned during pre-training, shape LLM exploration behaviour. We find that semantically informative action labels reduce exploration in favour of exploitation, improving performance when aligned with the reward structure and severely degrading it when misaligned. We further find that negative rewards trigger substantially more exploration than equivalent positive rewards, consistent with an expected-scale bias induced by reward conventions common in pre-training data. Overall, we argue that the use of language to define the environment and rewards introduces unavoidable biases derived from the fact that the model is trained on word co-occurence, with implications for the reliability and robustness of LLM agents in real-world decision-making settings.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、より洗練された環境探索を必要とする設定において、意思決定エージェントとしてますます多くデプロイされている。
しかし、既存の研究は、LLMが実際に探査と搾取のバランスをとる方法について疑問を投げかけている。
古典的エージェントとは異なり、LLMエージェントは自然言語を介してタスクを処理し、タスク構造に正式な対応を持たずにセマンティック情報に公開する。
動作に割り当てられたテキストラベルを明示的に考慮したマルチアーム・バンディット・セッティングの拡張であるセマンティック・バンディットを導入する。
セマンティックな情報的行動ラベルは、エクスプロイトを優先して探索を減らし、報酬構造に合わせると性能を改善し、ミスアライメント時に著しく劣化させる。
さらに、負の報酬が等価な正の報酬よりもかなり多くの探索を引き起こすことが、事前学習データに共通する報酬慣行によって引き起こされる期待されたスケールの偏見と一致していることがわかった。
全体として、言語を用いて環境と報酬を定義することは、実世界の意思決定環境におけるLLMエージェントの信頼性と堅牢性に影響を及ぼすが、モデルが単語共起に基づいて訓練されているという事実から生じる避けられないバイアスをもたらすと論じる。
関連論文リスト
- Ambiguity Collapse by LLMs: A Taxonomy of Epistemic Risks [5.45414933764086]
大規模言語モデル(LLM)はあいまいで、オープンなテクスチャ付き、バリューラインドな言葉を理解するためにますます使われています。
本稿では,LLMが複数の正当解釈を真に認める用語に遭遇するが,特異解を生成する現象であるあいまいさ崩壊を紹介する。
論文 参考訳（メタデータ） (2026-03-06T01:23:17Z) - Unbiased Reasoning for Knowledge-Intensive Tasks in Large Language Models via Conditional Front-Door Adjustment [14.539964360184086]
大規模言語モデル(LLM)は自然言語処理において顕著な能力を示しているが、知識集約的なタスクではうまく機能しない。
本稿では,クエリと応答間の因果効果の偏りのない推定を可能にする,新しい因果的プロンプトフレームワークである条件付きフロントドアプロンプト(CFD-Prompting)を提案する。
論文 参考訳（メタデータ） (2025-08-23T05:52:39Z) - Abstract Counterfactuals for Language Model Agents [3.7540612510652176]
抽象対物(Abstract Counterfactuals)は、環境内の行動と相互作用の高レベルな特徴を強調するフレームワークである。
トークンレベルと潜時空間の両方の介入を考慮して,テキストベースのゲームと対実テキスト生成の実験を行う。
論文 参考訳（メタデータ） (2025-06-03T14:44:26Z) - Estimating Commonsense Plausibility through Semantic Shifts [66.06254418551737]
セマンティックシフトを測定することでコモンセンスの妥当性を定量化する新しい識別フレームワークであるComPaSSを提案する。
2種類の細粒度コモンセンス可視性評価タスクの評価は,ComPaSSが一貫してベースラインを上回っていることを示している。
論文 参考訳（メタデータ） (2025-02-19T06:31:06Z) - Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。
本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。
この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
論文 参考訳（メタデータ） (2024-10-17T17:16:00Z) - TRACE: TRansformer-based Attribution using Contrastive Embeddings in LLMs [50.259001311894295]
TRACE と呼ばれるコントラスト埋め込みを用いた新しいTRansformer-based Attribution フレームワークを提案する。
TRACEは情報源の属性を精度良く改善し,大規模言語モデルの信頼性と信頼性を高める貴重なツールであることを示す。
論文 参考訳（メタデータ） (2024-07-06T07:19:30Z) - Analyzing the Role of Semantic Representations in the Era of Large Language Models [104.18157036880287]
大規模言語モデル(LLM)の時代における意味表現の役割について検討する。
本稿では, AMRCoT と呼ばれる AMR-driven chain-of- Thought prompting 法を提案する。
AMRのどの入力例が役に立つかは予測できないが,複数単語の表現でエラーが発生する傾向にある。
論文 参考訳（メタデータ） (2024-05-02T17:32:59Z) - The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。
LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。
以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2024-03-25T19:07:32Z) - Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。
我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。
モデルはこれらの評価セットに対して中程度から低い性能を示す。
論文 参考訳（メタデータ） (2023-05-24T06:41:09Z) - Guiding Pretraining in Reinforcement Learning with Large Language Models [133.32146904055233]
テキストコーパスからの背景知識を用いて探索を図形化する手法について述べる。
このメソッドはELLMと呼ばれ、言語モデルによって提案される目標を達成するエージェントに報酬を与える。
大規模な言語モデルの事前訓練を活用することで、ELLMはエージェントをループに人間を必要とせず、人間に有意義で、もっとも有用な行動へと導く。
論文 参考訳（メタデータ） (2023-02-13T21:16:03Z) - Beyond Distributional Hypothesis: Let Language Models Learn Meaning-Text
Correspondence [45.9949173746044]
大規模事前学習言語モデル (PLM) が論理否定特性 (LNP) を満たさないことを示す。
そこで本研究では,意味テキスト対応を直接学習するための新しい中間訓練課題である「意味マッチング」を提案する。
このタスクにより、PLMは語彙意味情報を学習することができる。
論文 参考訳（メタデータ） (2022-05-08T08:37:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。