論文の概要: Cognitive Bias Signatures in Search-Equipped LLM Agents: A Stage-Resolved Analysis
- arxiv url: http://arxiv.org/abs/2611.05720v1
- Date: Tue, 03 Nov 2026 22:46:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:57.895386
- Title: Cognitive Bias Signatures in Search-Equipped LLM Agents: A Stage-Resolved Analysis
- Title(参考訳): 探索型LLMエージェントにおける認知バイアス信号:段階分解解析
- Abstract要約: 我々は,検索結果の順序,先行作業の記録,初期仮説を調べるための制御された検索ハーネスを開発した。
10のモデルと1,000の合成検索ワールドにまたがって、クエリ、検索されたドキュメント、ドキュメントのオープニング、そして最終回答を追跡します。
- 参考スコア(独自算出の注目度): 1.1458853556386794
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Search can help LLM agents correct mistakes, but their starting conditions may shape which evidence they find and use. Drawing on cognitive-bias paradigms, we develop a controlled search harness to examine result order, records of prior work, and initial hypotheses while holding each question and document collection fixed. Matched controls distinguish order effects from differences in document composition and the effects of failed work from context length. Across 10 models and 1,000 synthetic search worlds, we track queries, retrieved documents, document openings, and final answers. Our comparisons suggest that final answers are more sensitive to initial evidence order during active search than when all evidence is supplied in full. Dead-end histories can reduce strategy switching relative to matched neutral histories, indicating an effect beyond context length. Under wrong hypotheses, stage measurements distinguish reduced retrieval or opening from errors that persist after counter-evidence is opened. Exploratory interventions show that opening counter-evidence more often can coincide with lower accuracy, while accuracy can improve with little change in opening.
- Abstract(参考訳): 探索はLLMエージェントが誤りを正すのに役立つが、その開始条件は彼らが発見し使用する証拠を形作る可能性がある。
認知バイアスのパラダイムに基づいて、各質問や文書の収集を固定したまま、結果の順序、先行作業の記録、初期仮説を調べるための制御された検索ハーネスを開発する。
一致した制御は、文書構成の違いと失敗作の影響を文脈長と区別する。
10のモデルと1,000の合成検索ワールドにまたがって、クエリ、検索されたドキュメント、ドキュメントのオープニング、そして最終回答を追跡します。
我々の比較では、最終回答は、全ての証拠が満載されている場合よりも、アクティブ検索中の初期証拠順序に敏感であることが示唆されている。
デッドエンドヒストリーは、マッチした中立ヒストリーに対する戦略スイッチングを減らし、文脈長を超える効果を示す。
間違った仮説の下では、ステージ測定は、逆の証拠が開いた後に持続する検索やエラーからの開放を減らし、区別する。
探索的介入は、開封の正当性はより低い精度で一致し、正確性は開封のほとんど変化せずに改善できることを示している。
関連論文リスト
- Search Shapes Conclusions: Auditing Evidence Selection Bias in Deep Research Agents [9.191868289475385]
ディープ・リサーチ・エージェントは、証拠を引用されたレポートに合成する。
我々は、適応的証拠サンプリングとして問題を定式化し、因果証拠選択補正(CESS)を導入する。
CESSは、各候補文書の証拠方向を予測し、各候補文書を選択する確率を用いて候補プール平均を補正する。
論文 参考訳(メタデータ) (2026-09-30T05:30:51Z) - Diagnosing Search Behavior and Failure Modes in Long-Horizon Search Agents [63.2133766267587]
ディープサーチエージェントは、証拠収集のために検索クエリを反復的に発行することで、難解な情報検索質問に答える。
本研究では,長軸探索エージェントの軌跡レベル診断を用いてこれらの質問について検討する。
我々は,各探索ステップで得られた証拠を評価し,エージェントの行動の2つの段階を分離する。
論文 参考訳(メタデータ) (2026-08-03T08:46:48Z) - DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments [51.049999642138]
誤解を招く証拠の下で、回答回復のための100タスクのベンチマークであるDRNOISEを紹介する。
それぞれのタスクは、2つの間接的レコードチェーンが支持する固有の金の答えを持ち、ペアのノイズ条件は競合する答えを直接記述する1つのもっともらしい文書を付加する。
強いクリーンタスク性能を持つエージェント全体で、この単一の介入は66-88ポイントの精度低下を引き起こす。
論文 参考訳(メタデータ) (2026-07-19T15:20:40Z) - Collapse of Dense Retrievers: Short, Early, and Literal Biases Outranking Factual Evidence [56.09494651178128]
検索モデルは、Retrieval-Augmented Generation (RAG)のような情報検索(IR)アプリケーションで一般的に使用される。
我々は、Dragon+やContrieverのようなリトリーバーに対する、短いドキュメントの好みなどのバイアスの影響を定量化する。
私たちは大きな脆弱性を発見し、リトリバーが短いドキュメント、早い位置、繰り返しのエンティティ、リテラルマッチを好んで、答えの存在を無視しながら表示します。
論文 参考訳(メタデータ) (2025-03-06T23:23:13Z) - Retrieving Versus Understanding Extractive Evidence in Few-Shot Learning [4.230202411425062]
大規模言語モデルにおける文書内証拠の検索と解釈の関係を解析する。
ラベル予測とエビデンス検索の誤りが関連する証拠の質に起因するかどうかを2つのアブレーション研究により調査する。
論文 参考訳(メタデータ) (2025-02-19T20:48:09Z) - GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。
FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
論文 参考訳(メタデータ) (2022-04-12T03:49:35Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。