論文の概要: Does Every Instance Count Equally? Order Effects in LLM Multi-Instance Processing

• arxiv url: http://arxiv.org/abs/2610.29057v1
• Date: Wed, 21 Oct 2026 01:39:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.176033
• Title: Does Every Instance Count Equally? Order Effects in LLM Multi-Instance Processing
• Title（参考訳）: 各インスタンスは等しくカウントされるか? LLMマルチインスタンス処理における順序効果
• Abstract要約: モデルが各インスタンスに対してバイナリラベルを推論しなければならないタスクについて検討し、全インスタンスセットの中で最も頻繁なラベルを識別する。 正確さは、最良のパターンと最悪のパターンの約90%のポイントの違いがある。 モデルのサブセットについては、利用可能な推論トレースと勾配に基づく属性は、位置に対して不均一に強調されている。
• 参考スコア（独自算出の注目度）: 15.27910256601728
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Users increasingly rely on large language models (LLMs) to analyse collections of independent inputs, such as product reviews or social media posts, and return a single aggregated answer. This setting requires multi-instance processing (MIP), where a model combines information from multiple instances into one prediction. We study a task in which the model must infer a binary label for each instance, and identify the most frequent label among the full instance set. The correct answer should be invariant to instance order. By evaluating fifteen LLMs across five datasets and seven instance order patterns, with each instance set held fixed across patterns, we find substantial order sensitivity. Accuracy can differ by about 90 percentage points between the best and worst order patterns, with models generally more accurate when majority-label instances appear at the start than when they appear in the middle or at the end. For subsets of models, available reasoning traces and gradient-based attribution reveal uneven emphasis across positions. Traces disproportionately mention early instances, while attribution scores are generally higher near the beginning and end than in the middle. These results show that instance order can systematically bias aggregated predictions, highlighting the need to evaluate MIP across different input arrangements.
• Abstract（参考訳）: ユーザは、プロダクトレビューやソーシャルメディア投稿などの独立したインプットのコレクションを分析し、単一の集約された回答を返すために、大きな言語モデル(LLM)にますます依存している。 この設定はマルチインスタンス処理(MIP)を必要とし、モデルが複数のインスタンスからの情報を1つの予測に結合する。 モデルが各インスタンスに対してバイナリラベルを推論しなければならないタスクについて検討し、全インスタンスセットの中で最も頻繁なラベルを識別する。 正しい答えは、例順に不変であるべきである。 5つのデータセットと7つのインスタンス順序パターンにまたがる15のLLMを評価し、各インスタンスセットをパターン間で固定することで、かなりの順序感度が得られます。 最良パターンと最悪のパターンの間には、およそ90パーセントの精度で精度が異なり、大半が最初に現れるときよりも、中央に現れるときや、最後に現れるときよりも、一般的にモデルの方が正確である。 モデルのサブセットについては、利用可能な推論トレースと勾配に基づく属性は、位置に対して不均一に強調されている。 トレースは初期の事例について不当に言及するが、帰属スコアは一般的に中央よりも始点と終点に近い。 これらの結果から,インスタンス順序は集約された予測を体系的にバイアスし,異なる入力配列でMIPを評価する必要性を浮き彫りにすることができることがわかった。

関連論文リスト

• Rethinking Learning from Label Proportions via Moment Matching [53.344609839548035]
  ラベルパーセンテージ(LLP)からの学習は、トレーニングデータをバッグに分類し、バッグレベルのラベルパーセンテージのみを観察する弱い教師付き環境である。 モーメントマッチング(LLP-MM)によるLPPを提案する。
  論文  参考訳（メタデータ） (2026-10-15T04:58:58Z)
• Order Matters: Rethinking Prompt Construction in In-Context Learning [52.19217980839306]
  In-context Learning (ICL)により、大規模言語モデルでは、例の列に条件付けすることで、新しいタスクを実行できる。 以前の作業のほとんどは、どの例が選択されたかが、これらの例の順序よりもパフォーマンスにはるかに大きな影響を与えると仮定している。 この仮定を再検討し、選択と順序付けの効果を体系的に比較する。
  論文  参考訳（メタデータ） (2025-11-12T19:57:55Z)
• Large Language Models Do Multi-Label Classification Differently [41.60681320369492]
  実世界の環境では多言語分類が一般的であるが、この設定におけるLarge Language Models (LLMs) の振る舞いは検討されている。 自己回帰型LLMは,主観的タスクに着目し,マルチラベル分類を行うかを検討する。 第1ラベルの初期確率分布は最終的な出力を反映しないことが多い。
  論文  参考訳（メタデータ） (2025-05-23T06:04:36Z)
• A General Model for Aggregating Annotations Across Simple, Complex, and Multi-Object Annotation Tasks [51.14185612418977]
  ラベルの品質を改善するための戦略は、複数のアノテータに同じ項目にラベルを付け、ラベルを集約するように求めることである。 特定のタスクに対して様々なbespokeモデルが提案されているが、様々な複雑なタスクを一般化するアグリゲーションメソッドを導入するのはこれが初めてである。 本論では,3つの新たな研究課題について検討し,今後の課題を概説する。
  論文  参考訳（メタデータ） (2023-12-20T21:28:35Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• Leveraging Instance Features for Label Aggregation in Programmatic Weak Supervision [75.1860418333995]
  Programmatic Weak Supervision (PWS) は、トレーニングラベルを効率的に合成するための広く普及したパラダイムとして登場した。 PWSのコアコンポーネントはラベルモデルであり、複数のノイズ管理ソースの出力をラベル関数として集約することで、真のラベルを推論する。 既存の統計ラベルモデルは一般的にLFの出力のみに依存し、基礎となる生成過程をモデル化する際のインスタンスの特徴を無視している。
  論文  参考訳（メタデータ） (2022-10-06T07:28:53Z)
• Characterizing Structural Regularities of Labeled Data in Overparameterized Models [45.956614301397885]
  ディープニューラルネットワークは、共通のパターンや構造を共有するインスタンスをまたいで一般化することができる。 一貫性スコアを用いて、個々のインスタンスがモデルによってどのように扱われるかを分析する。 本稿では,ディープラーニングシステムの解析への潜在的な応用例を示す。
  論文  参考訳（メタデータ） (2020-02-08T17:39:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。