論文の概要: BITEM at the NTCIR-19 R2C2 Task: Predicting Confidence from Agentic RAG Pipeline Signals

• arxiv url: http://arxiv.org/abs/2609.37993v1
• Date: Tue, 29 Sep 2026 16:52:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.758368
• Title: BITEM at the NTCIR-19 R2C2 Task: Predicting Confidence from Agentic RAG Pipeline Signals
• Title（参考訳）: NTCIR-19 R2C2タスクにおけるBITEM:エージェントRAGパイプライン信号からの信頼性予測
• Abstract要約: 2回の検索は22の4位と5位に位置し、パスをプールする価値は0.0709 nDCG@20だった。 25回のうち16回はこれら2回が供給された通路で作られ、そのうち12回は他のチームによって提出された。 パイプラインの精度は、25の6番目の0.9219に達し、その答えに対する信頼度は0.4915,13番目の0.4915に達した。
• 参考スコア（独自算出の注目度）: 35.20361577227938
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The BITEM team entered both subtasks of the NTCIR-19 R2C2 task with a single agentic pipeline, in which a model searches, reads and records evidence over a movie corpus while an orchestrator holds the record and rules on what may be submitted. A claim is admitted only once an entailment cascade has checked it against the passage it cites, and an answer is released only once enough checked evidence stands behind it. Each question is run three or four times, every pass retrieving from a corpus stripped of what the earlier passes have already seen. The confidence filed with each answer is computed by the orchestrator from what the run leaves behind and is never asked of the model, which is offered no way to rate itself. The two retrieval runs placed 4th and 5th of 22, pooling the passes was worth 0.0709 nDCG@20, and the gain was largest on the multi-hop and post-processing-heavy questions, where the organisers rank the pooled run top of the field. Sixteen of the 25 answer runs were built on passages these two runs supplied, 12 of them filed by other teams. HMR rewards a system whose confidence is high where it answers right and low where it answers wrong. The pipeline reached an accuracy of 0.9219, 6th of 25, while the confidence filed with those answers gave an HMR of 0.4915, 13th. A few rules crafted over those same recorded signals, with no further model call and no further retrieval, raise that to an accuracy of 0.9375, 5th, and an HMR of 0.6985, 9th. Ranking on HMR alone can reward a system for answering wrongly with low confidence, so we propose accHMR, the accuracy multiplied by HMR, which reports the reward in proportion to the accuracy, and on which the revised rules would have scored 0.6549, 5th. For future work, fitting a model on the numbers the pipeline already produces, rather than writing such rules by hand, would be a real step forward.
• Abstract（参考訳）: BITEMチームは、NTCIR-19 R2C2タスクの2つのサブタスクを単一のエージェントパイプラインで入力し、モデルが映画コーパス上で証拠を検索、読み取り、記録し、オーケストレータが記録を保持し、提出される可能性のあるものに関するルールを保持する。 クレームは、追加のカスケードがそれを引用するパスに対してチェックした時にのみ認められ、その背後に十分な証拠が存在している場合にのみ回答が解放される。 各質問は3回か4回実行され、前のパスが既に見たものから取り除かれたコーパスから取得される。 各回答に対して提出された信頼度は、オーケストレータが残したものから計算し、モデルについて決して尋ねられません。 2回の検索は22の4位と5位にランクされ、パスをプールすると0.0709 nDCG@20の価値がある。 25回のうち16回はこれら2回が供給された通路で作られ、そのうち12回は他のチームによって提出された。 HMRは、自信が高く、答えが正しく、答えが間違っているシステムに報いる。 パイプラインの精度は、25の6番目の0.9219に達し、その答えに対する信頼度は0.4915,13番目の0.4915に達した。 それらの記録された信号に基づいて作られたいくつかのルールは、さらなるモデルコールがなく、さらなる検索も行わず、精度は0.9375, 5th、HMRは0.6985, 9thまで上昇した。 HMRのみにランク付けすることで,信頼度が低いシステムに報酬を与えることができるので,HMRが乗算した精度であるaccHMRを提案し,その精度に比例して報酬を報告し,修正されたルールが0.6549,5位になったことを報告する。 今後の作業では、パイプラインがすでに生成している数にモデルを適用することが、このようなルールを手作業で記述するのではなく、真のステップになります。

関連論文リスト

• Evidence-Inference Reconstruction: When The Evidence Is Recalled But The Reasoning Goes Wrong [46.421744167883986]
  本稿では、構造化状態を用いて1つの検索軌跡を案内するEvidence-Inference Reconstruction (EIR)を紹介する。 EIRは、たとえ誤った証拠が混ざったとしても、単一の最終モデルコールで正しい答えを生成することができる。 また, エージェントSSRでは35.29, 反射では12.41に対して, EIRは平均4.85回, モデルコール数は35.29回であった。
  論文  参考訳（メタデータ） (2026-09-27T17:20:41Z)
• Reward Hacking Challenges Oversight of Autonomous Research Agents [104.38175629103235]
  自律的な研究エージェントは実験を設計し、結果を評価し、レポートを書き、科学的結果とそれを支持する証拠の両方を制御できる。 これは、意図した目標を達成することなく、報酬基準を満たす、報酬ハックのリスクを生み出す。 そこで本研究では,ハッキングが許可された場合,その方法がいかに効果的かつ検出可能か,LCMレビューパネルが意思決定と理由を返却した場合にどのように適応するか,などについて検討する。
  論文  参考訳（メタデータ） (2026-09-23T17:54:01Z)
• Correct Now, Insufficient Later: Auditing Update Sufficiency in Context Compression [0.0]
  メモリは、後の更新で要求される区別を捨てながら、現在のクエリに正しく答えることができる。 我々はこの失敗を2つの歴史監査で調査する。 パイロットは6つの合成機構の24の履歴ペアを評価する。
  論文  参考訳（メタデータ） (2026-09-17T10:51:37Z)
• GANDR: Claim Auditing for Verifiable Legal Answer Generation [21.842813905857863]
  グラウンドジェネレーションパイプラインは、答え全体をスコアリングするので、正しい結論は、製造されたまたはゆるくマッチした引用に留まり、それでも良いスコアを得ることができる。 本稿では,Drafterが構造化された法的推論形式と批判書に回答を書き込む2エージェントシステムであるGANDRを紹介し,人間の検証と同様の視点で,引用元に対して各クレームを監査する。 185等級の法定ベンチマークでは、GANDRが1位にランクインし、70.8%の精度に達し、11.3ポイント(p0.01)で最強のベースラインをリードした。
  論文  参考訳（メタデータ） (2026-09-09T15:08:09Z)
• K-Bench: measuring model performance on real scientific agent requests [0.0]
  K-Bench 01は、K-Dense Web上のライブユーザトラフィックからサンプリングされた一ターンリクエストから構築された評価である。 3人の盲目の言語モデル判事が8次元のルーリックに対して毎回得点した。 39,934点中47.6%が8点を下回った。
  論文  参考訳（メタデータ） (2026-08-21T20:06:08Z)
• The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
  コード修復における制御ケーススタディを報告し,新しい現象ではない。 私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。 BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。 厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
  論文  参考訳（メタデータ） (2026-08-14T19:22:50Z)
• UTS at CheckThat! 2026: Cite-Frame Engineering for Generated Fact-Checking Articles [1.348563827917271]
  UTSは11チーム中2位となった(M4 = 0.484)。 出荷されたシステムは、2つの単葉の介入によってラップされた決定論的スタブドラフトである。 スタックは、WatClaimCheckバリデーション分割のスタブ上でM4を+0.027上げます。
  論文  参考訳（メタデータ） (2026-07-15T08:24:56Z)
• TASR: Training-Free Adaptive Stopping for Iterative Retrieval [12.177557521540082]
  反復的検索拡張生成エージェントは、モデルが解答に収束した後も検索を続けることで、一般的にオーバースペンドされる。 TASR(Training-Free Adaptive Stopping Rule)は,モデルが前ラウンドの正規化を繰り返すと発火する一行述語である。
  論文  参考訳（メタデータ） (2026-06-11T18:35:14Z)
• Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
  RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。 正しい回答の18.2%は間違っているが、肯定的な報酬がある。 6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
  論文  参考訳（メタデータ） (2026-05-17T07:08:14Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。