論文の概要: IROH: Insightful Ranking Of Humor using Multi-Stage Hybrid Retrieval with Rationale-Distilled LLM Judges for JOKER 2026 Track Task 1 English
- arxiv url: http://arxiv.org/abs/2609.15618v1
- Date: Mon, 14 Sep 2026 14:12:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-16 07:15:06.432459
- Title: IROH: Insightful Ranking Of Humor using Multi-Stage Hybrid Retrieval with Rationale-Distilled LLM Judges for JOKER 2026 Track Task 1 English
- Title（参考訳）: IROH: Rationale-Distilled LLM Judges for JOKER 2026 Track Task 1 (英語)
- Abstract要約: IROHは、CLEF 2026のJOKER Task 1英語の3段階検索システムである。
我々のパイプラインは、ハイブリッドスパースセンス検索、クロスエンコーダリグレード、LoRA対応のLarge Language Modelジャッジアンサンブルを組み合わせる。
- 参考スコア（独自算出の注目度）: 1.0165430007278446
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Our team, VANGUARD, presents IROH (Insightful Ranking of Humor), a three-stage retrieval system for JOKER Task 1 English at CLEF 2026, achieving first place on the leaderboard with 0.6347 MAP. Our pipeline combines hybrid sparse-dense retrieval, cross-encoder reranking, and a LoRA-adapted Large Language Model judge ensemble. We employ Gemma 4 to generate query-aware rationales under two prompt strategies, generic and typed, and produce up to four types of structured hard negatives for training data construction. Through an ablation across three cross-encoder architectures, four dense embedders, and eight judge configurations, our key findings are threefold: (1) the rationale-distilled judge is the primary driver of ranking quality, whereas appending rationales to the first-stage index contributes negligibly; (2) structured hard negatives degrade generalisation in nearly all configurations despite inflating local validation scores; and (3) across the components we ablate, the lighter, better-calibrated model is competitive with or stronger than its larger counterpart, with the generic-rationale Qwen2.5-7B judge (0.6055 MAP) outperforming every Gemma-4-31B configuration, and the advantage of generic over typed rationales is concentrated almost entirely in the smaller model.
- Abstract（参考訳）: 我々のチームであるVANGUARDは、CLEF 2026でJOKER Task 1英語の3段階検索システムであるIROH(Insightful Ranking of Humor)をプレゼンし、0.6347MAPでトップボードで1位を獲得した。
我々のパイプラインは、ハイブリッドスパースセンス検索、クロスエンコーダのランク付け、LoRA対応のLarge Language Modelの判定アンサンブルを組み合わせる。
我々はGemma 4を用いて、ジェネリックと型付けという2つの迅速な戦略の下でクエリ対応の論理式を生成し、データ構築のトレーニングに最大4種類の構造化されたハードネガティブを生成する。
1) 有理分級判定はランク付けの原動力であるのに対して,(1) 有理分級判定は第1段階の指標に付加されるが,(2) 局所的検証スコアが膨らむにもかかわらず,ほぼすべての構成において,構造化されたハードネガは一般化を低下させる。(3) 当社が吸収するコンポーネントでは,より軽量で優れた校正されたモデルは,ジェネリックリレーションのQwen2.5-7B 判定 (0.6055 MAP) がすべてのGemma-4-31B 構成より優れており,ジェネリックリテラルの利点は,ほぼ全モデルに集中している。
関連論文リスト
- Small Language Models as Judges for Rubric-Based Reinforcement Learning [57.707881387886516]
より小型の言語モデルが,より効率的かつ信頼性の高いルーリック・ベース・ジャッジとして機能するかどうかを考察する。
生成的評定,Yes/No Logprobマージン,Probe judgesの3つの基準レベルの判断を,小モデルから抽出する方法を比較した。
どちらのデータセットでも、Qwen3-1.7B Probeの審査員はこれらの方法の中で最強の基準レベルの合意を達成している。
論文 参考訳（メタデータ） (2026-08-30T20:00:17Z) - DistilledGemma: Balanced Efficiency-Accuracy for Person-Place Relation Extraction from Multilingual Historical Articles [3.079885946230076]
人-場所関係抽出におけるHIPE-2026共有タスクの効率的かつ正確なシステムであるDistilledGemmaを提案する。
本手法では,分類精度と計算効率のバランスをとるために,3段階の知識蒸留パイプラインを採用する。
論文 参考訳（メタデータ） (2026-06-28T00:38:45Z) - ttda704 at SemEval-2026 Task 6: Structured Chain-of-Thought Prompting for Political Evasion Detection [0.006227637802384129]
本稿では,米国大統領インタビューから抽出した英語質問応答対における政治回避戦略の分類に対処するSemEval-2026タスク6のシステムについて述べる。
論文 参考訳（メタデータ） (2026-06-14T12:09:23Z) - Caraman at SemEval-2026 Task 8: Three-Stage Multi-Turn Retrieval with Query Rewriting, Hybrid Search, and Cross-Encoder Reranking [0.0]
本稿では,SemEval-2026 Task 8 (MTRAGEval) を4つの英語ドメインにまたがるタスクA (Retrieval) に参加するシステムについて述べる。
提案手法では,(1) コンテキスト依存の追従質問をスタンドアロンのクエリに変換するLoRA-fine-tuned Qwen 2.5 7Bモデルによるクエリ書き換え,(2) ハイブリッドBM25とReciprocal Rank Fusionによる高密度検索,(3) クロスエンコーダをBGE-reranker-v2-m3で再配置する。
論文 参考訳（メタデータ） (2026-05-12T12:13:45Z) - PSK at SemEval-2026 Task 9: Multilingual Polarization Detection Using Ensemble Gemma Models with Synthetic Data Augmentation [0.0]
我々はSemEval-2026 Task 9: Multilingual Polarization Detection(22言語にまたがる二言語分類タスク)について提案する。
我々のアプローチは、Low-Rank Adaptation (LoRA)を用いて言語毎にGemma3モデルを分離し、Low-Rank Adaptation (LLM)によって生成された合成データで拡張する。
最終システムは22言語で0.811のマクロF1を達成し、参加チームの2位にランクインし、3言語で1位、8言語で3位にランクインした。
論文 参考訳（メタデータ） (2026-05-06T17:29:14Z) - MatchTIR: Fine-Grained Supervision for Tool-Integrated Reasoning via Bipartite Matching [60.886768806064936]
Tool-Integrated Reasoningは、外部ツールのインタラクションと推論ステップをインターリーブすることで、大規模な言語モデルで複雑なタスクに対処することを可能にする。
既存の強化学習法は、結果や軌道レベルの報酬に依存し、軌道内のすべてのステップに一様の利点を割り当てる。
両部間マッチングに基づくターンレベルの報酬割当と二重レベルの優位性推定によるきめ細かい監視を実現するフレームワークであるMatchTIRを提案する。
論文 参考訳（メタデータ） (2026-01-15T18:59:23Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳（メタデータ） (2025-12-09T06:52:21Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳（メタデータ） (2025-09-25T14:05:55Z) - CLaC at DISRPT 2025: Hierarchical Adapters for Cross-Framework Multi-lingual Discourse Relation Classification [0.0509780930114934]
タスク3では、39のコーパスにまたがる17の談話関係ラベルが16の言語と6の談話フレームワークで統合されている。
まず、多言語BERTベースのモデルに2つの引数順序戦略とプログレッシブ・フリーズ比を併用してタスクをベンチマークする。
次に、ゼロショットおよび少数ショット設定でプロンプトベースの大規模言語モデルを評価し、新たに提案された統一ラベルに対してLLMがどう反応するかを理解する。
論文 参考訳（メタデータ） (2025-09-21T03:34:31Z) - Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training [73.90260246781435]
私たちは、このようなアーキテクチャを自動回帰言語モデルに拡張する最初のアプローチであるLoryを紹介します。
パラメータマッチングされた高密度モデルよりも、多種多様な下流タスクにおいて顕著な性能向上を示す。
セグメントレベルのルーティングにもかかわらず、Loryモデルはトークンレベルのルーティングを備えた最先端のMoEモデルと比較して、競合的なパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-05-06T03:06:33Z) - Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。
Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
論文 参考訳（メタデータ） (2024-04-02T16:25:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。