IOAI 2025 At-Home Chameleon

• 来源：noai-mis/IOAI/IOAI-2025/At-Home-Round/Chameleon
• 类型：Multimodal / NLP retrieval
• 原始资料：Chameleon.ipynb、Chameleon_Solution.ipynb、metrics.py
• 题面完整性：notebook 内完整
• 解法资料完整性：有 reference solution

题面大意

Chameleon 是用图标提示秘密词的游戏。给定一组图标及其描述、以及提示序列，需要猜出对应 secret；或为 secret 设计图标序列让 guesser 猜中。At-home 版本提供 hint descriptions 和 validation 数据，要求输出测试集答案。

数据特点

图标有视觉图像和文字描述，hint 是有序图标序列，顺序有语义：第一个图标通常表示核心概念，后续图标补充限定。评测中 guesser 可能由语言模型或语义匹配模块实现，答案存在自然语言同义表达问题。

考点

核心考点是把图标序列转换成可检索的语义表示。参考 solution 使用 sentence-transformers，把 hints 转成句子，把候选 label 转成文本，训练/微调 embedding 相似度模型。

涉及知识点

• 文本 embedding 和语义检索。
• 图标描述到自然语言表达。
• SentenceTransformer 微调。
• Cosine similarity。
• Prompt/description engineering。

解法思路

将每个 hint 序列转成自然语言句子，例如按顺序拼接图标描述，并加入“first icon is core idea”等提示。将候选 secret/label 也转成文档文本。用 sentence embedding 模型编码两者，按 cosine similarity 选择最接近 label。参考 solution 用 validation 数据构造正样本对，对 sentence-t5-base 做 CosineSimilarityLoss 微调。

可选/多种解法

零样本 embedding 检索：快，依赖预训练语义模型。

微调 embedding：用已知 hint-label 对提升域内匹配。

LLM 生成/重写：用 LLM 把图标序列转成更自然的 clue，再做检索。

特殊技巧

图标顺序不能丢。第一个图标应在文本化时加权更高。图标描述可能很长，可抽关键词而非完整拼接。若允许 LLM 辅助训练，可用它生成候选同义词，但推理提交不应依赖 judge API。

调参优化

题解已有 sentence embedding 微调和 cosine similarity。可调项包括 embedding 模型选择、hint 描述拼接模板、图标顺序权重、正负样本比例、batch size、学习率、训练 epoch、相似度温度和候选重排规则。验证时要按整条 hint 序列是否猜中 secret 评估，而不是只看 pairwise loss。若相似词混淆多，调模板和 hard negative 比继续训练更有用，例如加入“不是某候选”的消歧图标描述。

注意事项

比赛对 LLM proxy、API 调用和提交机器访问有严格限制。当前本地实现可能有随机性，官方评测更稳定。不要在 inference 阶段调用不可用 API。

推广意义

这题体现“视觉符号到语言语义”的桥接，可推广到图标检索、表情/emoji 理解、低资源视觉语言游戏和 prompt 设计。