APOAI 2025 Mock Text

• 来源：noai-mis/roai-solved/international-contests/apoai/2025-mock/03-text.ipynb
• 类型：NLP
• 原始资料：solution notebook
• 题面完整性：题面缺失；根据 notebook 变量推断
• 解法资料完整性：有解法 notebook

题面大意

这是新闻/文本分类任务。Notebook 读取 test_news_nolabel.csv，训练时若 CSV 中有 category 列则编码为标签，用 TF-IDF 和传统分类器训练，最后预测测试文本的 category 并提交。

数据特点

输入是文本和类别标签，文本可能是新闻标题/正文。类别为字符串，需要 LabelEncoder 编码。传统稀疏文本特征就能得到强基线，适合教学 mock。

考点

核心考点是传统 NLP 文本分类：清洗、TF-IDF、线性模型/朴素贝叶斯/SVM。无需大模型也能有效分类。

涉及知识点

• TF-IDF。
• LabelEncoder。
• Train/validation split。
• LinearSVC / Logistic Regression / MultinomialNB。
• 文本预处理与 n-gram。

解法思路

将文本列转为 TF-IDF 特征，可使用 word n-gram 和 char n-gram。训练 Logistic Regression、LinearSVC 或 Naive Bayes，在验证集上比较准确率/F1。预测后用 encoder.inverse_transform 转回原始类别字符串，写入 category 列。

可选/多种解法

TF-IDF + LinearSVC：强基线，适合多类新闻。

TF-IDF + Logistic Regression：能输出概率，便于集成。

简单集成：word TF-IDF 与 char TF-IDF 模型投票。

特殊技巧

字符 n-gram 能缓解拼写、分词和短文本问题。若类别不平衡，使用 class_weight 或 Macro F1 选择模型。保留大小写/标点与否需由验证集决定。

调参优化

文本 baseline 的主要调参空间在 TF-IDF 和线性模型。建议扫描 word/char n-gram 范围、min_df、max_df、是否 lower、特征上限、Logistic Regression 的 C、LinearSVC 的 C 和 class_weight。短文本或拼写变化多时字符 n-gram 通常更稳，可与 word n-gram 拼接。验证指标应和题目评分一致；若类别不平衡，用 Macro F1 选参比 accuracy 更可靠。

注意事项

题面缺失，具体文本列名需以 notebook 的加载函数为准。提交类别必须反编码为原字符串，不能提交数字标签。

推广意义

这题说明传统 NLP 在结构清晰的分类任务中仍然高效强大，是 BERT/LLM 前必须掌握的基线。