【零点复盘】C#实战：手写智能爬虫并做好MySQL防注入，这才是真正的爬虫开发

最近在零点博客的技术群里，不少小伙伴都在问爬虫开发这块。说实话，很多人一上来就想用现成的框架，但我发现，很多坑都是因为没搞懂底层原理。

今天我就把最近实战搭建的一个C#智能爬虫系统做个全链路复盘。从后端的 HTTP请求、正则表达式提取，到前端的工具展示，最后重点聊聊大家最头疼的 SQL注入防护。希望能帮大家避开弯路，真正做到源码可落地。

一、为什么选择C#做爬虫开发？

虽然 PHP 也是后端开发的热门选择，但处理高并发请求和解析复杂网页结构时，C# 的性能优势非常明显。特别是配合 .NET Core，无论是并发量还是内存管理，都非常适合做高频的爬虫开发项目。

这次的项目目标是：抓取某目标网站列表页数据，并去重入库。

二、核心逻辑：HTTP请求与正则提取

这是爬虫开发最基础的环节。不要直接请求，要伪装成浏览器。

var client = new HttpClient();
client.DefaultRequestHeaders.Add("User-Agent", "Mozilla/5.0...");
var html = await client.GetStringAsync("目标URL");

拿到 HTML 源码后，正则表达式 就是我们的利器。这里有个坑点：EMLOG 或其他动态加载的网站，如果你抓到的是空，可能是数据是 AJAX 异步加载的。这种情况下，你得分析其接口，直接请求 JSON 数据，省去解析 HTML 的麻烦。

提取数据时，一定要写好正则，比如提取文章标题和链接：

var matches = Regex.Matches(html, "<div class=\"title\">(.*?)</div>");
foreach (Match match in matches)
{
    Console.WriteLine(match.Groups[1].Value);
}

三、数据落地：接口开发与JSON/XML解析

爬下来的数据通常是 JSON 格式。如果是 XML，我们需要解析。这里建议使用 Newtonsoft.Json 或 .NET 自带的序列化库。

在写接口开发时，记得把爬取的数据封装成统一的标准格式返回给前端。前端页面展示时，通过一个简单的在线工具来展示这些抓取的数据。

四、关键点：SQL注入防护与预处理语句（避坑指南）

很多新人写爬虫开发入库时，习惯用字符串拼接，这非常危险！

错误示范： "INSERT INTO articles VALUES ('' + title + '')"

如果标题里包含恶意 SQL 语句，你的数据库就炸了。

正确做法： 必须使用预处理语句。

using (var cmd = new MySqlCommand(conn))
{
    cmd.CommandText = "INSERT INTO articles (title, content) VALUES (@Title, @Content)";
    cmd.Parameters.AddWithValue("@Title", "安全的数据");
    cmd.ExecuteNonQuery();
}

通过参数化查询，数据库引擎会将参数视为纯文本，从而彻底杜绝 SQL注入 风险。

五、总结与部署建议

这次实战下来，我深刻体会到：爬虫开发不仅仅是写代码抓数据，更重要的是代码的健壮性和安全性。

去重策略： 爬虫运行前，最好在 MySQL 里建一个唯一索引，防止重复抓取。
封禁处理： 做好异常捕获和请求延时，别把人家服务器打挂了。

以上就是零点博客本次的爬虫开发全链路复盘。大家如果有什么具体的 C# 或 PHP 后端开发问题，欢迎在评论区留言，我们一起探讨！