C#爬虫实战：如何安全抓取EMLOG数据与优化复杂SQL语句

哈喽，大家好。我是零点。最近在搞一个自动化的博客数据采集工具，目标对象是咱们的老熟人 EMLOG 博客系统。在实现这个 爬虫开发 项目的过程中，踩了不少坑，尤其是关于数据库连接和 SQL语句 的编写。今天就把这次实操复盘出来，不仅涉及到了 C# 后端的 HTTP 请求处理，还重点讲讲怎么写安全的 MySQL 交互代码，希望能帮到正在学习后端接口开发的你。

一、需求与架构概览

我们的目标是读取 EMLOG 的 RSS 或 API 接口，将文章数据解析出来，并存储到本地 MySQL 数据库中。在这个过程中，我使用了 .NET 的 HttpClient 进行网络请求，拿到 JSON 数据后进行解析，最后通过 C# 代码动态插入到数据库表（emlog_article）中。

这里面最大的风险点就是数据的入库环节。很多新手（包括我刚开始的时候）喜欢用字符串拼接的方式构造 SQL语句，这非常危险。下面直接上干货。

二、数据获取与 JSON 解析

首先，我们构建一个 HTTP 请求。这里涉及到了一点前端的知识，就是如何模拟浏览器的请求头，防止被目标网站反爬虫机制拦截。

using System.Net.Http;
using System.Net.Http.Headers;
// ... 引入 Newtonsoft.Json ...

HttpClient client = new HttpClient();
client.DefaultRequestHeaders.UserAgent.Add(new ProductInfoHeaderValue("ZeroBlog-Crawler", "1.0"));

// 发送 GET 请求
HttpResponseMessage response = await client.GetAsync("https://你的目标网站/feed.php");
string content = await response.Content.ReadAsStringAsync();

// 简单的 JSON 解析
var rssData = JsonConvert.DeserializeObject<RSSRoot>(content);
// ... 解析逻辑 ...

拿到 JSON 数据后，我们需要提取出文章标题和内容。这一步看似简单，但如果遇到 HTML 嵌入图片、特殊字符转义等问题，就需要用到正则表达式来清洗数据了，确保存入数据库的数据是干净合规的。

三、核心干货：安全的 SQL语句编写

这一部分是本文的重点。在上一版代码中，我写法是这样的：

// 错误示范：字符串拼接极易造成 SQL注入
string sql = "INSERT INTO emlog_article (title, content, create_time) VALUES ('" + title + "', '" + content + "', '" + time + "')";

这段代码写起来很爽，但是一旦用户的标题里包含单引号或 SQL 关键字，数据库就完蛋了。为了安全，必须使用预处理语句。

我们重构了代码，利用 C# 的 SqlCommand 配合参数化查询：

using (MySqlConnection conn = new MySqlConnection("Server=localhost;Database=test;Uid=root;Pwd=123456;"))
{
    conn.Open();

    // 好的写法：使用参数化查询
    // @Title 和 @Content 是占位符，数据库驱动会自动进行转义处理
    string sql = "INSERT INTO emlog_article (title, content, create_time) VALUES (@Title, @Content, @Time)";

    using (MySqlCommand cmd = new MySqlCommand(sql, conn))
    {
        // 绑定参数，杜绝 SQL注入
        cmd.Parameters.AddWithValue("@Title", title);
        cmd.Parameters.AddWithValue("@Content", content);
        cmd.Parameters.AddWithValue("@Time", DateTime.Now);

        int rows = cmd.ExecuteNonQuery();
        Console.WriteLine($"成功插入 {rows} 条数据");
    }
}

你看，虽然代码稍微长了一点点，但多写了这行 Parameters.AddWithValue，就彻底解决了 SQL注入防护 的问题。这就是为什么我建议大家一定要掌握标准的 SQL语句 写法。

四、爬虫开发中的避坑指南

除了 SQL 注入，做 C# 爬虫 还要注意这几点：

并发控制：不要疯狂发起请求，会被封 IP。建议在 HttpClient 上加上合理的连接池配置。
异常处理：网络请求和数据库操作都会抛异常，记得用 try-catch 包裹，避免程序崩溃。
数据清洗：很多时候我们拿到的是 HTML 代码，直接存入数据库前端显示会乱套，必须用正则表达式剔除多余标签。

这次折腾下来的收获还是很大的，代码结构也清晰了不少。如果你也在做 EMLOG 或者其他 CMS 的二次开发，这种接口对接加数据库安全的思路一定要学起来。

希望这篇关于 C# 爬虫 和 SQL语句 的实操能帮到你，咱们下期见！