使用 curl 模拟网页另存为

beyes

在使用命令行时可以用 -o 选项将网页另存为到本地，下面将用两种方法模拟这种行为。

1. 使用 CURLOPT_WRITEFUNCTION 选项

[C++] 纯文本查看 复制代码

#include <stdio.h>
#include <stdlib.h>
#include <curl/curl.h>
#include <curl/easy.h>


FILE *fp;

size_t save_html (void *ptr, size_t size, size_t nmemb, void *userdata)
{

        fwrite(ptr, 1, size * nmemb, fp);

        return (size_t)(size * nmemb);
}


int main(int argc, char **argv)
{
        CURL *curl;
        CURLcode res;


       
        if (!(fp = fopen (argv[2], "w+"))) {
                perror ("fopen error");
                exit (EXIT_FAILURE);
        }
        curl_global_init (CURL_GLOBAL_ALL);
        curl = curl_easy_init();

        curl_easy_setopt(curl, CURLOPT_URL, argv[1]);

        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, save_html);
        res = curl_easy_perform(curl);

        if (res != CURLE_OK) {
                fprintf (stderr, "curl error\n");
                fclose(fp);
                curl_easy_cleanup(curl);
                curl_global_cleanup();
                exit (EXIT_FAILURE);
        }
        curl_easy_cleanup(curl);
        curl_global_cleanup();

        return 0;
}

编译方法：

$ gcc -Wall downhtml.c -o downhtml -lcurl
或
$ `curl-config --cc --cflags --libs` -o downhtml downhtml.c

上面程序在命令行中的使用方法是：
.

/downhtml 网址 另存为本地名称
如：
$ ./downhtml www.baidu.com result.html

在第 35 行中使用了 CURLOPT_WRITEFUNCTION 选项，该选项使得一旦有数据接收时就会触发自定义的回调函数 save_html 。在 save_html() 中，size * nmemb 表示接收到的数据大小，而 ptr 指向的是具体的数据。在 save_html() 中简单的使用 fwrite() 函数将收到的数据另存为到新建的网页文件中。

2. 使用  CURLOPT_WRITEDATA 选项：

[C++] 纯文本查看 复制代码

#include <stdio.h>
#include <stdlib.h>
#include <curl/curl.h>
#include <curl/easy.h>


int main(int argc, char **argv)
{
        CURL *curl;
        CURLcode res;

        FILE *fp;

        if (!(fp = fopen (argv[2], "w+"))) {
                perror ("fopen error");
                exit (EXIT_FAILURE);
        }

        curl_global_init (CURL_GLOBAL_ALL);
        curl = curl_easy_init();

        curl_easy_setopt(curl, CURLOPT_URL, argv[1]);

        curl_easy_setopt(curl, CURLOPT_WRITEDATA, fp);
        res = curl_easy_perform(curl);

        if (res != CURLE_OK) {
                fprintf (stderr, "curl error\n");
                fclose(fp);
                curl_easy_cleanup(curl);
                curl_global_cleanup();
                exit (EXIT_FAILURE);
        }
        curl_easy_cleanup(curl);
        curl_global_cleanup();

        return 0;
}

使用  CURLOPT_WRITEDATA 选项比第 1 中方法中使用 CURLOPT_WRITEFUNCTION 来得更简单些，因为不必再写一个回调函数，这里我们只是希望能够的简单将数据保存到本地。在用   CURLOPT_WRITEDATA 选项时，curl_easy_setopt 中的第 3 个参数是个文件流指针，函数会自动将接收到的数据写到这个文件流里。