曲径通幽论坛

标题: 使用 curl 模拟网页另存为 [打印本页]
作者: beyes    时间: 2011-7-2 01:47
标题: 使用 curl 模拟网页另存为
在使用命令行时可以用 -o 选项将网页另存为到本地，下面将用两种方法模拟这种行为。

1. 使用 CURLOPT_WRITEFUNCTION 选项
[C++] 纯文本查看 复制代码


#include <stdio.h>

#include <stdlib.h>

#include <curl/curl.h>

#include <curl/easy.h>





FILE *fp;



size_t save_html (void *ptr, size_t size, size_t nmemb, void *userdata)

{



        fwrite(ptr, 1, size * nmemb, fp);



        return (size_t)(size * nmemb);

}





int main(int argc, char **argv)

{

        CURL *curl;

        CURLcode res;





       

        if (!(fp = fopen (argv[2], "w+"))) {

                perror ("fopen error");

                exit (EXIT_FAILURE);

        }

        curl_global_init (CURL_GLOBAL_ALL);

        curl = curl_easy_init();



        curl_easy_setopt(curl, CURLOPT_URL, argv[1]);



        curl_easy_setopt(curl, CURLOPT_WRITEFUNCTION, save_html);

        res = curl_easy_perform(curl);



        if (res != CURLE_OK) {

                fprintf (stderr, "curl error\n");

                fclose(fp);

                curl_easy_cleanup(curl);

                curl_global_cleanup();

                exit (EXIT_FAILURE);

        }

        curl_easy_cleanup(curl);

        curl_global_cleanup();



        return 0;

}

编译方法：
$ gcc -Wall downhtml.c -o downhtml -lcurl
或
$ `curl-config --cc --cflags --libs` -o downhtml downhtml.c

上面程序在命令行中的使用方法是：
.
/downhtml 网址 另存为本地名称
如：
$ ./downhtml www.baidu.com result.html

在第 35 行中使用了 CURLOPT_WRITEFUNCTION 选项，该选项使得一旦有数据接收时就会触发自定义的回调函数 save_html 。在 save_html() 中，size * nmemb 表示接收到的数据大小，而 ptr 指向的是具体的数据。在 save_html() 中简单的使用 fwrite() 函数将收到的数据另存为到新建的网页文件中。

2. 使用  CURLOPT_WRITEDATA 选项：
[C++] 纯文本查看 复制代码


#include <stdio.h>

#include <stdlib.h>

#include <curl/curl.h>

#include <curl/easy.h>





int main(int argc, char **argv)

{

        CURL *curl;

        CURLcode res;



        FILE *fp;



        if (!(fp = fopen (argv[2], "w+"))) {

                perror ("fopen error");

                exit (EXIT_FAILURE);

        }



        curl_global_init (CURL_GLOBAL_ALL);

        curl = curl_easy_init();



        curl_easy_setopt(curl, CURLOPT_URL, argv[1]);



        curl_easy_setopt(curl, CURLOPT_WRITEDATA, fp);

        res = curl_easy_perform(curl);



        if (res != CURLE_OK) {

                fprintf (stderr, "curl error\n");

                fclose(fp);

                curl_easy_cleanup(curl);

                curl_global_cleanup();

                exit (EXIT_FAILURE);

        }

        curl_easy_cleanup(curl);

        curl_global_cleanup();



        return 0;

}

使用  CURLOPT_WRITEDATA 选项比第 1 中方法中使用 CURLOPT_WRITEFUNCTION 来得更简单些，因为不必再写一个回调函数，这里我们只是希望能够的简单将数据保存到本地。在用   CURLOPT_WRITEDATA 选项时，curl_easy_setopt 中的第 3 个参数是个文件流指针，函数会自动将接收到的数据写到这个文件流里。



欢迎光临 曲径通幽论坛 (http://www.groad.net/bbs/) Powered by Discuz! X3.2