基本信息
源码名称:php实现采集器 示例源码
源码大小:3.42KB
文件格式:.zip
开发语言:PHP
更新时间:2018-08-04
友情提示:(无需注册或充值,赞助后即可获取资源下载链接)
嘿,亲!知识可是无价之宝呢,但咱这精心整理的资料也耗费了不少心血呀。小小地破费一下,绝对物超所值哦!如有下载和支付问题,请联系我们QQ(微信同号):813200300
本次赞助数额为: 2 元×
微信扫码支付:2 元
×
请留下您的邮箱,我们将在2小时内将文件发到您的邮箱
源码介绍
由于只会web开发,没有C以及其他语言编写的能力,于是用php写了采集器
<?php
header("content-type:text/html;charset=utf-8");
date_default_timezone_set('PRC'); //设置中国时区
$strk='于 '.date("Y-m-d H:i:s").' 启动'."计划信息收集系统";
echo "\n";
echo iconv('utf-8','gbk//IGNORE',$strk);
echo "\n";
$cookie = tempnam(dirname(__FILE__).'/tmp','cookie'); //设置cookie保存的路径
require_once 'function.php';
require_once 'planconfig.php';
$time=time();
$times=time();
$logget=array();
//执行配置
while(true){
if(time()-$time>=5){
echo "\n\n";
$pcount=count($plan_config);
foreach($plan_config as $k=>$v){
$data=post_data($v['url'],$v['post']); //采集指定页面数据
if(!empty($data)){
$getadd=$v['function']($data);//调用匹配函数
//print_r($getadd);
$post=array(
'uid'=>$v['uid'],
'qs'=>$getadd['qs'],
'qslength'=>$v['qslength'],
'tnub'=>$getadd['tnub'],
'key'=>$v['key'],
'dwd'=>$v['dwd']
);
if(empty($logget[$k])){
$logget[$k]=0;
}
$n=0;
// print_r($getadd);
if($logget[$k]!=$getadd['qs']){
$get_type=post_content($v['addapi'], $cookie, $post);//把数据发送到提交api
// print_r($getadd);
if($get_type==1){
$logget[$k]=$getadd['qs'];
$n=1;
}
}else{
$ec="数据已经存在。。。。。。。";
}
$ec="共 ".$pcount." 个请求配置 当前请求第 {$k} 配置请求成功。。。{$n}";
}else{
$ec="共 ".$pcount." 个请求配置 当前请求第 {$k} 配置请求失败。。。";
}
echo date("Y-m-d H:i:s");
echo iconv('utf-8','gbk//IGNORE',$ec);
echo "\n\n";
}
$tsstr="。。。。。。。。。。。5秒后再次执行。。。";
echo iconv('utf-8','gbk//IGNORE',$tsstr);
$time=time();
}else{
if(time()-$times>=1){
echo iconv('utf-8','gbk//IGNORE',"。。。。");
}
$times=time();
}
}
// for($i=0;$i<5;$i ){
//sleep(1);
// }
//@unlik($cookie); //删除cookie文件
// $content=json_decode($content,true);
//file_put_contents('save.txt', $content); //保存抓取的页面内容