Парсер ссылок используя карту сайта.

Парсер ссылок используя карту сайта.

Вообщем задача была такая,вставляю список доменов например:

http://site1.ru/
http://site2.ru/
http://site3.ru/

Передаю через textarea в обработчик,скрипт выдергивает все ссылки с карты сайта,тоесть генерируют такие ссылки:

http://site1.ru/sitemap1.html
http://site1.ru/sitemap2.html
http://site1.ru/sitemap3.html
http://site1.ru/sitemap4.html
http://site1.ru/sitemap5.html
http://site2.ru/sitemap1.html
http://site2.ru/sitemap2.html
http://site2.ru/sitemap3.html
http://site2.ru/sitemap4.html
http://site2.ru/sitemap5.html
http://site3.ru/sitemap1.html
http://site3.ru/sitemap2.html
http://site3.ru/sitemap3.html
http://site3.ru/sitemap4.html
http://site3.ru/sitemap5.html

Переходит по ним и выдергивает все ссылки регулярным выражением и выводит их.

error_reporting(E_ALL);
header('Content-type: text/html; charset=utf-8');
mb_internal_encoding('UTF-8');
function curlFunc($url){
$ch = curl_init();
curl_setopt($ch, CURLOPT_HEADER, );
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_TIMEOUT, 10);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (X11; Linux i686; rv:7.0.1) Gecko/20100101 Firefox/7.0.1");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_ENCODING , "gzip");
$result = curl_exec($ch);
curl_close($ch);
return $result;
}
if (isset($_POST['domens'])) {$domens = $_POST['domens'];} //Принимаем
$domens2 = explode("n",$domens); //Разделяем домены
$domens2_count = count($domens2);
$domens2_count--;
 
foreach($domens2 as $key=>$value)
{
  $domens2[$key] = trim($value);
}

for($j=;$j<=$domens2_count;$j++) //Цикл прохождения по доменам
{
echo 'Номер '.$j.'';
$domen = $domens2[$j];
echo 'домен - '.$domen.'';
for($i=1;$i<=5;$i++) //Цикл прохождения по страницам
{
$link = $domen.'sitemap'.$i.'.html';
$link = trim($link);
$link2 = curlFunc($domen.'sitemap'.$i.'.html');
echo 'Карта - '.$link.'';
preg_match_all("/<li><a href="(.*)"/U",$link2,$links);
//echo $link.'';
foreach($links[1] as $p) //Вывод
{
echo $p.'';
}
}

//$rescount = count($res);
// echo 'Кол-во'.$rescount;
}
Выводим послендий твит на сайте. PHP... С помощью PHP и cURL очень просто получить статус определенного пользователя. Как только он у вас есть, его можно показать в блоге. Функция funct...
Изучение PHP — интерполяция переменных... Значение переменной может быть отображено например так: $capital = "London"; echo "Capital of Great Britain is", $capital,""; Есть способ...
Полный путь к каталогу от корня сервера... Полный путь к каталогу от корня сервера Путь к текущему каталогу от корня ...
Делаем короткие ссылки для Twitter... Так как в Twitter размещать заметки длиннее 140 символов нельзя, мы их укоротим. TinyUrl.com предоставляет нам возможность трансформировать наши ссыл...
Читайте также  Google Chrome как текстовый редактор

Сохрани, чтобы не потерять