Парсер ссылок используя карту сайта.

Парсер ссылок используя карту сайта.

Вообщем задача была такая,вставляю список доменов например:

http://site1.ru/
http://site2.ru/
http://site3.ru/

Передаю через textarea в обработчик,скрипт выдергивает все ссылки с карты сайта,тоесть генерируют такие ссылки:

http://site1.ru/sitemap1.html
http://site1.ru/sitemap2.html
http://site1.ru/sitemap3.html
http://site1.ru/sitemap4.html
http://site1.ru/sitemap5.html
http://site2.ru/sitemap1.html
http://site2.ru/sitemap2.html
http://site2.ru/sitemap3.html
http://site2.ru/sitemap4.html
http://site2.ru/sitemap5.html
http://site3.ru/sitemap1.html
http://site3.ru/sitemap2.html
http://site3.ru/sitemap3.html
http://site3.ru/sitemap4.html
http://site3.ru/sitemap5.html

Переходит по ним и выдергивает все ссылки регулярным выражением и выводит их.

error_reporting(E_ALL);
header('Content-type: text/html; charset=utf-8');
mb_internal_encoding('UTF-8');
function curlFunc($url){
$ch = curl_init();
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_TIMEOUT, 10);
curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (X11; Linux i686; rv:7.0.1) Gecko/20100101 Firefox/7.0.1");
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_ENCODING , "gzip");
$result = curl_exec($ch);
curl_close($ch);
return $result;
}
if (isset($_POST['domens'])) {$domens = $_POST['domens'];} //Принимаем
$domens2 = explode("n",$domens); //Разделяем домены
$domens2_count = count($domens2);
$domens2_count--;
 
foreach($domens2 as $key=>$value)
{
  $domens2[$key] = trim($value);
}

for($j=0;$j<=$domens2_count;$j++) //Цикл прохождения по доменам
{
echo 'Номер '.$j.'';
$domen = $domens2[$j];
echo 'домен - '.$domen.'';
for($i=1;$i<=5;$i++) //Цикл прохождения по страницам
{
$link = $domen.'sitemap'.$i.'.html';
$link = trim($link);
$link2 = curlFunc($domen.'sitemap'.$i.'.html');
echo 'Карта - '.$link.'';
preg_match_all("/<li><a href="(.*)"/U",$link2,$links);
//echo $link.'';
foreach($links[1] as $p) //Вывод
{
echo $p.'';
}
}

//$rescount = count($res);
// echo 'Кол-во'.$rescount;
}
Полный путь к каталогу от корня сервера... Полный путь к каталогу от корня сервера Путь к текущему каталогу от корня ...
Выводим послендий твит на сайте. PHP... С помощью PHP и cURL очень просто получить статус определенного пользователя. Как только он у вас есть, его можно показать в блоге. Функция funct...
PHP инкримент. Увеличение и уменьшение на единицу.... Довольно часто в ходе написания PHP скрипта нужно или добавить к переменной единицу, либо отнять. Для этого в PHP есть специальные операторы. Наприм...
Онлайн работа с регулярными выражениями.... Есть одна бородатая шутка: «если у вас есть проблема, и вы собираетесь решать ее с использованием регулярных выражений, то у вас есть две проблемы...

Сохрани, чтобы не потерять