iteX

Решил себе на блоге диз сменить, долго мучался. Подбирал темы, редактировал под себя, начинал заново. Дизайн не мой конек)). В итоге остановился на том, чо просто взять тему, сменить шапку и подогнать под технические запросы. Что Вы сейчас и видите. Недельку погоняю, если все будет ок, то так и оставлю.

Дальше, решил восстановить свой скрипт, еще далеко 2008 года. Он проверяет истекающие домены на пиар, дмоз, ссылки, склейку  и если они не зарегестрированы в данный момент после истечения срока, то выдает их списком. Проблема вылилась в то, что гугл не дает фактически сделать больше 3000 запросов на пиар, потом надо ждать или менять ип.  При том, что я делаю на каждый дадацент всего раз в минуту запрос. В 2008 году все было куда интереснее, я останавливал запросы к датацентру, когда количество переваливало за 5000 и ждал час, просто ради того, чтоб гугл, как я думал, мной не интересовался. Проблем не возникало.  Если пробовать через soap запрашивать, то там всего тысяча запросов в сутки. Подумываю проксы прикрутить, но придется наверно долго мучаться и проксы брать из других проектов. Но тогда проект уже не будет бесплатным.

Вот, в итоге вопрос, как кто справляется с парсингом гугла? и стоит ли вообще этим заниматься?

Ладно, терь о доли позитива в нашей жизни. Как некоторые наверно знают, по инету пошло мощное продвижение Артиста Эдуарда Хиля. Мне кажется прекрасный пример того, как на волне эмоций народа делают деньги. Открылся сайт, его продвигают и с него толкают эту песню. РАО наверно негодует. Скоро наверно еще футболки пойдут, надо успевать вливаться )). Сам Эдуард походу тоже не унывает и начинает втягиваться в эту волну. Гдето проскакивала инфа, что будет совместный концерт когото и Эдуарда Хиля.  У комсомольской правды есть видео интервью, в котором хиль дает комментарии о пародиях на его выступление. На мой взгляд очень профессионально и с юморком оценил пародистов, причем не сказав о них ничего плохого.

Я тут озаботился снижением нагрузки на сервак, чтоб уж совсем все в шоколаде было. У мя фронтендом стоит nginx. Он отдает статику по расширениям картинок, джаваскриптов и тд. Если к этому правилу не подошло и файл не существует, то он отдает дальше на апач и закеширует ответ. Соотвественно апач все как обычно разруливает.

Про php-fpm и php-fastcgi знаю, не подумайте, что совсем дурак)), мне легче использовать апач, чем мучаться, например с редиректами. Время будет, может и улучшу в эту сторону.

В основном использую на сайтах вордпрессы. Соотвественно выделил два решения для снижения нагрузки:
1) Поставить eAccelerator, он сохраняет скомпилированные PHP скрипты в разделяемой памяти и запускает код непосредственно из нее.
2) Поставить на тяжелые вордпрессы плагин Really Static.

Дальше распишу подробнее об установке, php-devel, bzip и тд уже мя стоят.
Следуем этой инструкции.


cd /usr/src
wget http://bart.eaccelerator.net/source/0.9.6/eaccelerator-0.9.6.tar.bz2
tar -jxf eaccelerator-0.9.6.tar.bz2
cd eaccelerator-0.9.6
phpize
./configure --enable-eaccelerator=shared
make
make install
mkdir /var/cache/eaccelerator
chmod 0777 /var/cache/eaccelerator

Если все поставилось, то идем директорию с php.ini, у меня например /etc/php5/apache/php.ini и прописываем настройки акселераторора.

extension="eaccelerator.so"
eaccelerator.shm_size="16"
;папка кеша, с правами на запись
eaccelerator.cache_dir="/var/cache/eaccelerator"
eaccelerator.enable="1"
eaccelerator.optimizer="1"
eaccelerator.check_mtime="1"
eaccelerator.debug="0"
eaccelerator.filter=""
eaccelerator.shm_max="0"
eaccelerator.shm_ttl="0"
eaccelerator.shm_prune_period="0"
eaccelerator.shm_only="0"
eaccelerator.compress="1"
;уровень компрессии, чем болше компрессия, тем больше зарузка процессора, но меньше используемая память
eaccelerator.compress_level="5"

Перезапускаем апач и вуаля. У меня, например, нагрузка сильно упала, а использование памяти вордпрессса чуть ли не в десять раз сократилось.

Итак, скрипты кешируются, все в ажуре, но меня и это не остановило. Почему бы не сделать страницы вордпресса статичным, чтоб их отдавал только nginx, не касаясь апача.

Качаем Плагин Really Static. Распаковываем, стандартно ставим, идем в настроки плагина.
Я использую английский язык в вордпрессе, поэтому описание пунктов на инглише.

Во вкладке Source, проставляем урл нашего блога и урл к используемой теме блога.
Во вкладке Destination выбираем work with local filesystem, прописываем путь внутри файловой системы до файлов блога.
В settings можно ничего не менять, я поставил галочку в “Don’t copy any linked file”.
Дальше идем в Manual Refresh и жмем кнопку write all files.

Если выскочит ошибка, то скорей всего нет прав на запись в корень блога или неправильно его указали в настройках файловой системы.
Если все прошло ок, то в корне вашего блога образуются статичные хтмл файлы вордпресса.

Предчувствую, что у многих могут возникнуть проблемы с пермалинками, у меня такой формат “/%category%/%postname%.html”.

Плгин можно использовать что, размещать сайты на которых нет mysql, те мы наполняем блог дома, а потом размещаем статичные файлы на фтп. Из минусов, не будет доступна динамика, например комменты.

Весна дарит новую жизнь и новые возможности, с чем я Вас всех и поздравляю.

Как я уже говорил ранее, люди присылают свои дополнения для плагинов.  Дак вот, новой возможностью для заработка станет Setlinks. За код и терпение спасибо Блогу SEO-Ламера . Недописал ченджлог и тд, только рабойчий код, руки дойдут – доделаю.

Посмотрел тут пресс конверенцию ру-центра по поводу torrents.ru. Как ни странно понравились ответы представителя. Ведущая замалчивала новый адрес, а он так внятно произнес rutracker.org. Странно. Перл, что он считает, что репутация ру-центра не пострадала, ну хотя не говорить же ему правду. Поразило число в районе десяти тысячь отключенных сайтов, если тоже без суда и следствия, то это ахтунг полнейший.  Как минимум мои клиенты получили рекомендации при случае пытаться регистрировать домены через других регистраторов и сьехать с их хостинга. Шумиха в интернете потвердит мои мысли.  Я как минимум ожидал какогонить суда над вечно прогибающимся под правобладателями торренте )). Лично я считаю, что накосячили конкретные люди, в руцентре ли это, или в прокуратуре. Просто не подумали, что случится, если об их действиях узнает 4 миллиона человек)), а полезного результата действий будет ноль. Надо лишать их возможности действовать не продумав свои действия или вообще лишать такой возможности перманентно)). И больше публичности таким действиям. Тем может и спасемся.

Сами админы кста заслуживают похвалы. Почти с блеском вышли из ситуации с отключением. Я вообщем ничего еще не прочухал, днс еще не обновились, а на сайте уже было описание решение проблемы. Прописал ипы в хостс и все.  Хотя наверно админы готовились заранее, но все равно они молодцы. Ща сидят и смеются над этой грызней в рунете. Если так дальше пойдет, то в рунете остануться сайты госструктур с дорами  в подпапках и сайты домохозяек, которых просто незачто закрывать)).

Думайте головой почаще и будет у нас все хорошо, удачи.

Наконецто уволился с работы, которая занимала уйму моего времени. Надеюсь сейчас больше времени тратится на развитие и вообще на себя.

Переехал на новый сервер, постепенно планирую перенести все проекты с рабочего на него. На новом вроде все оптимизировал, все работает. Базы большие восстановлю, тормоза пропадут. Но проблемы все еще могут возникнуть.  Например сеня забыл в конфиге nginxa стереть строку скрытия кук и долго думал, почему меня в админку вордпресса не пускает. Решение оказалось простым )).

По плагинам, давно хочу выложить новую версию iMoney. Один хороший человек прислал дополнения, я их быстро добавил, а вот выложить чтот не получается. Но это поправимо. Перетяну с рабочего сервака папку разработок и выложу в паблик.

Если не влом будет и будет интерес, то может напишу про свои фермы блогов или настройки серверов, примитивнишее вещи, но в жизни помогают.

Лана, чтот я слишком многа пишу. Не в стиле этого блога и не по теме.

До встречи.

Сделал небольшие обновления плагинов iSape и iMoney для работы с Вордпресс 2.9. Новостей никаких нет, работы и всего остального на мя наваливается все больше и больше, все бесплатные проекты продвигаются очень медленно.

iFoxy развивается медленно, тк свободное время летом стараюсь не тратить на кодинг. Но тк народ интересуется и спрашивает, решил написать небольшой мануал.

Краткий курс создания кампании:
Добавляем кампанию, руководствуясь параметрами кампании ниже, сохраняем, идем в “Ваши кампании”, добавляем урл рсс лент, в типе ставим рсс, в категориях и тегах можно оставить пустым. И забываем на несколько дней…)) Когда время есть для работы над скриптом, я что-либо дополняю и запускаю скрипт, тогда Ваши кампании и выполнятся.

Параметры кампании:

1. title=’название’ Название кампании, может быть несколько кампаний с одним названием
2. active=’active’ Активна ли кампания, если нет, то будет во всех работах пропускаться
3. language=’en’ Язык сайта, параметр используюется для синонимизации, при определении языка источника и тд.
4. template=’#template#<p><p>%image%</p>%excerpt%</p><!more><p>%more%</p><p>%video%</p>#template#’ Шаблон поста, можно оставлять пустым, тогда будет шаблон по умолчанию
5. frequency=’3600′ Максимальная частота опроса источников в секундах, учитывая, что запускаю вручную, пока не играет важно роли, но елси запускать каждые скажем 15 минут по крону, то во первых будет нагрузка на скрипт, а во вторых нагрузка на источник, которая скорей всего приведет к бану ипа.
6. get_use_default_proxy=’1′ Использовать ли мои прокси, ставлю параметр вручную, по идее, параметр ниже определяет ваши прокси, с которых и будет обращение к источникам
7. post_cacheimagesaddhash=’active’ Добавлять ли к названиям имен файлов изображений хеш для того чтоб имена не совпадали с уже загруженными.
8. randomtimeoffset=’3600′ Смещение времени поста в секундах, относительно времени источника, может быть отрицательным
9. feeddate=’active’ Использовать ли время и дату из источника, вордпресс позволяет писать посты в будущем и прошлом
10. c ategory=” Категория, в которую будет добавляться пост, можно оставить пустым, если не пустое, то пытется сначала создать категорию
11. tags=” Теги, которые добавятся в пост всегда, помимо тегов, которые скрипт выдерет из источника
12. blog_url=’http://site.com/xmlrpc.php‘ Сайт, на который будут поститься посты.Этот и два параметра ниже обязательны для работы, обычно рекомендую сделать отдельного пользователя с привелегиями для постинга статей.
13. blog_login=’admin’ Логин
14. blog_passwd=’pass’ Пароль
15. blog_type=’wordpress’ Планирую добавить и другие пплатформы, даже сейчас поддерживается с типа метавебблог, если не постить аттачменты и картинки
16. blog_post_status=’publish’ Статус поста блога, может принимать значения “publish,private,draft,pending”, для теста можно ставить черновик-draft, который уже в блоге превратить в обычный пост-publish.
17. filter_content_allowedtags=’<a><p><div><img><b><em><strong>
    <ul><li><ol><span><font><o>’ Разрешенные хтмл теги, остальные вырезаются стриптегсом.
18. filter_lenght_min=’500′ Минимальная длина текста, чтобы пройти фильтр
19. filter_lenght_title_max=’500′ Максимальная длина титла, после которой обрежется, если стоит “0″ то фильтр не задействован
20. filter_more_lenght=’0′ Длина первой части текста до тега more, пытается не обрезать слова до +-10% текста
21. filter_words_in=” Обязательные слова через запятую, без них текст не пройдет фильтр, если пусто то фильтр не используется
22. filter_words_stop=’опама,превед’ Запрещенные слова через запятую, с ними текст не пройдет фильтр, если пусто то фильтр не используется
23. filter_words_blacklistedurl=” Запрещенные урлы через запятую, с ними текст не пройдет фильтр, если пусто то фильтр не используется, вроде вообще не доделан.
24. filter_usetags=’active’ Выдирать теги из источника
25. filter_useyahootags=’active’ Получать теги из текста по апи yahoo, на мой взгляд теги не релевантны, но все равно использую.
26. filter_syn=’active’ Синонимизировать ли текст моим синонимайзером, только инглиш.
27. filter_syn_title=’active’ Синонимизхировать ли титл
28. filter_onlysource=’disable’ Если не получен полный текст новости из источника, то фильтр не пройдет.
29. filter_img_addalt=’active’ Добавлять альты к изображениям, дает посетителей с поиска по картинкам
30. filter_img_cache=’active’ Кешировать изображения и заливать на блог
31. filter_img_addimage= Добавлять изображения со сторонник серверов по титлу, покато ка flickr
32. filter_use_video=’active’ Добавлять видео со сторонник серверов по титлу, покачто youtube
33. filter_highlight_keywords=’keyword1,viagra2′ Подсвечивать кейворды, через запятую
34. filter_highlight_keywords_template=’<b>%s</b>’ Темплейт подсвечивания, “%s” вместо кейворда.
35. proxy=” Прокси, через запятую, вида “прокс:порт,прокс2:порт”

Я думаю так бужет легче сходу разобраться в сервисе, то без моих советом немногие смогли сделать кампании.

Поменьше сидите за компами, побольше загорайте. Приятного отдыха.

Кто обновился до версии вордпресса 2.8 и у кого была русская локализация, получали ошибку при попытке изменения настроек. Поправил маленько код, проверил, работает. Качать где и раньше. Нового ничего не пишу, проекты заморожены, лето …

Обновил все три публичных плагина.
iTwitter получил возможность вывода последних твитов указанных пользователей с сортировкой по дате.
Добавлен выбор случайного сервиса сокращения ссылок, отключение сокращени и исправлен баг в соотвествующей функции
Добавлено создание ссылки из текста вида #tagname or @username в постах и комментах.
В iSape добавил параметр в safe_url.
В iMoney, кроме этого параметра, поправлены функции менлинка. Те у кого они ре работали, могут попробовать его их снова.

iTwitter – мой новый плагин, пока с маленькими возможностями.
Сейчас поддерживается только постинг анонса поста в твиттер.
Скачать Написал се простенькое ТЗ, что думаю реализовать. Может даже большую часть реализую . Страница плагина. С iMoney както все застопорилось. Предложения  по доработке не поступают, только по мелочи исправления багов, что даже выкладывать так мало изменений стыдно. С iFoxy все ок, дал народу доступ, мало кто разобрался. надо писать хелп, если продвигать в массы сервис. На улице лето, несколько дней вообще ничего не писал.

Размышлял над тем, что требуется от идеального автонаполнителя сайтов, сделал небольшое ТЗ для себя, надеюсь Вам будет тоже интересно и Вы добавите некоторые пункты, чтобы Вам хотелось в идеале.

1. Получение контента
   1. Источники
      1. Прописанные Рсс (R)
      2. Динамические рсс по кейвордам с поисковиков
      3. Обход заранее прописанных сайтов по и копирование контента по сигнатурам.
      4. Обход заранее прописанных сайтов, без сигнатур,
      5. Обход случайных сайтов и выдирание самого большого куска текста
   2. Ходить на сайты из пермалинков рсс и выдирать полные новости (R)
   3. Работа с проксями
   4. Получение тегов из рсс (R)
   5. Проверка не закачивался ли раньше файл по хешу (R)
   6. Частота опроса  (R)
2. Фильтрация контента
   1. Порог входа
      1. Запрещенные слова(R)
      2. Обязательно нужные слова  (R)
      3. Контент только со страницы, а не из рсс  (R)
      4. Минимальное количество символов (R)
      5. Ссылки на сайты в блеклисте
   2. Работа с текстом
      1. Очистка от тегов, все кроме разрешенных (R)
      2. Синонимизация контента(R)
      3. Подсветка кейвордов
      4. Перевод текста из одного языка в другой
      5. Двойной перевод для уникализации
      6. Очистка от предопределенных распространенных фраз, например копирайты плагинов. (R)
      7. Замена указанных фраз на нужные
      8. Вставка тега <!more> в середину, соблюдая последовательность тегов
   3. Работа с титлом
      1. Обрезание титла по длине  (R)
      2. Синонимизация титла  (R)
   4. Работа с тегами
      1. Поиск тегов по шаблону популярных движков  (R)
      2. Поиск тегов при помощи Яху апи (R)
   5. Работа с изображениями
      1. Кеширование изображений к себе на сервер (R)
      2. Добавление альтов и титлов к изображениям  (R)
      3. Создание превью картинок
      4. Кеширование изображений на сторонние хостинги
   6. Темплейты
      1. {text}{url} (R)
      2. %text%%url% {qw|wq|qwq}
   7. Мешап
      1. Youtube видео
      2. Flickr фотографии
3. Постинг
   1. XmlRpc
      1. Вордпресс, блоггер (R)
      2. Урл блога, логин, пароль, типа блога, статус поста  (R)
         1. Использовать дату с источника (R)
         2. Использовать случайное время, прибавленное или убавленное к времени источника  (R)
         3. Автоматом создавать категории (R)
         4. Добавлять к загружаемым изображениям хеш в имя.(R)
         5. Расписание постинга, эмуляция человека
         6. Максимум постов в день на блог
   2. В файл для распарсивания
   3. Посылать по почте
   4. Послать на урл в POST