iteX

iFoxy развивается медленно, тк свободное время летом стараюсь не тратить на кодинг. Но тк народ интересуется и спрашивает, решил написать небольшой мануал.

Краткий курс создания кампании:
Добавляем кампанию, руководствуясь параметрами кампании ниже, сохраняем, идем в “Ваши кампании”, добавляем урл рсс лент, в типе ставим рсс, в категориях и тегах можно оставить пустым. И забываем на несколько дней…)) Когда время есть для работы над скриптом, я что-либо дополняю и запускаю скрипт, тогда Ваши кампании и выполнятся.

Параметры кампании:

1. title=’название’ Название кампании, может быть несколько кампаний с одним названием
2. active=’active’ Активна ли кампания, если нет, то будет во всех работах пропускаться
3. language=’en’ Язык сайта, параметр используюется для синонимизации, при определении языка источника и тд.
4. template=’#template#<p><p>%image%</p>%excerpt%</p><!more><p>%more%</p><p>%video%</p>#template#’ Шаблон поста, можно оставлять пустым, тогда будет шаблон по умолчанию
5. frequency=’3600′ Максимальная частота опроса источников в секундах, учитывая, что запускаю вручную, пока не играет важно роли, но елси запускать каждые скажем 15 минут по крону, то во первых будет нагрузка на скрипт, а во вторых нагрузка на источник, которая скорей всего приведет к бану ипа.
6. get_use_default_proxy=’1′ Использовать ли мои прокси, ставлю параметр вручную, по идее, параметр ниже определяет ваши прокси, с которых и будет обращение к источникам
7. post_cacheimagesaddhash=’active’ Добавлять ли к названиям имен файлов изображений хеш для того чтоб имена не совпадали с уже загруженными.
8. randomtimeoffset=’3600′ Смещение времени поста в секундах, относительно времени источника, может быть отрицательным
9. feeddate=’active’ Использовать ли время и дату из источника, вордпресс позволяет писать посты в будущем и прошлом
10. c ategory=” Категория, в которую будет добавляться пост, можно оставить пустым, если не пустое, то пытется сначала создать категорию
11. tags=” Теги, которые добавятся в пост всегда, помимо тегов, которые скрипт выдерет из источника
12. blog_url=’http://site.com/xmlrpc.php‘ Сайт, на который будут поститься посты.Этот и два параметра ниже обязательны для работы, обычно рекомендую сделать отдельного пользователя с привелегиями для постинга статей.
13. blog_login=’admin’ Логин
14. blog_passwd=’pass’ Пароль
15. blog_type=’wordpress’ Планирую добавить и другие пплатформы, даже сейчас поддерживается с типа метавебблог, если не постить аттачменты и картинки
16. blog_post_status=’publish’ Статус поста блога, может принимать значения “publish,private,draft,pending”, для теста можно ставить черновик-draft, который уже в блоге превратить в обычный пост-publish.
17. filter_content_allowedtags=’<a><p><div><img><b><em><strong>
    <ul><li><ol><span><font><o>’ Разрешенные хтмл теги, остальные вырезаются стриптегсом.
18. filter_lenght_min=’500′ Минимальная длина текста, чтобы пройти фильтр
19. filter_lenght_title_max=’500′ Максимальная длина титла, после которой обрежется, если стоит “0″ то фильтр не задействован
20. filter_more_lenght=’0′ Длина первой части текста до тега more, пытается не обрезать слова до +-10% текста
21. filter_words_in=” Обязательные слова через запятую, без них текст не пройдет фильтр, если пусто то фильтр не используется
22. filter_words_stop=’опама,превед’ Запрещенные слова через запятую, с ними текст не пройдет фильтр, если пусто то фильтр не используется
23. filter_words_blacklistedurl=” Запрещенные урлы через запятую, с ними текст не пройдет фильтр, если пусто то фильтр не используется, вроде вообще не доделан.
24. filter_usetags=’active’ Выдирать теги из источника
25. filter_useyahootags=’active’ Получать теги из текста по апи yahoo, на мой взгляд теги не релевантны, но все равно использую.
26. filter_syn=’active’ Синонимизировать ли текст моим синонимайзером, только инглиш.
27. filter_syn_title=’active’ Синонимизхировать ли титл
28. filter_onlysource=’disable’ Если не получен полный текст новости из источника, то фильтр не пройдет.
29. filter_img_addalt=’active’ Добавлять альты к изображениям, дает посетителей с поиска по картинкам
30. filter_img_cache=’active’ Кешировать изображения и заливать на блог
31. filter_img_addimage= Добавлять изображения со сторонник серверов по титлу, покато ка flickr
32. filter_use_video=’active’ Добавлять видео со сторонник серверов по титлу, покачто youtube
33. filter_highlight_keywords=’keyword1,viagra2′ Подсвечивать кейворды, через запятую
34. filter_highlight_keywords_template=’<b>%s</b>’ Темплейт подсвечивания, “%s” вместо кейворда.
35. proxy=” Прокси, через запятую, вида “прокс:порт,прокс2:порт”

Я думаю так бужет легче сходу разобраться в сервисе, то без моих советом немногие смогли сделать кампании.

Поменьше сидите за компами, побольше загорайте. Приятного отдыха.

Размышлял над тем, что требуется от идеального автонаполнителя сайтов, сделал небольшое ТЗ для себя, надеюсь Вам будет тоже интересно и Вы добавите некоторые пункты, чтобы Вам хотелось в идеале.

1. Получение контента
   1. Источники
      1. Прописанные Рсс (R)
      2. Динамические рсс по кейвордам с поисковиков
      3. Обход заранее прописанных сайтов по и копирование контента по сигнатурам.
      4. Обход заранее прописанных сайтов, без сигнатур,
      5. Обход случайных сайтов и выдирание самого большого куска текста
   2. Ходить на сайты из пермалинков рсс и выдирать полные новости (R)
   3. Работа с проксями
   4. Получение тегов из рсс (R)
   5. Проверка не закачивался ли раньше файл по хешу (R)
   6. Частота опроса  (R)
2. Фильтрация контента
   1. Порог входа
      1. Запрещенные слова(R)
      2. Обязательно нужные слова  (R)
      3. Контент только со страницы, а не из рсс  (R)
      4. Минимальное количество символов (R)
      5. Ссылки на сайты в блеклисте
   2. Работа с текстом
      1. Очистка от тегов, все кроме разрешенных (R)
      2. Синонимизация контента(R)
      3. Подсветка кейвордов
      4. Перевод текста из одного языка в другой
      5. Двойной перевод для уникализации
      6. Очистка от предопределенных распространенных фраз, например копирайты плагинов. (R)
      7. Замена указанных фраз на нужные
      8. Вставка тега <!more> в середину, соблюдая последовательность тегов
   3. Работа с титлом
      1. Обрезание титла по длине  (R)
      2. Синонимизация титла  (R)
   4. Работа с тегами
      1. Поиск тегов по шаблону популярных движков  (R)
      2. Поиск тегов при помощи Яху апи (R)
   5. Работа с изображениями
      1. Кеширование изображений к себе на сервер (R)
      2. Добавление альтов и титлов к изображениям  (R)
      3. Создание превью картинок
      4. Кеширование изображений на сторонние хостинги
   6. Темплейты
      1. {text}{url} (R)
      2. %text%%url% {qw|wq|qwq}
   7. Мешап
      1. Youtube видео
      2. Flickr фотографии
3. Постинг
   1. XmlRpc
      1. Вордпресс, блоггер (R)
      2. Урл блога, логин, пароль, типа блога, статус поста  (R)
         1. Использовать дату с источника (R)
         2. Использовать случайное время, прибавленное или убавленное к времени источника  (R)
         3. Автоматом создавать категории (R)
         4. Добавлять к загружаемым изображениям хеш в имя.(R)
         5. Расписание постинга, эмуляция человека
         6. Максимум постов в день на блог
   2. В файл для распарсивания
   3. Посылать по почте
   4. Послать на урл в POST

Выпустил новую версию.
Добавил поддержку пхп вставок, даже сделал проверку синтаксиса, типа если не валидный синтаксис, то не запустится код. Но если уже ктото умудриться завалить блог, например вызовом левого класса или чемто подобным, вызывающим фатал эррор, то сами себе злобные буратины. Причем даже в этом случае надо будет просто в пхпмайадмине подчистить опцию в базе. Также обновил перевод, все словосочетания в русской версии по русски показываются.

Уже несколько дней думаю выпустит свой iFoxy в паблик. Это серфис многофункционального граббера контента с фильтрацией и постингом в блоги по xmlrpc. Написал простенький фронтенд для него. Раньше он не нужен был, все настройки вручную прописывал в базе. Для своих тоже все вручную прописывал, но все были довольны. Сам скрипт берет контент из прописанных рсс каналов или с поиска при указании ключевиков. Ходит на сайты, чтоб взять полную новость, причем не надо прописывать регулярки, все сделает сам. Дальше идут всякие проверки на правильность текста, типа количество символов, слова из блеклиста и тд. Чистка от опасных тегов, настроки опциональны. Потом ищутся теги контента через свои функции и через яху апи. Дальше идет сильная синонимизация инглиш онли. Потом в зависимости от настроек, из сорса выдераются ссылки на картинки и картинки заливаются в базу. Подсвечиваются кейворды. Всякие ютубы, фликры по вкусу и переводы  через гугл по вкусу. После фильтрации на блог заливается пост, создаются автоматом категории, залюваются картинки в виде аттачей к посту.