Оглавление
Коллективный учебник-гайд от Колаборатории
Коллективный учебник-гайд
от Колаборатории
Данные — важнейшее явление XXI века, присутствующее повсеместно. Особенно много данных доступно через Интернет. Но цифровое золото для эффективного использования нужно извлечь и обработать. В этой главе мы расскажем о том, что такое парсинг, или скрейпинг, и с какими трудностями может столкнуться начинающий аналитик.
/01

Основы html

Данные присутствуют повсеместно: от промышленности и логистики до маркетинга и политики. Подобное распространение превратило информацию в ценнейший ресурс любой области. Особенно много данных доступно через Интернет — это и различные информационные порталы, и официальные страницы организаций, и мессенджеры, которые содержат цифровые следы любого пользователя. Интернет — это содержание веб-страниц, метрики (количество просмотров и посещений), а также метаданные размещённых материалов.
HTML — язык гипертекстовой разметки документов для просмотра страниц в браузере.
В определении возникает термин «гипертекст», который можно очень просто объяснить — это электронный вид текста. В качестве основополагающих особенностей можно отметить наличие гиперссылок — объектов, позволяющих переходить от документа к документу по одному щелчку мыши.
CSS — язык стилей веб-страницы.
CSS с помощью особых идентификаторов позволяет применять форматирование и стили к элементам, создавая понятные и приятные глазу современные сайты.
HTML-элементы — основа языка, служат для создания элементов документа.
Элементы обозначаются специальными пометками — тегами, которые имеют общую структуру — название, заключённое в <>. Если указан тег <div>, значит, перед нами контейнер и последующие теги будут принадлежать данному элементу. Для обозначения окончания используют закрывающий тег, отличающийся от открывающего наличием наклонной черты после <. То есть завершение контейнера будет обозначено как </div>.
Теги могут содержать аргументы — дополнительные параметры, которые меняют форматирование, функционал или содержание. Например, тег <a>, создающий гиперссылку, содержит аргумент href — ссылку на ресурс, который откроется после нажатия.

Пример использования гиперссылки <a> и аргументов тега

<html>
  <body>
    <a href="https://www.mid.ru/"> </a>
  </body>
  <html></html>
</html>
Структура html иерархична — элементы принадлежат друг другу, то есть функционируют по принципу матрёшки, поэтому их можно разделить на материнские и дочерние, причём элемент может быть одновременно материнским и дочерним, то есть принадлежать кому-то и содержать какие-то теги внутри себя. В коде иерархия отображается с помощью отступа.

Основные <теги>

Язык html не ограничен простыми текстовыми объектами, современная версия языка разнообразна и способна создавать списки, таблицы, изображения, видео. Для извлечения информации не нужно знать все теги, достаточно овладеть основополагающими.
< div >
< p > < span >
< b > < i > < u >
< h1 > < h2 > …
< ul > < ol > < dl >
< table > < tr > < td >
<div>

Тег для создания контейнеров

<div> - тег, позволяющий создавать контейнеры. В чистом варианте без примененных стилей
<div> никак не влияет на содержание страницы. После использования форматирования, задающего размер, отступ, положение и цвет, тег позволяет создавать сложные структуры веб-страниц, без которых сложно представить современный сайт: ленту новостей, навигационное меню, галерею и т. д.
На рисунке ниже показано, как с помощью <div> на сайте МИД РФ реализован архив выступлений Министра иностранных дел С. В. Лаврова.
Пример использования тега <div> на сайте МИД РФ
<p> <span>

Информационные теги

Структурные теги позволяют нам обращаться к нужным узлам и извлекать из них информацию, но следует познакомиться и с информационными тегами. Обычный текст чаще всего помещают в <p> и <span>. Тег <p> определяет текстовый. Иногда текст дополнительно помещают в <span> для добавления форматирования.
<b> <i> <u>

Теги форматирования текста

Существуют стилистические элементы, меняющие облик текста. К таким тегам относят:
  • <b> (bold, то есть жирный)
  • <i> (italics, то есть курсив)
  • <u> (underline, то есть подчеркнутый)
<h> <h1> <h2>

Теги заголовков

Теперь освоим теги заголовков — они позволяют создавать многоуровневую систему заглавий. Группа этих тегов начинается с «h», после чего следует порядковый номер, определяющий иерархию титулов.
Ниже на иллюстрации можно увидеть примеры текстовых тегов с исходным кодом.

Пример текстовых тегов

<html>
  <body>
     <h1>Мегатренд 1</h1>
     <p>Тут информация про <b>мегатренд 1</b></p>
     <h2>Мегатренд 2</h2>
     <p>Тут информация про <i>мегатренд 2</i></p>
     <h3>Мегатренд 3</h3>
     <p>Тут информация про <u>мегатренд 3</u></p>
     <h4>Мегатренд 4</h4>
     <p>Тут информация про <span>мегатренд 4</span></p>
  </body>
<html>
<ul> <li> <ol>

Теги для создания списков

Маркированному списку соответствует тег <ul>, а каждому его элементу тег <li>. В html списки служат не только для структурирования информации, но и для создания структур веб-страниц. С помощью списков удобно конструировать меню, информационные панели, наборы элементов.
Нумерованный список работает идентичным образом, нужно лишь изменить тег с <ul> на <ol>.
Иной синтаксис у списка определений — он нечастый гость современных сайтов, но расскажем о нем для общего представления. Он создается с помощью тега <dl>, а элементы обозначаются двумя видами тегов — <dt> и <dd>, которые используют для терминов и определений соответственно.

Пример использования списка определений с исходным кодом

<dl>
  <dd>Цифровая дипломатия</dd>
  <dt>Использование возможностей сети интернет и информационных технологий для решения дипломатических задач</dt>
  <dd>Мегатренды</dd>
  <dt>Глобальные тенденции, охватывающие весь мир</dt>
</dl>
<table> <tr> <td>

Табличные теги

Рассмотрим табличные теги — одной из самых востребованных задач при парсинге является извлечение форм и табличных данных. Для создания таблицы с помощью html используют набор тегов: <table>, <tr>, <td>. <table> указывает на табличный объект, тогда как <tr> и <td> создают основную структуру — ряды и ячейки. Тег <td> создает ячейки, а <tr> указывает на границы ряда и позволяет регулировать их количество.
Ниже продемонстрировано, как можно создать свою таблицу и показан пример с реального веб-сайта.

Пример таблицы с исходным кодом

<table>
  <thead>
    <tr>
      <th>ID</th>
      <th>Название социальной сети</th>
      <th>Аудитория</th>
      <th>Год создания</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>1</td>
      <td>Фейсбук</td>
      <td>2.96 млрд</td>
      <td>2004</td>
    </tr>
    <tr>
      <td>3</td>
      <td>Твиттер</td>
      <td>540 млн</td>
      <td>2006</td>
    </tr>
  </tbody>
</table>
Пример таблицы на сайте МИД РФ

Система классов и id

Для стилизации объектов в HTML используется система классов и id, что продиктовано простой потребностью в кастомизации элементов. Не очень удобно прописывать стиль для каждого элемента, гораздо практичнее присвоить тегам идентификатор, который автоматически задаст стиль элементу.
Пример использования классов на сайте МИД РФ
Класс представляет название, id помимо текста содержит символ #. Классы и id, как и аргументы, идут после названия элемента. id позволяет переписывать стили и особенности, присвоенные классом.
  • /важно

    Элементу может быть присвоено несколько классов, а также комбинация классов и id. Тег не может иметь несколько id в силу особенностей данного аргумента.
/важно
Элементу может быть присвоено несколько классов, а также комбинация классов и id. Тег не может иметь несколько id в силу особенностей данного аргумента.
/02

Запросы к html-элементам

Мы освоили базовый html — познакомились с основными элементами, узнали, как работают классы и id. Читатель может задаться вопросом: зачем все это было нужно? Ответ достаточно прозаичен и прост: чтобы ориентироваться в html-коде страниц и уметь писать запросы к нужным элементам.
Запросы являются важной частью аналитики данных, ведь они позволяют получать нужную информацию из различных источников. Веб-браузеры, которыми пользуется каждый пользователь сети Интернет, для получения веб-страницы, отправляют запрос на сервер, а в качестве ответа получают код страницы. Конечно же, браузер устроен сложнее, но нам важнее понять саму природу запроса и его важность.

Синтаксис XPath

Для структурирования данных html-страницы требуется отправить запрос, конкретизирующий нужную нам информацию.
XPath — язык запросов к элементам XML-документа. Он позволяет точно указать путь к элементам, атрибутам и текстовым данным, которые нужно найти в структуре XML-файлов и получить данные при необходимости.
XPath — это путь до элемента. Он отображает положение нужного нам элемента в древе html. Таким образом, можно получать не весь код страницы, а только нужную нам часть.
/html/body/div[1]/div[2]/div[2]/div/div[1]/div[2]/div[1]/ul/li[1]/a — это абсолютный XPath, являющийся адресом конкретного элемента.
Для упрощения попробуем проиллюстрировать на примере. Представим гипотетического Васю, проживающего в прекрасном городе Москва на улице Международной в доме номер 2127. Нам недостаточно знать, что он Вася — в таком крупном мегаполисе количество Вась на один квадратный километр может достигать десятков или даже сотен, а нас интересует конкретный человек.
Для уточнения запроса мы вводим его адрес, начиная с крупных пространственных объектов: Россия / Москва / улица Международная / дом 2127 / Вася. Сочетание подобной информации с сохранением иерархии объектов позволяет выбрать нужного Васю и не промахнуться.
Подобная форма указания нахождения элемента во многом и есть XPath. Но можно также выбирать множество тегов, тогда путь будет выглядеть несколько иначе:
//a[@class='announce__link'] – относительный XPath, позволяющий выбирать все элементы, отвечающие условию.
/Xpath

Основные элементы синтаксиса

/ — поиск с начала веб-страницы. Нужен для указания абсолютного пути элемента, то есть точного адреса.
// — оператор, выполняющий поиск по всей странице. Позволяет вычленить группу нужных элементов.
[@arg='value'] — условие, выбирает элементы с нужными значениями атрибута. Обратите внимание: значение всегда указывается в одинарных кавычках, а атрибут — в квадратных скобках.

Схема синтаксиса XPath

/Xpath

Логистические операторы

XPath позволяет использовать различные логистические операторы, которые позволяют комбинировать условия выбора элементов.
AND — логическое «и»

Позволяет выбрать элементы с несколькими значениями аргументов. Запрос //div[@class='container' AND @class='main'] в качестве ответа выдаст все div с классами container и main.
OR — логическое «или»

Позволяет выбрать элементы с разными значениями аргументов. Запрос //div[@class='container' OR @class='main']в качестве ответа выдаст все div с классами containerили main.
NOT — логическое «не»

Позволяет из результатов исключить элементы с указанными атрибутами. Запрос a[NOT (@id='mid.ru')] убирает из результата все гиперссылки, ведущие на сайт МИДа.
/Xpath

Основные функции

Функции позволяют искать значения аргумента по частичным совпадениям и ключевым словам, что весьма удобно для некоторых сайтов.
text

Позволяет искать по текстовым значениям тега. Например, нам нужен заголовок, имеющий значение «мегатренд», тогда нужно написать следующий запрос: //h1[text ()='мегатренд']
contains

Позволяет искать по частичному совпадению значения. Запрос //p[containts (text ()='мегатренд')] выберет все абзацы, где в тексте есть слово «мегатренд».
starts-with

Позволяет искать по началу значения аргумента. Особенно удобно для извлечения группы элементов по классам. Запрос //div[starts-with (@class,'logo')] выберет все контейнеры, название класса которых начинается со слова «logo».
ends-with

Позволяет искать концу значения аргумента. Запрос//div[ends-with (@class,'logo')] выберет все контейнеры, название класса которых заканчивается словом «logo».

Синтаксис XPath Axes

Дополнительные возможности XPath включают выбор элементов по их иерархии, что именуется осями. Для иллюстрации возможностей осей попробуем найти Васю, проживающему в Москве на улице Международной в доме номер 2127.
Допустим, нам не нужен сам Вася, но нужен его адрес. Мы можем сформулировать запрос следующим образом: извлеки все родительские узлы Васи. Тогда из всего пути к Васе, то есть Россия / Москва / улица Международная / дом 2127 / Вася мы получим последовательность Россия / Москва / улица Международная /дом 2127 — все элементы, которым Вася принадлежит. Если нас интересует только дом, то тогда можно запросить последний родительский контейнер, и результатом будет дом 2127. Таким образом, общий синтаксис осей можно представить, как на рисунке ниже.

Схема синтаксиса Xpath Axes

/Xpath Axes

Методы навигации по узлам

Перейдем к более подробному рассмотрению навигации по узлам — каждому методу будет представлена соответствующая визуализация. Для упрощения задачи все контейнеры считаем тегом <div>, а подписи — значениями id. Красным цветом отмечен текущий узел, зеленым — выбранные в результате использования оси XPath.
XPath — весьма сложная конструкция, но очень полезная, она позволяет эффективно выбирать нужное множество элементов html-кода для дальнейших манипуляций. Но во многих ситуациях XPath является избыточным, на современных сайтах гораздо проще использовать CSS-селектор.

CSS-селекторы

CSS-селекторы выбирают нужное множество объектов по их иерархии или параметрам. СSS-селекторы достаточно универсальны, поддерживают возможность комбинирования условий, использования классов и id, но обладают иным синтаксисом чем XPath.
/CSS-селекторы

Основные селекторы

* – выбирает любой элемент
div – выбирает все элементы с данным тегом
#id – выбирает все элементы с указанным id
.class — выбирает все элементы с данным классом
[name= 'value'] - похож на работу с атрибутами в XPath, позволяет отобрать элементы, у которых указанное значение атрибута
:hover — выбор элементов с указанным псевдоклассом. Псевдокласс это ключевое слово, добавленное к селектору, которое определяет его особое состояние. Например, :hover позволяет изменять стиль элемента при наведении на него курсора.
комбинации селекторов — можно комбинировать все селекторы между собой (только стоит помнить, что у элементов не может быть несколько id).

Например, если нам нужны все элементы li, то селектор будет выглядеть следующим образом: li.announce_item. Данной формулировкой мы выбираем все элементы li с классом announce_item. Можно указать сразу несколько классов вместе с псевдоклассом, id и названием тега: a#id.c1.c2:visited.
фильтр по значениям аргумента — возможен выбор элементов по значениям атрибутов. Аргумент указывается в квадратных скобках, а значение в кавычках.

Основные фильтры:
  • a[href="mid.ru"] - атрибут равен точному значению
  • a[href^="mid"] - атрибут начинается с указанного значения, ссылка «mid.ru» будет выбрана
  • a[href|="mid"] - атрибут равен или начинается с указанного значения
  • a[href*="mid.ru"] - атрибут содержит указанную строку (обратите внимание: в этом случае положение «mid» в строке неважно)
  • a[href~="mid"] - атрибут содержит строку как одно из значений через пробел. Элемент со значением «mid.ru» выбран не будет, а «mid russia» успешно извлечется
  • a[href$="mid"] - атрибут заканчивается на указанном значении (ссылка «mid.ru» не будет выбрана)
/CSS-селекторы

Селекторы для навигации по узлам

Как и XPath, CSS-селекторы поддерживают выбор элементов по их иерархии, положению в древе узлов. Существуют отдельные фильтры, позволяющие задавать условия выборов только для элементов с тем же тегом.
На иллюстрациях будут визуализированы результаты применения тех или иных CSS-селекторов. Красным цветом будет отмечена точка отсчета, зеленым — все выбранные элементы. Рядом с фигурой, обозначающей элемент, будет указано, каким тегом она является.
/03

Обращение к элементам с использованием возможностей браузера и сторонних плагинов

Теперь мы уверенно ориентируемся в синтаксисе XPath и CSS-селекторов, но у вас, скорее всего, возникает резонный вопрос: неужели нужно прописывать запросы вручную? Нет, можно получить почти готовые XPath или CSS-селекторы, используя встроенные возможности браузера или дополнительные программы.

С помощью браузера

Этап 1:
Откройте нужную вам страницу. Визуально рассмотрите сайт, найдите нужные вам элементы
Наведите курсор мыши на нужный вам элемент и нажмите правую кнопку
В открывшемся меню выберите пункт Исходный код. Откроется дополнительное меню, в котором будет код страницы
Обратите внимание, что цветом будет выделен код нужного вам элемента
Этап 2:
Достаточно ли нам узнать код элемента? Не совсем, ведь структура html иерархична. На практике это означает, что для нахождения конкретного элемента нужно указать путь до него, то есть описать, каким тегам принадлежит интересующая нас информация.
При нажатии правой кнопкой мыши на код элемента появляется меню с нужной нам вкладкой копировать
При нажатии раскроется дополнительное меню с опциями, но нас интересует два окошка: копировать XPath и копировать селектор
Мы успешно скопировали адрес элемента и в дальнейшем сможем использовать его для парсинга
Данный процесс проиллюстрирован выше на примере веб-страницы информационных бюллетеней МИД России. Для демонстрации был скопирован путь до бюллетеней от 24−30 октября 2022 года, полученный XPath в следующем виде:
/html/body/div[1]/div[2]/div[2]/div/div[1]/div[2]/div[1]/ul/li[1]/a
Очень похоже на пример с Васей, не правда ли? Таким же образом возможно использовать CSS-селектор:
body > div.container.container-ru > div.main.inner > div. page > div > div. page-content.page-content9 > div. page-body > div. news-articles > ul > li: nth-child (1) > a
И XPath, и CSS-селектор представляют собой абсолютный путь, то есть указывают на конкретный элемент. Чтобы выбрать все подобные элементы, следует генерализировать запросы.

С помощью плагинов

Получать XPath и CSS-селекторы можно с помощью различных утилит и плагинов. SelectorGadget, доступный как расширение для ряда браузеров, относится к таким программам. При клике на элемент появляется минимальный селектор, позволяющий выбрать нужный узел.
Желтым будут выделены все элементы, которым подходит этот селектор. При повторных кликах можно исключить элемент из запроса (будет подсвечен красным) или включить его (будет выделен зелёным). Удерживаемая клавиша Shift в сочетании с кликом способствует выбору элементов внутри других узлов.
Интерфейс программного обеспечения SelectorGadget
/04

Парсинг: нединамические страницы

Наконец-то настал момент истины: извлечение данных с веб-страниц. Для этого будет использован язык программирования R, работать будем в IDE RStudio, поэтому необходимо установить язык и среду разработки на свой компьютер. Для работы рекомендуется создать проект и открыть новый скрипт.
Стартовое меню IDE Rstudio
/ Шаг 1

Загрузка библиотек

Ознакомимся с базовым синтаксисом. Нужно загрузить библиотеку rvest, которая позволит читать html-код и с помощью селекторов отбирать данные. Если вы первый раз открыли RStudio, необходимо установить библиотеки — это можно сделать в меню Packages, нажав кнопку Install и набрав название нужной библиотеки в открывшемся диалоговом окне, или же с помощью команды install_packages (название_библиотеки). Далее при каждом открытии RStudio или создании нового проекта необходимо загрузить библиотеку в сессию, что реализуется командой library (название_библиотеки).
/ Шаг 2

Создание переменной и получение исходного кода

Операция присвоения является базовой — она позволяет создавать переменные с указанными значениями. Переменная способна сохранять результаты операций, без чего написание программ в принципе невозможно. Присвоение в R выполняется с помощью символа <– (сочетание клавиш Alt и –). Мы используем присвоение для сохранения ссылки на сайт Министерства иностранных дел России.
Следующий шаг — получение исходного кода страницы. Обычно для этого используют команду read_html (), но многие современные сайты, использующие защиту от роботов, не возвращают в ответе нужную информацию. Вместо этого лучше использовать функционал библиотеки polite и функцию bow. Данный метод позволяет отправить идентификатор пользователя (User-agent), что существенно снижает количество заблокированных запросов со стороны веб-ресурсов.
Для чтения результатов запроса применим функцию из той же библиотеки scrape (), которая наконец-то выдаст желаемый html-код, и мы сможем перейти к структурированию данных.
Создание переменной, использование запроса, чтение исходного кода
/ Шаг 3

Извлечение заголовков, ссылок и дат новостей

Мы не зря изучали XPath и CSS-селекторы, ведь именно на данном этапе, используя любой из освоенных методов выбора узлов, мы с помощью функции html_elements () сможем их извлечь из общего массива кода.
Обратите внимание на аргументы функции: сначала следует указать исходный код страницы, а затем селектор или XPath. В нашем случае используется комбинация имени тега и его класс, то есть a.announce_link. Функция выберет нужные нам элементы, и останутся только теги, в которых содержатся ссылки и названия пресс-релизов Госдепартамента США.
Остался финальный этап — извлечение текста и ссылок. Для этого воспользуемся функциями html_text () для сохранения текста тега и html_attr (), отбирающего значение указанного атрибута. Аналогичную процедуру выполняем с датами, только меняем класс в html_elements () на .announce_date. Ссылки из дат извлекать не нужно, их нет там вовсе. В результате получаем все новостные заголовки с датами и ссылками.
Извлечение заголовков, ссылок и дат новостей
/ Шаг 4

Создание таблицы и сохранение данных в файл

Тем не менее, работать с таким массивом данных не очень удобно, поэтому объединим их в таблицу, что можно сделать с помощью data. frame (). Это встроенная функция, не требующая загрузки дополнительных библиотек. Помещаем массивы в качестве аргументов и задаем им новые имена.
Таблицу нужно сохранить на компьютер для возможности обработки в сторонних программах и сохранения результата трудов. Воспользуемся функциями write_csv () и write_xlsx () — они позволят сохранить данные в форматах .csv и .xlsx соответственно.
/ Шаг 5

Использование цикла в процедуре парсинга

Остался последний нерешенный вопрос нашего алгоритма — как извлечь сразу несколько новостных страниц? На многих сайтах существует лимит на количество отображаемых элементов, а последующие элементы распределены по новостной галерее — многостраничной конструкции с переключателем между страницами. Откройте сайт, с которым мы работаем, и нажмите внизу на интерактивную кнопку Вперед. Обратите внимание, как изменилась ссылка, она приобрела вид:
https://www.mid.ru/ru/foreign_policy/news/?PAGEN_1=2
Если нажать повторно, последняя цифра изменится на «3» и так далее. Основание ссылки остается неизменным, меняется лишь идентификатор новостной страницы. Мы можем воспользоваться этим в наших скрейперских целях: напишем код, который циклично выполняет одинаковую процедуру парсинга, но при каждом выполнении меняет последний элемент ссылки.
В этом нам поможет универсальная для всех языков программирования конструкция — цикл. Цикл служит для многократного выполнения инструкций, а особый подвид — цикл for — позволяет вносить изменения в инструкции с помощью итерируемой переменной.
Попробуем проиллюстрировать данную концепцию на всем знакомом Васе, которому нужно переложить в холодильник молоко, сок и газировку. Вася будет выполнять одно и тоже действие — брать напиток, открывать холодильник, ставить туда упаковки — и так три раза. В этом наборе инструкций отличаться будут только напитки, поэтому цикл будет выглядеть примерно так:
#transportation program
library(fridge)
for i in c(«молоко», «сок», «газировка») {
​возьми i
​открой холодильник
​положи i в холодильник
​закрой холодильник
}
В примере был использован синтаксис языка R для цикла for, мы наглядно видим инструкции для Васи, но он не берет конкретный напиток, а берет загадочное i. Но посмотрите на счетчик цикла — вот там и находится наше i, которое принимает значение элементов вектора, от молока и до газировки.
Аналогично мы поступим и в процедуре парсинга сайта МИДа, только итерации будут менять конечное число ссылки https://www.mid.ru/ru/foreign_policy/news/?PAGEN_1=. Счетчик цикла зададим от 1 и до 10 — таким образом сможем извлечь данные сразу десяти страниц.
Далее нужно создать новую переменную с модифицированной ссылкой — для этого воспользуемся функцией paste (), позволяющей объединять текстовые значения. Обратите внимание на аргумент sep — это разделитель объединяемых значений, его мы оставляем пустым. Если задать в качестве сепаратора пробел, то запрос не получится и в консоли появится ошибка — ссылки https://www.mid.ru/ru/foreign_policy/news/?PAGEN_1= 2 просто не существует, поэтому страница не откроется.

Использование цикла в процедуре парсинга

Остальные процедуры, кроме создания таблицы, оставляем без изменений. Дело в том, что если сохранять данные, как на примере создания таблицы из векторов выше, то каждый раз в ходе итерации будет создаваться таблица, а значение переменной будет обновляться. Нам же нужно объединить собранные данные со всех страниц. Для этого до цикла создадим пустую таблицу — это легко выполняется функцией data. frame (). Затем в цикле объединим наши данные и приобщим их к пустой таблице с помощью функции rbind (), которая присоединяет таблицы друг к другу по рядам — одну над другой. Далее мы сохраним результаты работы с помощью уже изученных функций записи в файл.

Объединение данных в одну таблицу

/05

Парсинг: динамические страницы

Динамический контент представляет особую сложность для извлечения. Фактически такие страницы не обладают статичным html-кодом: используя java-script или другие языки, они способны менять контент в процессе загрузки страницы, поэтому описанный в предыдущей части метод не будет работать.
Конечно, библиотека rvest обладает функцией session (не путать с session в библиотеке polite), но ее возможности сильно ограничены. Поэтому для извлечения данных динамических страниц чаще всего используют особый инструмент Selenium.
Selenium — это инструмент автоматизаций действий в браузере. С помощью языка программирования можно отправлять драйверу команды, которые должен совершить браузер. Например, нажать на ссылку, перейти на другую страницу, дождаться загрузки и т. д. Именно Selenium позволяет обрабатывать динамический контент веб-страниц.
/ Шаг 1

Установка Java Development Kit

Для работы с данным инструментом через R потребуется дополнительное программное обеспечение — Java Development Kit. После установки проверьте наличие в системных переменных JAVA_HOME. Для этого проделайте следующие шаги:
Откройте меню с системными переменными: напишите в поиске «изменение системных переменных среды»
В открывшемся окне выберите переменные среды
В окне системные переменные должна быть переменная JAVA_HOME со значением похожим на это: C:\Program Files\Java\jdk-21(последнее число зависит от версии JDK).
При отсутствии подобного значения создаем переменную с помощью кнопки Создать, куда прописываем название и путь.
Продолжим настройку нашего инструмента. Selenium для функционирования требует использование вебдрайвера — при установке библиотеки они устанавливаются автоматически, однако не самые последние версии. Поэтому дальнейшая настройка вариативна: можно загрузить более новую версию драйвера или же использовать старую.
Начнем с загрузки новой версии драйвера. Для этого необходимо перейти на сайт Google Chrome в раздел разработчиков, скачать нужную версию драйвера и распаковать ее в папку:
C:\Users\Имя_пользователя\AppData\Local\binman\binman_chromedriver\win32
Данные папки являются системными, поэтому для возможности редактирования следует включить отображение скрытых папок: в проводнике нажмите кнопку Вид и поставьте галочку возле пункта Скрытые элементы. В распакованной папке удалите файл с названием LICENSE.chromedriver. Теперь мы готовы к парсингу. Если вы не хотите использовать новую версию драйвера, все равно нужно открыть папку с драйверами и удалить файл LICENSE.chromedriver.
/ Шаг 2

Создание сессии браузера

Скрейпинг с помощью Selemium начинается с создания сессии браузера. Для этого укажем, какой браузер хотим использовать, и выберем соответствующую нашим настройкам версию вебдрайвера. В результате в переменной driver сохраняются наши настройки, и можно запускать браузер командой driver[["client"]]. Не забудьте сохранить данную функцию в переменную, так как это позволит менять параметры сессии и ставить Selenium различные задачи.
Выполним первую такую задачу, перейдем в браузере по ссылке. Для этого выберем метод сессии navigate () и укажем ссылку на сайт Госдепартамента США. В открывшемся окне браузера появится желанный сайт (смотрите пример ниже).
В рамках сессии можно не только переходить по ссылкам, но и выполнять другие действия. Вот список основных возможностей:
  • session$goBack () — возвращаемся на предыдущую открытую страницу
  • session$goForward () — переходим на следующую открытую страницу
  • session$getCurrentUrl () — получаем ссылку на текущую открытую страницу
  • session$getPageSource () — возвращает исходный код страницы
  • session$findElement (using = "id", value = "value") — поиск элементов.

    Возможен поиск элементов:
    • по текстовым совпадениям — полным и частичным: using = "link text" или using = "partial link text".
    • по XPath: using = "xpath".
    • по CSS-селектору: using = "css selector".
    • по классу или id: using = "id" или using = "class".
Создание сессии браузера, переход по ссылке
К полученным последним методом элементам можно применять различные действия: наводить курсор, кликать и т. д. Для этого элемент нужно сохранить в переменную и применить к нему нужную функцию. Так как мы нашли сразу много элементов, а кликнуть на все сразу не получится, нужно выбрать порядковый номер ссылки для нажатия. Сделать это можно с помощью двойных квадратных скобок с порядковым номером элемента elems[[1]].clickElement ().
Выбор элемента, применение к нему метода clickElement ()
Важным методом является elem$sendKeysToElement (list («как-то текст», «\uE007»)) — он позволяет отправить текст в диалоговое окно и эмулировать нажатие клавиши Enter. \uE007 — символ Enter (можно заменить содержание параметра на «enter»). Отметим также возможность перемещать курсор к элементу: elem$mouseMoveToLocation (). Дело в том, что нельзя кликнуть на элемент, если он не поместился в окне браузера, поэтому предварительно нужно навести на него мышь.
После получения исходного кода страницы мы можем вернуться к использованию потенциала библиотеки rvest — найти нужные нам элементы, сохранить их в переменные и создать таблицу.
Веб-скрепинг — важный инструмент для сбора данных из открытых источников. Он может быть как простым, так и сложным процессом: от парсинга статических страниц до обработки динамического контента. Эти навыки открывают перед вами огромные возможности: от мониторинга и анализа новостей до создания собственных баз данных для исследований и проектов.
Практикум
Выполните задания для закрепления материала
Хотите больше узнать по теме? Ознакомьтесь с данной литературой
Издательство «Координационная лаборатория», г. Санкт-Петербург
ISBN 978-5-6054566-0-5