R4marketing | канал Алексея Селезнёва | Язык R
Автор канала Алексей Селезнёв, украинский аналитик, автор ряда курсов по языку R и пакетов расширяющих его возможности. В канале публикуются статьи, доклады, новости, заметки по языку R. Для связи: @AlexeySeleznev Реклама: http://bit.ly/39MwJCY
言語
Russian
カテゴリー
Technologies
Уже 6 день в моей стране идут военные действия. \nЯ русский по национальности и украинец по гражданству. У меня много родственников и друзей в России. Я родился на Дальнем Востоке в семье офицера радио разведки, моего отца нет уже 10 лет, но он даже в самых страшных кошмарах не мог бы представить того, что случилось 24 февраля. Я до последнего не верил, что Россия может напасть на Украину. \nПодавляющая часть аудитории канала из России. Я уверен, что у меня в канале грамотные и здравомыслящие люди и в целом в России много хороших людей, которые не поддерживают эту войну, и понимают, что это не спец операция, а самая настоящая война. Поражают не только объекты военной инфраструктуры, но и жилые дома, страдает гражданское население, люди сутками находятся в бомбоубежищах. \nЕсли вы не поддерживаете эту войну, то помогите нам её остановить, высказывайте свою позицию в соц сетях, кто не боится - выходите на митинги.\nНа сегодня у меня была запланирована публикация нового видео урока, но сейчас он не имеет никакого значения, поэтому я просто оставлю тут код, с помощью которого вы в R можете на графике изобразить флаг Украины.\n <br/>plot.new()<br/>polygon(x = c(0, 1, 1, 0), y = c(0, 0, 0.5, 0.5), col = "#FFDD00")<br/>polygon(x = c(0, 1, 1, 0), y = c(0.5, 0.5, 1, 1), col = "#0057B7")
Скриптовый язык R позволяет эффективно решить любую задачу из области статистики и data science как с точки зрения расчетов, так и с точки зрения визуализации.\nПомимо специализированных расчетов с помощью R существуют BI системы, которые позволяют с помощью удобного функционала разложить данные компании по полочкам 📈, а также быстро масштабировать создание и доставку отчетности до конечных пользователей за минимальное время ⏳.\nОдной из такой BI систем является Qlik Sense (QS). Про этот инструмент можно найти много полезной информации (книги, статьи, бесплатные курсы) на канале @qlik_insight.\nНесколько основных фактов про клик:\n💡 Основная фича Qlik - ассоциативный механизм связывания данных. Она значительно облегчает восприятие контекста (как связаны между собой сущности аналитической модели на основе данных), а следовательно способствует формированию правильных выводов, полученных на основе данных.\n💡 В QS есть встроенный ETL - поэтому эту BI можно начать использовать еще до проектирования хранилища данных (или использовать его вместо хранилища).\n💡 Данные, рассчитанные в модели можно сохранить в QVD и переиспользовать в других моделях или других инструментах. Делается это 1 командой.\n💡 Загрузка данных из qvd - десятки млн строк за секунды.\n💡 Отсутствует краткое увеличение расходов 💸 на лицензирование BI в случае масштабирования решения Qlik с небольшого сервера до кластера из нескольких мощных нод.\n💡 Можно настроить версионирование скриптов загрузки и преобразования данных через git.\n💡 Внутренний AI предлагает выбрать сразу же после загрузки данных подходящие визуализации и опубликовать их на дашборд. No-code BI в действии)\nАвтор канала Шамаев Иван делится самыми интересными и актуальными материалами по Qlik Sense - https://t.me/qlik_insight
Курс "Язык R для интернет маркетинга" теперь в открытом доступе\nДрузья, одной из целей, которые я преследовал запуская этот канал было продвижение моего курса "Язык для интернет маркетинга". \nКурс был записан в 2018 году, и с тех пор продавался на платформе NeedForData. С момента старта продаж курс неоднократно дорабатывался и расширялся, тем не менее частично он утратил актуальность. Но он по прежнему будет полезен веб аналитикам и интернет маркетологам для автоматизации своих рутинных, ежедневных задач с помощью языка R.\nЗа идею записи курса отдельная благодарность Максу Уварову (@Maxim_Uvarov)!\nКурс не требует от вас наличия навыков программирования, и рассчитан на новичков.\nИз программы курса я ничего не убирал, опубликовал на канале как есть.\n————————————————————\nМодуль 1. Основы и введение в синтаксис\n1. История, возможности, преимущества и недостатки языка R.\n2. Загрузка и установка языка R и среды разработки RStudio.\n3. Области применения R скриптов в Power BI.\n4. Применение пользовательских параметров Power BI в R скриптах\n5. Знакомство со средой разработки RStudio.\n6. Основные данных в R\n7. Работа со строками\n8. Чтение csv, json, excel файлов\n9. Агрегирующие функции, пакеты data,table и tidyr\n10. Манипуляция данными в R с помощью SQL запросов, пакет sqldf\n11. Работа с датой и временем в базовом R и с помощью lubridate\n12. Работа с периодами с помощью пакета timeperiodsR\n13. Условные конструкции, циклы и функции в языке R\n14. Обработка ошибок\n15. Рекомендации по оформлению кода\nМодуль 2. Работа с API рекламных систем\n1. Что такое API\n2. Насколько безопасно использовать пакеты для работы с API\n3. Google AdWords API\n4. Яндекс Директ API\n5. Facebook Marketing API\n6. API Вконтакте\n7. MyTarget API\n8. Google Analytics API (пакет RGA)\n9. Google Analytics API (пакет googleAnalyticsR)\n10. API Яндекс Метрики\n11. Google Search Console API\n12. Google Trends API\n13. YouTube API\n14. Парсинг сайтов (веб скрепинг)\n15. Отправка HTTP запросов\nМодуль 3. Работа с собранными данными\n1. Google Spreadsheets API\n2. Визуализация с помощью ggplot2\n3. Работа с базами данных\n4. Рассылка почты с помощью mailR\n5. Настройка расписания запуска R скриптов\n6. Разработка telegram ботов\n————————————————————\nСсылки:\n● Плейлист со всеми видео уроками\n● Конспект + видео уроки + материалы (требуется регистрация, бесплатная)\n● Репозиторий с материалами\n#курсы_по_R
Список разработанных мной курсов и учебников по языку R\nВ этом сообщение я собрал все разработанные мной учебные материалы, т.е. не отдельный видео уроки или статьи, а курсы и учебники включающие как теоретический материал так и задания и тесты.\nК каждому из материалов прилагаю уровень сложности и краткое описание. Проходить курсы рекомендую в том же порядке, в котором я их перечислил.\nЧто означают указанные уровни сложности:\nНизкий - можно проходить не имея никакого опыта программирования и работы с языком R\nСредний - необходимо иметь базовой понимание синтаксиса языка R\nВысокий - требует от вас уверенного владение языком R\n1. Курс "Язык R для пользователей Excel"\nУровень сложности: низкий\nОписание:\nКурс предназначен для новичков, и даёт понимание о том, как с помощью языка R выполнять манипуляцию данными, от чтение данных из различных файлов, до их сложных преобразований и визуализации.\n2. Курс "Введение в dplyr 1.0.0"\nУровень сложности: средний\nОписание:\nЯвляется логическим продолжением предыдущего курса, Курс родился из серии публикаций Хедли Викхема, предшествовавших релизу dplyr 1.0.0. \nДанный курс поможет вам разобраться с этими обновлениями.\n3. Курс "Циклы и функционалы в языке R"\nУровень сложности: средний\nОписание:\nДанный курс также является логическим продолжением описанных выше, и познакомит вас с итерациоными конструкциями и многопоточностью языка R.\n4. Учебник "Разработка telegram ботов на языке R"\nУровень сложности: высокий\nОписание:\nУчебник поможет вам разобраться с ботостроением на языке R. Я крайней не рекомендую начинать изучение языка с этого учебника, т.к. он очень узконаправлен и требует хорошего владения языком R для прохождения.\n#курсы_по_R
Учебник "Пространственная статистика и моделирование на языке R".\nАвтор: Самсонов Т.Е.\nДобро пожаловать на учебный курс “Пространственная статистика и моделирование на языке R”! Данный курс предназначен для уверенных пользователей R, которые имеют опыт работы с пространственными данными и хотели бы развить свои навыки в области пространственного анализа и моделирования.\nСодержание:\n● Пространственная статистика\n ● Пространственная регрессия\n ● Географически взвешенная регрессия\n ● Геостатистика\n ● Точечные паттерны\n● Пространственное моделирование\n ● Экологические модели\n#учебники_по_R
Бесплатный курс "Циклы и функционалы в языке R"\nДрузья, рад представить вам свой новый курс "Циклы и функционалы в R". Курс и все сопутствующие материалы к нему распространяются бесплатно, и являются общедоступными.\nПрограмма курса:\n● Циклы for, while и repeat\n● Обработка ошибок: конструкции try() и tryCatch()\n● Функции семейства apply\n● Итерирование с помощью функций пакета purrr\n● Обработка ошибок: функции safely(), possibly(), quietly()\n● Введение в многопоточность, пакеты: foreach, doFuture, pbapply, furrr\n● Реализация многопоточности с помощью пакета future\n—————————\nВ военное, и любое другое кризисное время наиболее правильной инвестицией времени является обучение. Поэтому надеюсь, что этот курс многим в текущей ситуации будет полезен.\nПланирую в апреле постепенно возвращаться к регулярным публикациям в канале, не смотря на то, что война продолжается, необходимо работать, обучаться и продолжать жить. \n—————————\n#курсы_по_R
Зачем учить R в 2023 году?\nАвтор: Дмитрий Володин (@volodin_dd)\nТекст будет выражать личный опыт и мнение, я не буду проводить аналитическую работу по сравнению средних зарплат и количества вакансий на разных языках. Скорее поделюсь своими мыслями. И постараюсь оставаться не предвзятым по максимуму.\nСодержание:\n1. R как первый язык\n2. R как второй язык\n3. Рынок труда\n#статьи_по_R
Обновление пакетов rfacebookstat, rgoogleads, timeperiodsR\nНемного доработал некоторые из своих пакетов.\n—————————————————————\nrfacebookstat - пакет для работы с Facebook Marketing API\n- Пакет переведён на работу с Facebook Marketing API v16.0\nrgoogleads - пакет для работы с Google Ads API\n- Исправлена ошибка в функции gads_get_geo_targets(), которая позволяет запросить справочник регионов.\ntimeperiodsR - пакет для упрощенного определения временных интервалов в R\n- Исправлена ошибка в функции`last_n_quarters()`\n- Внесён ряд небольших правок для соответвия пакета политике CRAN\n#новости_и_рулизы_R
Видео урок: Как хранить и работать с секретными данными на языке R\nНовички зачастую хранят все секретные данные, такие как пароли и api токены, непосредственно в коде, но это считается плохой практикой. \nОпубликовал видео в котором рассказал почему не стоит хранить пароли в самом коде. и как правильно и безопасно хранить секретные данные.\nТайм коды:\n00:00 Вступление\n00:39 Что такое секретные данные\n01:06 Как не надо хранить секретные данные\n03:18 Способы хранения и работы с секретными данными\n03:54 Работа с хранилищем учётных данных операционной системы с помощью пакета keyring\n06:40 Работа с файлами конфигурации с помощью пакета configr: yaml, ini, json\n14:24 Работа с переменными среды\n18:35 Заключение \nДлительность: 19:10\nСсылки:\n- Материалы к уроку\n- Видео\n#видео_уроки_по_R
10 бесплатных курсов по языку программирования R\nАвтор: Алексей Шаполов\nНебольшая подборка полезных и при этом бесплатных онлайн курсов по языку R.\n#статьи_по_R
Язык R: прокачайте свои навыки до следующего уровня\nАвтор: Андрей Шагин\nВ статье приводятся 7 рекомендаций по оптимизации кода в плане использования и времени выполнения ваших скриптов, говоря простыми словами, рекомендации по повышени. эффективности вашего кода.\nСодержание:\n● Рекомендация 1. Выполняйте профилирование кода\n● Рекомендация 2. Векторизируйте код\n● Рекомендация 3. Матрицы вместо фреймов данных\n● Рекомендация 4. is.na() и anyNA\n● Рекомендация 5. if() … else() вместо ifelse()\n● Рекомендация 6. Параллельные вычисления\n● Рекомендация 7. Интерфейс сопряжения R с другими языками\n● Заключение\n#статьи_по_R
Создание API в R при помощи Plumber\nЯ считаю лучшим способом для интеграции приложений R в любую систему ПО, — это Plumber. Статья посвящена именно ему. К ее завершению вы создадите в R свой первый API при помощи Plumber.\nСодержание:\n1. Пара слов об использовании R в продакшене\n2. Что такое API?\n3. Как работает Plumber?\n4. Начнем с простого скрипта\n5. Превращение скрипта в API\n6. Проверим\n7. Развертывание\n8. Заключение\n#статьи_по_R
🤖 Краш-тест возможностей chatGPT-4 для создания визуализации данных в R с помощью ggplot2\nGPT-4 можно использовать для улучшения визуализации данных в R (ggplot2), что делает его отличным инструментом как для начинающих, так и для продвинутых пользователей R. Мне понравилось, как автор видео общается с chatGPT-4. Хотя код на R иногда содержит ошибки и не работает, весь процесс выглядит очень захватывающим. От создания базовых графиков (смотрите с какой легкостью chatGPT пишет код для пайчарта 🙊 на зависть новичкам) до продвинутых техник использования ChatGPT для поиска данных, анализа и визуализации данных.\n▶️ Видео Using GPT-4 for Data Viz (R/ggplot).\nМораль: Как мне кажется, с появлением AI люди НЕ потеряют способность к абстрактному мышлению, анализу, или креативность. Использование chatGPT только повысит производительность труда и качество работы человека. \n#R #ggplot2 #chatGPT4 #визуализация_данных #dataviz #полезное
Пакет для поиска пакетов на CRAN\nПакет packagefinder предназначен для поиска пакетов на CRAN. Поиск осуществляется по имени, заголовку и описанию пакета.\nАргумент display позволяет отображать результаты поиска пакета в консоли "console", или области просмотра в HTML формате "browser".\nПример поиска пакетов:\nНапример, для поиска пакетов по мета регрессии можно использовать следующую команду.\nfindPackage(c("meta", "regression"), "and", display = \'console\')\nПоиск пакетов по пользовательскому набору полей:\nФункция exploreFields() позволяет искать пакету по указанному запросу указав пользовательский набор полей (свойств) пакета, по умолчанию осуществляется поиск по полям, аналогичным функции findPackage(), т.е. c("Name", "Description", "LongDescription").\nНапример, найти пакеты, в разработке которых каким то образом участвовал Хедли можно следующим образом:\nexploreFields("Hadley", c("Maintainer", "Authors@R", "Author"), "or", "like")\nПросмотр детальной информации о пакете:\nДля просмотра более детальной информации о каком либо пакете используйте функцию packageDetails().\npackageDetails("ggplot2")\nПросмотр новых пакетов на CRAN:\nТак же вы можете получить список новых пакетов, добавленных в CRAN за указанное количество предыдущих дней.\nwhatsNew(last.days = 3)\nТак же пакет packagefinder предоставляет аддон для RStudio.\nСмотрите так же:\n- Как понять к какому пакету относится функция\nСсылки:\n- Шпаргалка по пакету packagefinder\n- README\n#заметки_по_R
Плейлист с видео уроками "Изучение R с нуля"\nСодержание:\n1. R c нуля, установка языка програмирования R и среды RStudio.\n2. RStudio первое знакомство со средой.\n3. R сохранение файла R, работа с отчетами и MarckDown\n4. Основные вычисления в R и логика програмирования\n5. Числовые вектора в R, основные операции с ними\n6. Типы данных в R\n7. Структуры данных R\n8. Проверка условий в R\n9. Условные конструкции в R\n10. Циклы в R\n11. Практика Циклы R\n12. Практика, функции в R\n13. Чтение и запись файлов в R\n14. Обновление R через RStudio\n15. Работа с библиотекой tidyverse\n16. Titanic, Kaggle Группировка и аргегирование данных на R\n17. Визуализация данных R, первые шаги\n18. GGplot2 в R, основы графики\n19. Построение Dashboard в R c использованием библиотеки Shiny. Первое знакомство.\n20. Построение Dashboard в R c использованием библиотеки Shiny Первое знакомство ЧАСТЬ 2\n21. Dashboard в R Hабота с таблицами в Shiny\n22. Постороение простого dashboard на R\n#видео_уроки_по_R
rgoogleads 0.9.1\nПакет rgoogleads, предназначенный для работы с Google Ads API, переведён на работу с Google Ads API v13. \nСегодня, 31 марта прекращается поддержка Google Ads API v11, с которой пакет работал ранее. Поэтому всем пользователям пакета необходимо сегодня установить новую версию с CRAN или GitHub.\nУстановка:\n# CRAN<br/>install.packages(\'rgoogleads\')<br/><br/># GitHub<br/>devtools::install_github(\'selesnow/rgoogleads\')<br/><br/>\nЧто нового:\n● Из результата возвращаемого функцией gads_get_ad_group_criterions() было удалено поле d_group_criterion.listing_group.case_value.product_bidding_category.country_code;\n● В результате возвращаемом функцией gads_get_campaigns() поле campaign.maximize_conversions.target_cpa было переименовано в campaign.maximize_conversions.target_cpa_micros.\nОстальные изменения в API имеют обратную совместимость.\nПолезные ссылки:\n- Видео уроки по работе с пакетом rgoogleads\n- Описание изменений в Google Ads API v13\n#новости_и_релизы_R
Какие изменения нас ждут в R 4.2.0\nНиже перечислю основные изменения в предстоящем релизе:\n● В R 4.2.0 был улучшен нативный пайп |>, теперь с помощью нижнего подчёркивания вы можете прокидывать результат предыдущей операции, не только в первый аргумент следующей функции, но и в любой другой именованный аргумент. \n <br/># This works in R 4.2<br/>mtcars |><br/> lm(mpg ~ disp, data = _)\n● Была улучшена страница справки, например примеры в блоке Examples теперь можно запустить кликом по ссылке "Run examples"\n● Операторы while() и if() теперь возвращают ошибку, если заданное условие имеет длинну более 1:\n <br/>if (1:2 == 1) do_something()<br/># Error in if (1:2 == 1) do_something() : the condition has length > 1\n● В Windows прекращена поддержка 32 битной версии R\n● На Windows пользовательская библиотека пакетов перемещена с R\\win-library\\x.y (где x.y номер версии R) в скрытую директорию данных приложений C:\\Users\\username\\AppData\\Local.\nСсылки:\n- Информация данного поста заимствована из статьи "New features in R 4.2.0"\n- Скачать R 4.2.0 alpha для Windows можно по ссылке\n#новости_и_релизы_R
Видеозапись и материалы к митапу "Создание презентаций в Quarto на основе Revealjs"\nАвтор: Евгений Матеров\nСсылки на предыдущие митапы:\n1. Обзор Quatro и начало работы\n2. Основы создания веб-страниц, блогов и интерактивных книг в Quarto\n#видео_уроки_по_R
Продвинутый unnest и его неизвестные аргументы\nПри парсинге сложных списков, полученных в виде ответа от различных API я зачастую использую функции tidyr::unnest_longer() и unnest_wider().\nВсе пакеты входящие в tidyverse имеют шикарную, наверное лучшую, документацию. Все функции имеют детальное описание, и огромное количество примеров кода их использования. Но в функциях разворачивания списков, таких как hoist(), unnest_longer() и unnest_wider(), есть несколько аргументов, которые имеют лишь краткое описание, но примеров их использования нет. Да и мои попытки нагуглить варианты их использования не увенчались успехом.\nНиже мы разберём аргументы ptype и transform доступные в unnest_*() функциях.\nОписание аргументов:\n● transform, .transform - Необязательный аргумент, принимает именованный список функций преобразования, применяемых к каждому компоненту. Используйте эту функцию, если вы хотите преобразовать или проанализировать отдельные элементы по мере их разворачивания.\n● ptype, .ptype - Необязательный аргумент, принимает именованный список прототипов, объявляющий желаемый тип вывода каждого компонента. Используйте этот аргумент, если вы хотите проверить, что каждый элемент имеет типы, которые вы ожидаете при разворачивании списка.\nПримеры использования:\nДля начала сгенерируем тестовый набор данных:\n <br/># тестовый список<br/>test_list <- list(<br/> list(name = \'John\', <br/> age = \'37\',<br/> children = list(\'Paul\', \'Ron\')),<br/> list(name = \'Tim\', <br/> age = \'25\',<br/> children = list(\'Liza\'))<br/>)\nПробуем развернуть этот список, не используя дополнительные аргументы:\n <br/># первая попытка развёртывания<br/>tibble(uncol = test_list) %>% <br/> unnest_wider(uncol)<br/><br/># A tibble: 2 x 3<br/> name age children <br/> <chr> <chr> <list> <br/>1 John 37 <list [2]><br/>2 Tim 25 <list [1]>\nКакие проблемы мы можем решить с помощью аргументов ptype и transform\nИтак, вроде мы развернули наш список, но появилось две проблемы, которые далее мы исправим.\n1. Возраст в поле age является текстом, требуется привести его к целочисленному типу.\n2. Поле children по прежнему является списком, а нам необходимо сделать так, что бы имена детей, были перечислены в одной ячейке через запятую.\nАргумент ptype\nptype позволяет вам добавить проверку типов данных, выходящего тиббла, например в следующем примере мы добавим проверку поля age.\n <br/># добавляем проверку типа данных в поле age<br/>tibble(uncol = test_list) %>% <br/> unnest_wider(<br/> uncol, <br/> ptype = list(age = 2)<br/>)<br/><br/>Error: Can\'t convert <character> to <double>.\nСообщение об ошибке малоинформативное, но суть не меняется, мы проверяем тип данных в указанных полях , и если какое то из полей не соответствует указанному прототипу - мы получим ошибку. \nПрототип - это просто образец данных нужного типа, если мы хотим убедиться, что какое то поле является целым числом, то необходимо в качестве прототипа передать любое целое число, я использовал 2, но вместо него можно передать любое другое целое число.\nАргумент transform\nАргумент transform позволит нам решить описанные ранее проблемы, а именно:\n1. Преобразовать поле age в целочисленный тип.\n2. Объединить элементы вложенного поля children через запятую, избавившись от вложенности.\n <br/># используем ptype и transform<br/>tibble(uncol = test_list) %>% <br/> unnest_wider(<br/> uncol, <br/> transform = list(<br/> children = function(x) paste(x, collapse = \', \'),<br/> age = as.integer),<br/> ptype = list(age = 2),<br/>) <br/><br/># A tibble: 2 x 3<br/> name age children <br/> <chr> <dbl> <chr> <br/>1 John 37 Paul, Ron<br/>2 Tim 25 Liza \nСсылки:\n- видео урок по работе с функциями разворачивания списков\n- перевод виньетки "Rectangling"\n#заметки_по_R
Основы создания веб-страниц, блогов и интерактивных книг в Quarto\nАвтор: Евгений Матеров\nВ ходе митапа мы рассмотрим:\n1. как создавать статьи, блоги и интерактивные книги в Quarto\n2. адаптацию документов к языковым соответствиям (локализацию документов)\n3. публикацию документов в сети Интернет\n4. структуру документов Quarto на основе заготовок\n5. оформление библиографии\n6. основы работы с Git при работе с Quarto-документами\n#видео_уроки_по_R
Регрессия и функции с неустранимыми разрывами первого рода\nАвтор: Артём Черёмухин\nВ заметке рассматривается функционал нового пакета BinSeqBstrap, который посвящен решению задачи определения неустранимых разрывов первого рода в задачах регрессии.\n#статьи_по_R
Бесплатный онлайн курс от ЕУ Спб "Введение в пространственный анализ и моделирование в R"\nПередаю слово организаторам, в лице Дмитрия Серебренникова.\n———————————————\nДрузья, после майских в рамках наших митапов мы решили организовать целый мини-курс по введению в пространственный анализ и моделированию в R!\nПо многочисленным просьбам мы также делаем его с онлайн трансляциями.\nИтак, расписание:\n📍 14 мая (оффлайн вместе с трансляцией)\n Дмитрий Серебренников (ИПП ЕУ СПб) сделает введение в тему пространственного анализа и расскажет о специфике используемых данных, а также базовых операциях с библиотекой sf.\nМатериалы: Видео + конспект\n 📍21 мая (оффлайн вместе с трансляцией)\nПреподаватель совместной программы ЕУ СПб и Яндекса ПАНДАН Карен Валитов более подробно остановится на разнообразных пространственных операциях, применяемых при подготовки данных для анализа.\nМатериалы: Видео + конспект\n📍28 мая (только онлайн)\nАспирант ЕУ СПб Павел Сивохин начнёт тему пространственного моделирования. Павел расскажет о таких моделях как spatial autocorrelation, spatial lag model, spatial error model и, если будет хватать времени, spatial random forest.\nМатериалы: Видео\n📍4 июня (только онлайн)\nПреподаватель Факультета городского и регионального развития ВШЭ Егор Котов продолжит тему пространственного моделирования с темами spatial lag/autoregressive model, spatial error model и расскажет про пакеты spdep, spatialreg, rgeoda.\nМатериалы: Видео\n...\nПервый митап уже в эту субботу! \nШпалерная 1 (здание ЕУСПб), 212 аудитория.\n14 мая в 18:00\nСсылку пришлём в чате не за долго до начала мероприятия.\nДо встречи!\n———————————————\nСсылки на онлайн трансляции будут публиковать в чате Горячая линия R, и по возможности я буду дублировать их в канал. \n#курсы_по_R
Обновления пакетов rgoogleads и rfacebookstat\nДрузья, подъехали небольшие обновления пакетов для работы с Google Ads API и Facebook Marketing API. Для пользователей данные обновления пройдут практически незаметно, тем не менее рекомендую пакеты обновить, т.к. они были переведены на актуальные версии API.\n● rgoogleads переведён на работу с Google Ads API v 10.1.0 (не самая последняя версия, но более актуальная, чем та которая была в предыдущей версии пакета)\n● rfacebookstat переведён на работу с Facebook Marketing API v14.0\nОбновление пакетов:\n <br/>install.packages(\'rgoogleads\')<br/>install.packages(\'rfacebookstat\')<br/><br/>\nПолезные ссылки:\n- Плейлист с уроками по работе с rgoogleads\n- Плейлист с уроками по работе с rfacebookstat\n#новости_и_релизы_R
Средняя зарплата специалистов работающих в области Data Science составляет 3000$-4000$. Тем не менее на рынке сейчас большая нехватка крутых специалистов! Присоединяйся к нам чтобы узнать все про Data Science!\nЗдесь вы найдете:\n— Переведенные статьи;\n— Полезные видео;\n— Интересные опросы;\n— Профессиональный юмор;\nПолезности канала:\n- Что такое data science? Руководство для начинающих\n- Как начать карьеру в data science без профильного образования\n- Кто есть кто в команде data science: путеводитель по профессии\n- 6 правил по обеспечению качества данных машинного обучения\nПрисоединяйтесь, давайте расти как профессионалы вместе 😉\nПодписаться 👉👉👉 @data_science_wiki
Видео урок "Релиз dplyr 1.1.0"\nВ конце января ожидается релиз dplyr 1.1.0, но все основные функции и доработки, которые войдут в этот релиз уже доступны в dev версии.\nВ связи с чем я записал видео обзор нововведений по мотивам статьи "dplyr 1.1.0 is coming soon".\nТайм коды:\n00:00 Вступление\n00:40 Список основных изменений dplyr 1.1.0\n01:31 Аргумент .by\n04:53 Неэквивалентные соединения (non-equal join)\n12:21 Ускоренный arrange()\n13:07 Функция reframe()\n15:43 Заключение\nДанный урок был включен в курс "Введение в dplyr 1.0.0".\n#видео_уроки_по_R
Ящик с усами или boxplot в R studio\nАвтор: Андрей Щербаченко (@andreysmka)\nЧто такое блокплощадка в программировании на R? Блок-график в R, также известный как блок-график и график усов, представляет собой графическое представление, которое позволяет суммировать основные характеристики данных (положение, дисперсия, асимметрия, …) и определить наличие выбросов. В этом уроке мы рассмотрим, как создать базовый прямоугольник R.\n#статьи_по_R
Превращаем временной ряд в светофор\nАвтор: Илья Шутов (@iMissile)\nМенеджеры в большинстве компаний хотят примерно одного и того же. Чтобы сложные вещи объяснялись простым языком, а все можно было свести к спидометрам, градусникам и светофорам.\nАллегория вполне понятная, пытаться объяснять что-либо — в 99% случаев процедура бессмысленная и энергозатратная. Поэтому ниже пример, как двумя экранами кода можно быстренько превратить временные ряды, которые почти всегда встречаются в больших количествах, в светофор.\n#статьи_по_R
Первый митап по Quarto: "Обзор Quarto и начало работы"\nАвтор: Евгений Матеров\nИз первого митапа ы узнаете, что такое Quarto, как установить и начать работу с Quarto. Кроме того, будет кратко рассмотрена структура документов Quarto, возможности для интернет-публикации и полезные материалы по Quarto.\n#видео_уроки_по_R
Новое повсюду или статистические тесты эквивалентности\nАвтор: Артём Черёмухин (@acheremuhin)\nКлассические статистические тесты – это, как правило, тесты, проверяющие гипотезу о равенстве (медианы определенному значению, средних в двух независимых группах, дисперсии во многих зависимых группах, коэффициента корреляции нулю и т.д.).\nОднако уже более как 30 лет существует альтернативный подход, разработанный в ходе исследований по психологии – тесты эквивалентности. Он основан на идее, например, что некоторое отличающееся от нуля значение корреляции все равно может считаться незначимым для конкретной решаемой задачи.\nВ R за реализацию тестов подобного типа отвечает пакет negligible. Рассмотрим поэтапно разные практические задачи, добавим к каждой щепотку теории и расчетов.\nСодержание:\n1. Тесты корреляции на основе эквивалентности (для нормально распределенных величин)\n2. Тест эквивалентности пропорций (тест 2 на 2)\n3. Тест на наличие влияния третьей переменной на корреляцию между двумя другими\n4. Тест эквивалентности дисперсий в независимых выборках\n5. Тест на незначимость разницы средних значений в зависимых группах\n6. Тест эквивалентности на незначимости влияния предиктора в модели регрессии\n7. Тест об эквивалентности двух коэффициентов корреляции в группах\n8. Тест на незначимость разницы средних значений в независимых группах\n#статьи_по_R
Построение bullet в R\nBullet chart (пулевая диаграмма, диаграмма-шкала или диаграмма-термометр) очень удобно использовать для отслеживания выполнения KPI. При чём оценка может быть относительно пессимистического, реального и оптимистического прогноза.\nКак построить bullet chart в R\nКак всегда для этой цели в R есть готовые пакеты, например bulletchartr.\nУстановить bulletchartr в данный момент можно только с GitHub командой devtools::install_github("ACDIVOCATech/bulletchartr").\nПример построения простой пулевой диаграммы\nlibrary(bulletchartr)<br/><br/># загрузка тестовых данных<br/>data(\'bc_ex\')<br/><br/># обычная пулевая диаграмма<br/>bullet_chart(dataframe = bc_ex)<br/><br/>\nФункция bullet_chart() имеет следующие аргументы:\n● file_name - путь к Excel файлу с данными\n● sheet_name - название листа в файле\n● dataframe - data.frame с данными\n● indicator_name - имя столбца, в котором есть имена вашего индикатора / KPI\n● info - дополнительная информация для индикаторов (валюта, процент, символ и т. д.)\n● current - текущее значение индикатора\n● low - имя столбца с пессимистическим планом\n● medium - имя столбца с реалистическим планом\n● high - имя столбца с оптимистическим планом\n● target - имя столбца с целью\n● remove_no_targets - удалить индикаторы без указанного "целевого" значения\n● legend - показать легенду\nПулевые диаграммы с учётом времени\nФункции bullet_chart_symbols(), bullet_chart_wide(), and bullet_chart_vline() имеют другой масштаб оси x, по сравнению с диаграммами построенными функцией bullet_chart.\nbullet_chart_wide(<br/> file_name = read_example("Indicators_Targets_ext.xlsx"),<br/> cal_type = "cal"<br/>)<br/><br/>\nВ данном случае ось X представляется как процент от годовой цели, так и процент прошедшего года. Есть вертикальная линия, показывающая TODAY, которая показывает, в каком процентном соотношении в году и в каком процентном отношении к цели мы находимся прямо сейчас. Если мы приближаемся к линии TODAY или за ней, то цвет внутри полосы зеленый, когда мы близки к достижению цели - цвет оранжевый, , и если мы сильно отстаем от графика / цели, цвет красный.\nОписанные в этом разделе функцию имеют несколько другой набор аргументов:\n● actual - имя столбца с актуальным значением достижения KPI\n● actual_lastweek - имя столбца, в котором хранится фактические значение достижения KPI за прошлую неделю\n● actual_lastyear - имя столбца, в котором хранится фактические значение достижения KPI за прошлый год\n● target - имя столбца с плановым показателем KPI\n● for_year - отчётный год\n● cal_type - какой календарь вы используете. Возможные варианты: «fis» для финансового года, начинающегося 1 октября, «cal» для календарного года, начинающегося 1 января, или введите собственную дату в формате «ГГГГ / ММ / ДД»\nИ несколько других, менее важных аргументов.\nСсылки:\n- Проект пакета на GitHub\n#заметки_по_R
Визуализируй это: визуализация данных в R\nАвтор: Балтыжакова Татьяна\nМатериалы с воркшопа. По сути это шикарная шпаргалка по работе с ggplot2, и построению всех основных типов графиков с его помощью, очень рекомендую закинуть в закладки.\nСодержание:\n● Основные понятия и философия пакета\n● Виды графиков\n ● Диаграмма рассеяния (scatter plot)\n ● Пузырьковая диаграмма (bubble plot)\n ● Столбчатая диаграмма (bar plot)\n ● Столбчатая диаграмма с накоплением\n ● Сгруппированная столбчатая диаграмма\n ● Lolipop chart\n ● Графики распределения\n ● Гистограмма (histogram)\n ● График плотности распределения (density plot)\n ● Ящик с усами и его вариации\n ● Линейный график (line graph)\n ● График области (area graph)\n ● Потоковый график\n ● Тепловая карта (heatmap)\n ● Матрица корреляции\n #статьи_по_R
Средняя зарплата Бизнес-Аналитика составляет 1500$-2500$. Тем не менее на рынке сейчас большая нехватка крутых специалистов! Присоединяйся к нам чтобы узнать все про бизнес-анализ!\nЗдесь вы найдете:\n— Переведенные статьи;\n— Полезные видео;\n— Интересные опросы;\n— Профессиональный юмор;\nПолезности с канала:\n— Шпаргалка по SQL\n— Инструменты для бизнес-анализа\n— Визуализация данных\nУспей залететь в бизнес-анализ, пока это не стало мейнстримом и стань крутым специалистом вместе с нами!😉\nПодписаться: @ba_wiki
Не бойся выбрать путь отличный от других!
Сегодня, 15 июля, в 21:00 МСК нас ждет эпичная битва за Царство ML/DS: R vs. Python💥\nВ повестке встречи:\n🔥 Стоит ли изучать R для DS/ML в 2021?\n🔥 Известен такой тезис: “Если ML и AI то Python, если статистика и анализ данных то R”. Попробуем разобраться поподробнее что лучше в каких задачах.\n🔥 Действительно ли вопрос стоит как R vs. Python? Или оптимальным вариантом является построение гетерогенной среды, в которой для решения одной задачи используется и Python, и R и даже Julia?\n🔥 Какие организационные и технические вызовы возникают в связи с предыдущим пунктом? Как достичь воспроизводимости результатов внутри команды DS и выстроить унифицированные MLOps процессы совместно с IT в условиях такой гетерогенной среды моделирования?\nУчатсники дискуссии:\n🥷Андрей Макеев, бизнес-архитектор по аналитике, Комус;\n🥷Максим Гончаров, руководитель направления прогнозной и оптимизационной аналитики, GlowByte Advanced Analytics;\n🥷🥷🥷А также все желающие \nЗапись обсуждения доступна по ссылке.\nПодключить к голосовому чату.
Туториал по языку R от ravesli\nR — это язык программирования с открытым исходным кодом, который широко используется как статистическое программное обеспечение и инструмент анализа данных. R обычно поставляется с интерфейсом командной строки и доступен на широко используемых платформах, таких как Windows, Linux и macOS.\nСодержание:\n1. Введение в язык программирования R\n2. Интересные факты о языке программирования R\n3. Язык R в сравнении с Python\n4. Окружения в R\n5. Как установить R-Studio в Windows и Linux?\n#статьи_по_R
Вебинар: Слои в ggplot2\nАвтор: Дмитрий Володин\nДлительность: 01:57\nОписание:\nВы узнаете: как строить графики в R с помощью библиотеки ggplot2 слой за слоем. Познакомитесь с разными типами визуализаций, фасетированием и многим другим.\n#видео_уроки_по_R
Манипуляция данными с помощью SQL запросов в R\nВ целом я не особо приветствую использования SQL, внутри / вместо R, т.к. функционал самого R гораздо богаче. Тем не менее знать о такой возможности стоит. \nРанее для манипуляции данными с помощью SQL запросов зачастую использовали пакет sqldf, который последний раз обновлялся ещё в далёком 2017 году. На смену устаревшему пакету пришел новый - tidyquery.\nДанный пакет содержит всего 2 функции:\n● query() - реализует манипуляцию данными с помощью SQL запросов\n● show_dplyr() - транслирует ваш SQL запрос в dplyr код\nПример манипуляции данными с помощью query():\nlibrary(tidyquery)<br/>library(nycflights13)<br/>library(dplyr)<br/><br/>query(<br/>" SELECT origin, dest,<br/> COUNT(flight) AS num_flts,<br/> round(SUM(seats)) AS num_seats,<br/> round(AVG(arr_delay)) AS avg_delay<br/> FROM flights f LEFT OUTER JOIN planes p<br/> ON f.tailnum = p.tailnum<br/> WHERE distance BETWEEN 200 AND 300<br/> AND air_time IS NOT NULL<br/> GROUP BY origin, dest<br/> HAVING num_flts > 3000<br/> ORDER BY num_seats DESC, avg_delay ASC<br/> LIMIT 2;"<br/>)<br/><br/>#> # A tibble: 2 × 5<br/>#> origin dest num_flts num_seats avg_delay<br/>#> <chr> <chr> <int> <dbl> <dbl><br/>#> 1 LGA DCA 4468 712643 6<br/>#> 2 EWR BOS 5247 611192 5<br/><br/>\nЕсли в запросе вы используете всего одну таблицу, то можно передать её в качестве первого аргумента функции query(), и в тексте запроса опустить блок FROM.\nairports %>%<br/> query("SELECT name, lat, lon ORDER BY lat DESC LIMIT 5")<br/><br/><br/>\nПример трансляции SQL запроса в dplyr код с помощью show_dplyr():\nshow_dplyr(<br/>" SELECT manufacturer, <br/> COUNT(*) AS num_planes<br/> FROM planes<br/> WHERE engine = \'Turbo-fan\'<br/> GROUP BY manufacturer<br/> ORDER BY num_planes DESC;"<br/>)<br/><br/>#> planes %>%<br/>#> filter(engine == "Turbo-fan") %>%<br/>#> group_by(manufacturer) %>%<br/>#> summarise(num_planes = dplyr::n()) %>%<br/>#> ungroup() %>%<br/>#> arrange(dplyr::desc(num_planes))<br/><br/>\nСсылки:\n- примеры кода взяты из README\n#заметки_по_R
Среда разработки R в Jupyter Notebooks внутри докер-контейнера для VS Code\nАвтор: Антон Бочаров (@bo44arov)\nМногие из вас знают, что для того, чтобы начать работать с R и Jupyter Notebooks, вам необходимо локально настроить множество вещей, таких как язык R, Anaconda, Git и т. д. Есть еще вариант использования облачных сервисов, таких как Google Colab, но он также имеет определенные ограничения.\nВ этом посте я хочу показать вам еще один способ настройки вашей локальной среды и использования VS Code Jupyter Notebooks.\n#статьи_по_R
Видео урок: Получаем и отправляем данные через httr2 в R\nАвтор: Дмитрий Володин (@volodin_dd)\nНа занятии вы узнаете:\nКак получать данные практически из любых источников в сети с помощью библиотеки httr2. А также отправлять данные и команды по сети.\nсобирать сложные HTTP запросы из простых блоков\nСмотрите так же:\n- Работа с API на языке R, введение в пакет httr2\n- Оборачиваем API с помощью httr2\n#видео_уроки_по_R
Обзор основного функционала пакета tibble\nСодержание:\n1. О tibble\n2. Создание tibble\n3. Создание матрицы\n4. Отображение tibble\n5. Обработка векторов\n6. Проверки\n7. Манипуляция данными\n8. Приведение типов\n9. Обработка имен строк\n10. Производительность\n11. Поддерживаемые типы данных\n#статьи_по_R
Еженедельные воркшопы по R в поддержку Украины\nОрганизатор: Daria Mykhalyshyna\nВы можете учиться и поддерживать Украину одновременно! Вы можете как зарегистрироваться на предстоящие семинары, так и сделать пожертвование, чтобы получить записи и все материалы предыдущих семинаров.\nЕсли вы хотите получать новости о наших будущих семинарах по электронной почте, пожалуйста, заполните эту форму.\nЕсли у вас возникнут трудности с регистрацией или у вас возникнут вопросы, вы можете написать Дарье по адресу dariia.mykhailyshyn2@unibo.it\nСсылка на воркшопы
Создание интерактивных карт с помощью leaflet\nАвтор: Артём Голубничий\nВидео урок и практическое занятие по работе с пакетом *leaflet*, который позволяет строить интерактивные карты в R.\nСсылки:\n- видео урок\n- практика\nСмотрите также:\n- запись воскресного скRинкаста по работе leaflet\n- 2 видео урока о построении карт на языке R\n#видео_уроки_по_R
Tidy stemming велосипед, который поехал\nКогда в NLP задачах речь доходит до стемминга, то никто особо не заморачивается - берет готовую реализацию, и она работает. Правда работает она только в тех случаях, когда текст является "классическим", то есть это человекочитаемый текст без огромного числа сокращений слов , и сами слова не являются транслитерацией с чужого языка.\nНо что делать когда в качестве текста приходит например массив названий продуктов из внешних баз данных большого числа поставщиков и надо как-то автоматизировать классификацию (разные по написанию продукты свести к одному эталонному)?\nЗдесь классический стемминг остается не у дел, а вот о его замене в этой статье и поговорим.\n#статьи_по_R
Статистическая мощь языка R в Greenplum с клиентом GreenplumR\nСегодня рассмотрим, как использовать статистический язык R для анализа данных в Greenplum.\nGreenplum – open-source продукт, массивно-параллельная реляционная СУБД для хранилищ данных с гибкой горизонтальной масштабируемостью и столбцовым хранением данных на основе PostgreSQL.\nGreenplumR - R пакет для работы с Greenplum.\n#статьи_по_R
Отличная картинка, которая иллюстрирует списки в R, и работу с их элементами.\n1. Пример списка. По сути список это контейнер для хранения других объектов, в том числе и других списков. В нашем примере перечница, в которой отдельные элементы - пакетики с перцем, в каждом пакете есть содержимое - перец. \n2. Указав индекс необходимого элемента в одинарных квардратных скобках, мы получим на выходе также список, но внутри останется только те его элементы, индексы которых мы перечислили в квадратных скобках.\n3. Для извлечения конкретного элемента ИЗ списка необходимо указать его индекс в двойных квадратных скобках. Таким образом мы вытащили пакет с перцем из перечницы. \n4. Сам пакет с перцем также является контейнером, если мы хотим извлечь элемент из вложенного списка то мы будет использовать ещё одни двойные скобки, в которых укажем индекс элемента вложенного списка, которые хотим получить. Так мы добрались до содержимого пакетика, т.е. до крайнего элемента нашей списочной структуры.\nУдобный синтаксис обращения с элементам списка помощью purrr:pluck()\nДовольно изящный синтаксис обращения к элементам списка предоставляет функция purrr::pluck().\nlibrary(purrr)<br/><br/># Обращение к элементу списка по индексу:<br/>pluck(x, 1)<br/>x[[1]]<br/><br/>pluck(x, 1, 2)<br/>x[[1]][[2]]<br/><br/># Смешенное обращение к элементам списка по индексам их именам<br/>pluck(x, 1, 2, "elt")<br/>x[[1]][[2]][["elt"]]\nСсылки:\n- изображение и идея заимствованы из твиттера Хедли Викхема.\n#заметки_по_R
Видео урок "Знакомство со средой разработки RStudio"\nАвтор: Артём Голубничий\nТезисы урока:\n- начало работы с RStudio\n- обзор рабочих окон RStudio\n- выполнение команд в консоли RStudio\n- файлы R скриптов\n- работа с окном source\n- рабочее окружение\n- построчное выполнение команд\n- некоторые опции RStudio\n- горячие клавиши RStudio\n#видео_уроки_по_R
Видео первой лекции курса "Введение в пространственный анализ и моделирование в R"\nАвтор: Дмитрий Серебренников\nОписание:\nДмитрий Серебренников (ИПП ЕУ СПб) сделает введение в тему пространственного анализа и расскажет о специфике используемых данных, а также базовых операциях с библиотекой sf.\nПлан лекции:\n● Типы пространственных данных;\n● Особенности геоданных;\n● R и пространственный анализ;\n● Практика - находим геоданные разных форматов и учимся с ними работать;\n● Бонус\n● Что можно почитать и посмотреть по теме.\nСсылки:\n- Видео + конспект лекции\n- Информация о курсе\n#курсы_по_R
Кто за всех решил, что python удобен для «гражданской» аналитики?\nАвтор: Илья Шутов (@iMissile)\nОписание:\nВся аргументация «за питон» строится исключительно по принципу «не думать», «рука рынка, «ну у нас же уже есть в проде 10 строк кода на питоне, что же делать?». Хотя элементарные технологические тесты и оценка экономической эффективности частенько дают неопровержимые доказательства, что DS питон является безответным поглотителем доли ИТ бюджета компаний. Взглянем ниже более пристально на отдельные моменты.\n#статьи_по_R