Лаборатория

Возврат смысла хобби

Tue, 09 Jun 2026 12:02:14 +0500

Эти 5 минут с гитарой приносят куда больше радости, чем любые занятия ради заработка — и именно это заставило меня пересмотреть и хобби, и работу.

Макросы SugarCube 2 для диалогов

Wed, 20 May 2026 18:11:31 +0500

В своей игре «Заповедник» — текстовых sci‑fi приключениях Маши Ежевикиной в духе Булычёва — я активно использую диалоги. Маша и Ромка постоянно болтают — по делу и просто так.

Для книги правила оформления диалогов понятны: каждая реплика — с новой строки, с чёрточки. Я попробовал делать так же в игре — и это быстро превратилось в… книгу. А мне нужна игра!

Эксперименты с диалогами

Путём нескольких экспериментов я пришёл к такому варианту: диалоги выводятся блоками с небольшими иконками. Выглядит это вот так:

Новый формат блога

Tue, 12 May 2026 18:46:01 +0500

Этому блогу уже почти 11 лет. Я начал его в 2015 году, чтобы ускорить карьеру. Получилось более или менее — не совсем так, как я рассчитывал, но всё же помогло: я упорядочил знания и успешно строю карьеру. Теперь же такой блог мне не нужен. Вот почему:

Я выдохся писать про ИТ. Мне по‑прежнему нравится изучать новое и разбираться в технологиях. Но писать подробные статьи уже не хочется: это долго и нудно, а на Хабре всё равно сделают лучше. А короткие заметки казались мне недостойными блога — хотя я их всё равно иногда писал.
У меня поменялись приоритеты. Работа, семья и хобби отнимают почти всё время. Писать для меня — хобби, но профессионально заниматься ИТ‑тематикой я не готов: как уже говорил, это слишком долго и утомительно.
Рекрутёрам блог не нужен. Они на него не смотрят, и он не делает прохождение собеседования легче. От большинства статей польза только для меня: мысль выкристаллизовалась, знание закрепилось. Для этого достаточно короткой заметки, а не многостраничного разбора всех случаев — что, повторюсь, долго и нудно.

Я долго думал (и советовался с ИИ… чаще, чем хотелось) и решил: с этого момента мой ИТ‑блог становится «Лабораторией». Здесь будут заметки о том, что меня волнует прямо сейчас. Не обещаю регулярности — буду писать, когда есть что сказать. Ещё я соберу здесь всё, что писал для других своих блогов (в основном о хобби).

Вторичные индексы в YDB

Mon, 23 Mar 2026 21:40:27 +0500

Вторичные индексы в YDB живут в скрытых таблицах. Они так же чувствительны к возможности деления на партиции по ключам, как и обычные строковые таблицы.

Способность делиться на партиции вторичные индесы наследуют от первичного ключа исходной таблицы.

Согласно документации во вторичном индексе хранится:

индексные колонки
колонки первичного ключа таблицы
копии дополнительных колонок для покрывающих индексов

NB! первичный ключ таблицы вторичного ключа - это индексные колонки + колонки первичного ключа исходной таблицы.

Обман на собеседовании

Thu, 19 Jun 2025 18:50:10 +0500

На собеседовании хочется ответить на все вопросы, даже на те, на которые не знаешь ответа. Особенно если пришёл на собеседование в крутую компанию. Мотивация зашкаливает, и здесь можно допустить самую большую ошибку: попытаться схитрить и подсмотреть ответ. Во время онлайн‑интервью это ведь так просто сделать… Но есть более выгодная и безопасная стратегия: ответить «я не знаю» и записать вопрос для дальнейших поисков ответа.

Есть три варианта действий при вопросе, ответа на который не знаешь. Вот они — в порядке пользы для кандидата:

CLOG в базе знаний программиста

Wed, 26 Mar 2025 18:47:52 +0500

CLOG — удобный формат ведения лога проекта — для задачи, на которую требуется больше одного дня, — в базе знаний. Изначально идея предложена Бобом Дото для работы над статьями. С минимальными изменениями CLOG подходит для рабочих проектов программиста.

Пока эта методика находится у меня на тестировании. Должно работать. Но может и взорваться…

Суть CLOG (creative log) — создать запись в системе знаний, которая относится к конкретному проекту. В этой записи делается минимум два блока:

За что платят программисту?

Mon, 10 Mar 2025 18:42:16 +0500

Программисту платят за код. Писать код — основной навык, который нужно показать в работе и на собеседовании. Знания технологий добавят очков, как и софт‑скилы. Но если программист не будет писать код, его уволят. Этот навык требует больше всего времени на освоение. Он же — лучший карьерный капитал программиста.

Написание кода — сложный навык. Улучшить его — значит целенаправленно заниматься развитием этого навыка: писать много кода, который будет тестироваться, использоваться, модифицироваться.

Посмотреть процессы прибитые OOM

Sun, 08 Sep 2024 18:40:16 +0500

PID убитого по out‑of‑memory‑процессу можно найти с помощью одной команды. Если есть логи с PID процесса, то найти пострадавшего можно, запустив ещё одну команду grep.

OOM‑киллер безжалостен. Кажется, что он выбирает процесс случайным образом — тот, который нужно «пристрелить» на машине. На самом деле под капотом он работает совсем по‑другому, и случайности в его действиях нет. Взглянув на таблицу процессов и пару файлов, можно предсказать, какой процесс будет убит, если сейчас случится OOM.

Heavy Rain

Thu, 08 Aug 2024 14:46:50 +0500

Я долго обходил тему сэмплов стороной. Для меня синтезаторы были главными действующими лицами. Конечно, я делал треки с использованием сэмплов перкуссии. И, конечно, я использую отдельные сэмплы для ударных. Но чтобы идея трека строилась от музыкальной фразы, взятой из набора сэмплов… Не могу сказать, что я не делал этого раньше. Но тогда это были скорее учебные проекты. Heavy Rain — первый серьёзный опыт в жанре мелодичного техно.

Ссылки на трек собраны здесь: https://band.link/heavyrain
Запасная сборка ссылок здесь: https://onerpm.link/146039684268

Как я уже говорил, обычно я использую синтезаторы. При этом я коллекционирую сэмплы. В ней скопились сотни гигабайт сэмплов, большую часть из которых я даже не слышал ни разу. И вот моя коллекция пополнилась очередным набором сэмплов. Новый пак ждала такая же участь: хоть я его послушал, но трек делать не собирался. А ведь это был набор от моих любимых саунд‑дизайнеров из Riemann.

Chess

Fri, 21 Jun 2024 14:42:12 +0500

Вышел сингл Chess — мелодичное техно с вкраплениями acid‑партии. Не аутентичного 303 от Roland, а имитации. Хотел проверить, как такой звук зайдёт в жанр. Проверил.

Слушать Chess на ваших любимых стриминговых платформах

Часто название трека придумываю заранее, когда делаю первый набросок. Сохраняю проект и сразу даю название. И это название во многом определяет звук и идею трека. Так было с Summer Holidays on Mars, с Poker Face, с Reunion. Обычно связь между названием и звуком понятна мне одному. В последнем случае название вызвало у меня ассоциации с «Бегущим по лезвию» и его саундтреком от Ван Гелиса.

Summer Holidays on Mars

Fri, 10 May 2024 17:48:53 +0500

Summer Holidays on Mars — это мой новый трек в стиле Melodic Techno, который уже доступен на всех стриминговых платформах. Диджеи и создатели видео могут скачать его бесплатно.

Послушайте Summer Holidays on Mars на всех основных стриминговых сервисах

Мелодия трека захватывает с первых нот, а ударные инструменты призывают танцевать. Мне очень нравится этот трек (кто бы мог подумать ;)). Я надеюсь, что Summer Holidays on Mars можно будет наслаждаться как дома, так и в диджейском сете на шумной клубной вечеринке.

Практический пример использования Protocol

Mon, 26 Feb 2024 18:36:23 +0500

Представьте себе ситуацию: у вас есть микросервисы, в каждом — своя конфигурация со своим набором параметров; есть библиотечный код, который получает и использует объекты конфигураций. Представили? А теперь в этот код надо завести подсказки типов. И тут представили? Давайте проведём мысленный эксперимент и попробуем это сделать. Вариантов в целом несколько.

Варианты решения:

Базовый класс конфигурации с ещё одним ветвлением:*
- затаскивать все возможные параметры;
- затаскивать только общие для микросервисов параметры.
Использовать протоколы для нотации типов.

Затаскивать все возможные варианты параметров в один базовый класс — гарантированный путь к «помойке». Затаскивать только общие параметры для микросервисов — получать кучу красного цвета от Pyright в общем коде.

Poker Face

Fri, 08 Dec 2023 17:44:10 +0500

В сердце электронного лабиринта лежит «Poker Face» — музыкальное путешествие сквозь пульсирующие тени тёмного, мелодичного техно.

Слушать Poker Face на ваших любимых стриминговых платформах

Это инструментальное произведение создаёт звуковую ткань, окутывая слушателей загадочной атмосферой. Благодаря осознанно низкой эмоциональной динамике трек создаёт таинственную атмосферу, управляемую гипнотическими битами и сложными аранжировками синтезаторов. Отсутствие вокала усиливает эффект погружения, позволяя музыке говорить напрямую с душой.

«Poker Face» — это исследование неизведанных областей техно, путешествие по электронным звуковым ландшафтам, которое выходит за рамки традиционных границ жанра.

У Kаждого Cвой SCRUM

Tue, 28 Nov 2023 18:31:44 +0500

У каждого свой Scrum. Он описан в книгах как стройный, понятный и простой процесс. Участники семинаров и тренингов утверждают, что применять его легко. Однако в реальной жизни Scrum каждого человека не похож ни на пример из книг или тренингов, ни на процессы коллег… за редкими исключениями. Почему? Не знаю. Куда интереснее выяснить, что с этим делать и нужно ли это.

TL;DR

Scrum эффективен, когда желания бизнеса и разработки совпадают и они готовы играть по этим правилам.
Scrum определяет чёткие зоны ответственности и правила для скрам‑команды. Если попытаться изменить их, это может привести к проблемам.
Если вы устанавливаете сроки для разработчиков, определяете исполнителей задач и не ведёте бэклог, то у вас нет Scrum, даже при наличии спринтов и ежедневных митингов.
В вашей команде есть скрам‑мастер, даже если он не выделен формально. Один из членов команды выполняет эту функцию. Это занимает у него время и, возможно, вызывает лишний стресс.
Наём скрам‑мастера показывает разработке, что компания готова играть по правилам и ожидает долгосрочного применения Scrum.
При работе с большой командой следует разделить её на несколько подгрупп и использовать LeSS или «Scrum of Scrums».

Я не знаю, какой Scrum можно считать идеальным. Я не являюсь сертифицированным скрам‑мастером. Я всего лишь разработчик. Эта статья — моя попытка понять, каким должен быть Scrum, зачем вам нужен скрам‑мастер и в каких случаях Scrum не работает. Повторяю: это мнение разработчика, участника скрам‑команды, а не консультанта.

Использование typing.Generic в Python

Fri, 18 Feb 2022 18:28:28 +0500

Я работаю над проектом с довольно большой кодовой базой. Проект с историей.

Некоторые части наша команда написала задолго до аннотаций типов. Мы до сих пор добавляем их в наш легаси‑код и улучшаем существующие подсказки. Стоит ли эта игра свеч? Определённо — да.

Наши пользователи — разработчики. Они открывают наш код в PyCharm ежедневно и надеются, что он поможет им решить их задачи максимально быстро и просто.

Могу уверенно сказать, что существует корреляция между точностью автодополнения кода и тем, как быстро работают разработчики. Наша цель — не только добавить более точный статический анализ или автодополнение, но и не сломать их боевой код.

Для чего Python лучше не использовать?

Fri, 22 Nov 2019 18:26:11 +0500

На Quora относительно недавно задали вопрос «What is Python not good for?». Я бы хотел сказать, что Python хорош для всего. Но это неправда. Python во многих областях — второй. Не так много областей, где Python — номер один.

К примеру, Go сейчас гораздо больше подходит для веб‑разработки, чем Python. Его довольно легко выучить, его гораздо легче деплоить. В Go есть достаточное количество «батареек» для любого веб‑приложения. Тем не менее Python остаётся второй опцией.

Подсказки типов в Python

Fri, 24 May 2019 18:22:15 +0500

Мой небольшой список источников по type hints в Python, которые я использую в повседневной практике.

Относительно недавно я сменил проект. Теперь я работаю над DWH и ETL‑процессами. Проект большой: в нём сравнимое количество кода с предыдущим, но разработчиков гораздо больше. Я убеждён, что для этого проекта подсказки типов даже нужнее. Дело не только в количестве разработчиков.

Особенность DWH/ETL‑проектов — наличие разнообразных источников, мест хранения и потребителей данных. Отсюда довольно сильная фрагментированность проекта. И если не добавить «клея», он развалится на отдельные скрипты.

Clash of Code

Fri, 26 Apr 2019 18:20:27 +0500

В начале года я писал, что хочу сделать большой и интересный проект с Codingame: создать и обучить бота для Legends of Code & Magic. В очередной раз, когда я прокрастинировал начало этого проекта, я наткнулся на Clash of Code! — быстрые мини‑соревнования по кодированию на этом же сайте. Попробовав поиграть, я могу сказать, что это отличный способ отвлечься от рабочей рутины, попутно потренировав свои навыки.

Формат Clash of Code

Эти мини‑соревнования строятся по такому принципу:

Переименование при импорте

Mon, 18 Mar 2019 18:18:34 +0500

В Python есть замечательная возможность присваивать свои имена при импорте (import foo.bar.baz as fbb). Так можно легко избежать конфликтов имён при импорте и повысить читаемость кода, если требуется. Но этой же возможностью можно легко превратить хороший код в абсолютно нечитаемый. В последнее время я несколько раз встречался с этим: попадались мне в основном странные сокращения и непонятные имена для алиасов.

Продемонстрирую проблему на примере сокращений. Хороший пример придумать с ними проще:

Пожалуйста, не используйте else

Tue, 29 Jan 2019 18:15:47 +0500

Я не люблю else, когда обе ветки содержат return. Всегда можно написать код без этого придатка для if. Такой код будет компактнее, проще читаться и лучше выглядеть. Так зачем же многие пишут этот никчёмный else?

Делая ревью кода одного из коллег, я указал на то, что его код можно упростить, убрав else. Ответом была ссылка на PEP8, где такое поведение определяется допустимым. Код был примерно таким:

def get_magic_number(use_magic):
    if use_magic:
        return calculate_with_magic()
    else:
        return calculate_with_science()

С точки зрения работоспособности этому коду нечего предъявить. Меня, как читателя, такой код заставляет остановиться и задуматься:

Мобильное приложение на Kivy и Python? Мм… Не сейчас

Thu, 25 Oct 2018 16:47:52 +0500

Есть несколько GUI‑фреймворков на Python. Большинство из них предназначены только для десктопных приложений. Kivy — редкое исключение: с использованием этого фреймворка можно, в теории, строить мобильные приложения. К сожалению, он не готов к продакшену. Вы вынуждены жонглировать версиями библиотек, чтобы заставить это работать. Так что, даже сидя в футболке с надписью print("Python is my favorite language"), я должен признать, что Kivy не подходит для мобильной разработки.

Хорошо. Жонглировать версиями приходится и в случае веб‑приложения. Но всё‑таки тогда в 99 % случаев речь идёт о библиотеках Python либо есть контроль над окружением. В целом вы можете построить Docker‑образ с любыми версиями, какие необходимы. Kivy же вносит кучу бинарных зависимостей, которые должны быть установлены с помощью специфичных для платформ инструментов. И в целом вы не сможете контролировать окружение — а это меняет всё.

Использовать Optional в абстрактных классах или нет?

Thu, 06 Sep 2018 16:45:46 +0500

Подсказки типов в Python необязательны: вы вольны выбирать, пользоваться ими или нет. Но, начав включать их в свой код, вы точно столкнётесь с определёнными трудностями аннотирования функций или переменных. Эта статья — моя точка зрения на один специфический случай.

К примеру, имеется иерархия классов, которая выглядит похожей на ту, что представлена в коде ниже. Это может быть какой‑то маппинг в базу или иерархия команд. Самая важная часть в этом примере — то, что имеется один абстрактный класс и несколько реальных классов, его наследников. Не так важно, помечен ли этот абстрактный класс специальным образом или нет. Я просто предполагаю, что он используется в качестве такового.

Coders Strike Back Post-mortem

Thu, 12 Jul 2018 16:42:09 +0500

За последние несколько месяцев я потратил порядка 40 часов в выходные и по вечерам на то, чтобы написать бота, способного пройти трассу Coders Strike Back быстрее соперников. За эти 40 часов я умудрился набить порядочное количество шишек, выбраться в легендарную лигу и даже занять там, на мой взгляд, пристойное место. Данный пост — post mortem этого проекта.

Важная оговорка: бо́льшая часть пути была проделана с ботами на Python, но заключительные этапы были пройдены на C++. Не думаю, что дело в Python — скорее всего, я не заметил кучу ошибок в своём коде, которые было лень исправлять, но об этом ниже.

Computer Science Distilled

Wed, 28 Feb 2018 16:38:43 +0500

Хотите найти небольшую простую книгу о компьютерных науках? Возможно, Computer Science Distilled подойдёт. К сожалению, только в том случае, если вы не планируете программировать профессионально. В этом случае эта книга — хороший вводный курс, хороший проводник в мир компьютерных наук. Но если вы профессиональный девелопер или студент, можно смело пропускать эту книгу.

It’s a short book, written in plain, basic English. It presents ideas in their simplest form. It focuses on practical aspects of computer science that matter most: everyday things that directly impact the quality of your code.

Tuple[Callable, Any, ...]

Mon, 29 Jan 2018 16:35:53 +0500

Подсказки с типами могут сильно помочь в работе с большим проектом на Python. Тем не менее иногда они требуют рефакторинга кода. Я писал об этом в прошлом году в этой статье, но тогда я не смог найти хорошего примера, иллюстрирующего то, что я хочу сказать.

Взгляните на этот код:

def process(workflow_step):
    func = step[0]
    args = step[1:]
    return func(*args)

Что можно понять о типах из этого кусочка? То, что workflow_step — это последовательность, первый элемент которой — Callable object, а остальные элементы, если таковые имеются, — аргументы для этого вызываемого объекта. Предположим, что workflow_step — Tuple. Проблема в том, что тип (Tuple) -> Any для этой функции слишком общий и неинформативный. Можем ли мы вызвать её с пустым кортежем? Пройдёт ли (1, 2, 3)?

Как внедрить mypy в проекте на Python 2.7

Mon, 11 Dec 2017 17:34:15 +0500

Я многократно писал, что описание типов в Python помогает в работе с большими и средними проектами. При этом, если внедрять типы, то нужно регулярно делать статический анализ — причём в CI. А вот это уже не так‑то просто внедрить. Эта статья — мой рассказ о том, какие трудности придётся преодолеть в процессе внедрения.

За то время, что я пытаюсь внедрить проверку типов в нашем проекте, я выработал несколько подходов к тому, как это можно сделать максимально быстро и безболезненно. На то, чтобы прийти к этому, я убил не один день. Пользуйтесь моим опытом.

Что почитать о asyncio. 9 полезных ссылок

Fri, 20 Oct 2017 17:31:50 +0500

Asyncio — полезная библиотека. Но разобраться с ней не так‑то просто. Документации по большей части недостаточно. Хочется примеров. Хочется подробных объяснений. Последние несколько выходных я потратил на эксперименты с этой библиотекой. Во время чего в Pocket осели довольно интересные ссылки, которыми я хочу поделиться.

Exploring Python 3’s Asyncio by Example

Короткое введение в asyncio и aiohttp на нескольких небольших примерах. Примеры сделаны максимально простыми. Используется синтаксис с декораторами — статья написана довольно давно. Как отмечает автор, эта статья показывает лишь верхушку айсберга.

Поддержка целостности проекта в Python требует усилий

Fri, 06 Oct 2017 17:28:58 +0500

Python позволяет программисту довольно много. Это очень выразительный язык. Его динамическая природа даёт возможность делать элегантные решения, которые довольно сложно представить, к примеру, в Java.

Тем не менее за всё надо платить. При росте кодовой базы проекты на Python начинают требовать всё больше и больше ресурсов на поддержание своей целостности. Без некоторых усилий проект начинает разваливаться на куски.

Первая проблема — навигация по коду

Основная проблемная часть — навигация по коду. На начальном этапе её зачастую приносят в жертву более компактному решению, что впоследствии обязательно приведёт к ряду проблем. Главная из которых — высокая сложность поиска причин ошибок.

Хэш-функция для функции в Python

Tue, 12 Sep 2017 17:26:17 +0500

Пару недель назад один из моих коллег задал вопрос: можно ли использовать функцию в качестве ключа словаря? Да, можно. У каждой функции в Python есть хеш. Но как он считается? На основе имени функции? На основе байт‑кода? В действительности хэш считается как трансформация над указателем на объект функции. Тем не менее не так‑то легко отыскать эти расчёты в коде CPython.

Навигация по C‑коду — довольно интересный опыт, хотя делать это совсем непросто: все эти макросы делают простой поиск нужных переходов довольно сложным. Конечно, я уверен, что вы сможете с этим справиться и найти все вызываемые функции при запросе хеша для объекта функции.

Success in Programming. Обзор Книги

Thu, 17 Aug 2017 17:22:47 +0500

Персональный бренд — тема, не так часто обсуждаемая среди программистов. В действительности я знаю всего несколько людей, обладающих сильным персональным брендом, и всего двоих, кто рассказывает о построении личного бренда программистам. Один из них — Фредерик Харпер (Frederic Harper) с его книгой «Success in Programming».

Почему персональный бренд важен?

OK. Вы знаете кого‑нибудь, кто бы получил работу в крупной технологической компании без прохождения ада интервью? Я знаю одного. Хедхантеры одной подобной компании умоляли его уделить им минуту — и не для того, чтобы начать долгий процесс из серии интервью. Нет. Только для того, чтобы обсудить с ним, над каким из их проектов он хотел бы работать.

Структуры данных и алгоритмы в Java (2-е издание)

Tue, 15 Aug 2017 17:29:21 +0500

Для меня основное достоинство книги «Структуры данных и алгоритмы в Java» — язык, которым автор описывает алгоритмы. Он не использует сложный академический язык, приправленный тонной высшей математики. Роберт Лафоре использует простой язык и пытается дать максимально простое объяснение, какое только возможно, каждому алгоритму.

Почему эта книга?

Эта книга — для занятых (или ленивых) студентов или программистов, которые решили повторить алгоритмы перед техническим интервью. Книгу можно просмотреть очень быстро: читаем список идей после каждой статьи, просматриваем примеры кода. Если что‑то показалось непонятным, возвращаемся к основному тексту главы.

Горячие клавиши Emacs в русской раскладке

Sat, 10 Jun 2017 17:27:10 +0500

Думаю, вы, как и я, не можете позволить себе пользоваться только английской раскладкой клавиатуры. Так или иначе для работы приходится использовать обе: и русскую, и английскую. В целом это не доставляет никаких проблем, пока дело не касается Emacs.

Не знаю почему, но в нём горячие клавиши в русской раскладке просто перестают работать. Видимо, сказывается страшное наследие «ASCII — единственно возможный набор символов для всех языков мира». Возможно, есть какие‑то другие причины.

Property в классе наследнике

Tue, 30 May 2017 17:25:13 +0500

Кажется очевидным, что property можно переопределить в классе‑наследнике и вызвать super внутри этого переопределённого свойства. Вроде бы звучит нормально? Да, так и есть. Тем не менее, когда мой коллега задал мне такой вопрос, я «завис» на некоторое время. Возможно, я излишне подозрителен, но каждый раз, когда в коде есть какая‑то магия, я ожидаю подвоха. Поэтому я решил немного поэкспериментировать и доказать себе, что свойства (property) работают так, как ожидается.

# -*- coding: utf-8 -*-
from __future__ import print_function, unicode_literals, absolute_import


class Parent(object):
    @property
    def prop(self):
        print("Parent property")

class Child(Parent):
    @property
    def prop(self):
        super(Child, self).prop
        print("Child property")

child = Child()
child.prop

Работает, как и ожидалось:

Pyenv на маке

Fri, 19 May 2017 17:23:03 +0500

Довольно сложно управляться с несколькими версиями Python на одном ноутбуке. Хотя это довольно распространённая ситуация. Обычно у разработчиков несколько проектов, требующих разных версий Python. В целом есть несколько вариантов для решения этой задачи, но моим любимым остаётся pyenv в компании с плагином pyenv‑virtualenv. Раньше я использовал «голый» Homebrew, но это далеко не так гибко и удобно.

Установка

$ brew update
$ brew install pyenv
$ brew install pyenv-virtualenv

$ echo 'eval "$(pyenv init -)"' >> ~/.bash_profile
$ echo 'eval "$(pyenv virtualenv-init -)"' >> ~/.bash_profile

Базовый шаблон использования

Настоятельно рекомендую делать отдельные виртуальные окружения для каждого проекта. Иногда бывает необходимо делать даже несколько окружений для одного проекта. К примеру, если хочется использовать mypy для проекта на Python 2.

Обзор Soft Skills

Sat, 15 Apr 2017 17:20:33 +0500

Когда я начал читать «Soft Skills» Джона Сонмеза, я не знал, чего от неё ожидать. С одной стороны, как программисты, мы считаем, что нет ничего важнее написания кода. И это правда. Тем не менее чрезвычайно сложно найти интересный проект без продвижения самого себя. Я сомневался, что кто‑нибудь способен объяснить это разработчикам. Не могу сказать, что Джон делает это идеально, но его попытка достаточно хороша, чтобы потратить время и прочитать его книгу.

Это MOOC-курс хорош для меня?

Wed, 05 Apr 2017 22:10:53 +0500

Сейчас в сети довольно много различных массовых открытых онлайн‑курсов (MOOC). Одни платные, другие бесплатные. Пару лет назад о подобных курсах говорили на каждом углу: утверждали, что они убьют все другие формы обучения. Этого, разумеется, не произошло. Тем не менее эта форма — полезный и удобный инструмент самообразования, её точно стоит использовать в собственном учебном плане. Правда, стоит для начала выбрать подходящий курс.

«Все животные равны. Но некоторые животные равны более, чем другие».
Джордж Оруэлл, «Скотный двор»

Enums в Python

Fri, 17 Feb 2017 22:08:55 +0500

Enum — наименее используемая фича Python. Как программисты, мы предпочитаем использовать странные словари (дикты) или списки там, где могли бы использовать enum. По большей части это происходит из‑за того, что это довольно новая фича, и требуется использовать внешнюю библиотеку обратной совместимости, если используется Python версии 2.7. Тем не менее довольно много случаев, когда использовать enum гораздо удобнее.

В любом проекте на Python легко найти код, который делает проверки против строковых литералов. Подобные конструкции используются для определения типов постов, ролей клиентов и тому подобного. Конечно, этот код меняется со временем — меняется набор используемых строковых литералов. Это делает такой код трудноподдерживаемым и труднотестируемым.

Почему я использую текстовые файлы

Tue, 31 Jan 2017 22:06:35 +0500

Примерно неделю назад я пытался мигрировать блог обратно на WordPress. Я решил дать ему ещё один шанс, поскольку у меня есть планы добавлять больше картинок к постам, что достаточно тяжело делать, используя Pelican: очень много ручной работы. В WordPress есть отличные инструменты для управления картинками. К тому же я думал, что WYSIWYG мне подойдёт. Я установил его и даже перенёс пару постов. Но всё же я решил остановиться: форматирование этих двух постов заняло у меня порядка 20 минут.

Effective Java второе издание

Fri, 30 Dec 2016 22:03:16 +0500

Если задать вопрос о том, какую книгу стоит прочесть о Java, все скажут, что «Effective Java». Эта книга есть во всех списках рекомендованных книг по Java — за исключением, пожалуй, только тех, авторы которых пытаются продать вам свои книги. Есть несколько причин, почему эта довольно старая книга остаётся такой популярной.

Во‑первых, эта книга учит, как писать хороший Java‑код. Это значит не только быстрый код, но и читаемый, и поддерживаемый. Она описывает общие Java‑паттерны, которые делают ваш код более понятным для других программистов. Книга не рассказывает о том, как «хачить» JVM, — только о том, как использовать её более эффективно.

Делаем Java-подобный Optional в Python

Fri, 25 Nov 2016 22:01:03 +0500

В некоторых случаях использование None может превратить код в нечитаемую и неподдерживаемую кашу. К примеру, если есть необходимость отличить «пустое» значение от отсутствия значения для целочисленного ввода, когда 0 не может использоваться в качестве этого «пустого» значения, обойтись, используя только None, очень сложно. Одно из возможных решений — использовать что‑то подобное Optional из Java.

Конечно, Optional — не совсем «питонячий» путь. В некоторых случаях можно использовать исключения, как предлагается в этой дискуссии на Stack Overflow.

Бэктрекин без рекурсии на Python

Thu, 03 Nov 2016 22:02:16 +0500

В Python нет оптимизации хвостовой рекурсии и достаточно жёсткий лимит на рекурсивные вызовы. Это может вызвать затруднения при решении задач с помощью алгоритма бэктрекинга: лимита хватает на поиск решения судоку, но он может оказаться слишком низким, если количество решений для проверки в задаче довольно высоко.

Тем не менее реализация бэктрекинга с рекурсией на Python элегантна, легко читаема и понятна. Отказываться от неё имеет смысл только для «тяжёлых» задач.

def backtrack(self, solution):
    if solution in self.seen_solutions:
        return
    if self.reject(solution):
        return
    if self.accept(solution):
        self.output(solution)
    for child_solution in self.child_solutions(solution):
        self.backtrack(child_solution)

Когда сложность задачи достигнет лимита рекурсивных вызовов, можно переключиться на шаблон без рекурсии. Он уже не так элегантен, как рекурсивное решение, но не так страшен, как мог бы быть. К тому же он использует те же вспомогательные функции, что и его собрат с рекурсией.

Обзор курса Functional Programming Principles in Scala

Mon, 24 Oct 2016 22:00:40 +0500

Этой осенью я закончил курс на Coursera «Functional Programming Principles in Scala». Этот курс — часть специализации из 5 курсов «Functional Programming in Scala». Это шестинедельное введение в функциональное программирование и Scala.

Автор курса — Мартин Одерски, создатель языка Scala. Он действительно великий учёный в области компьютерных наук. Тем не менее от его лекций клонит в сон. В общем‑то с его лекциями всё в порядке — просто я не сразу нашёл правильный способ прохождения курса: сначала надо пытаться решить практическую задачу, а потом с кучей готовых вопросов смотреть лекции. Так его лекции гораздо полезнее.

Хочется добавить тип локальной переменной? Пора делать рефакторинг!

Thu, 06 Oct 2016 21:58:54 +0500

PEP 526 добавляет, начиная с Python 3.6, опциональную возможность указать тип для локальной переменной. Это более стройная замена комментариям с указанием типа. Это хорошо, но есть одна ловушка: указание типа в Python может скрыть проблемы в коде.

Эти аннотации придуманы и сделаны в основном для автоматических анализаторов кода. Python позволяет писать понятный людям код и без дополнительного указания типа переменной. Поэтому, если есть желание добавить к переменной такое определение, — вы в беде. Это последнее средство для увеличения читаемости кода, а не первое.

MongoDB count могут сильно замедлить API

Fri, 23 Sep 2016 21:56:50 +0500

Иногда команда фронтенда или другие потребители API просят выводить в эндпоинтах общее число объектов. Если в качестве хранилища используется MongoDB, постарайтесь избежать этого: такое поведение эндпоинтов может значительно их замедлить.

Я говорю о тех случаях, когда ответ API похож на тот, что расположен ниже, — тогда ждите беды:

{
  "total": XX,
  "limit": ZZ,
  "offset": YY,
  "objects": [...]
}

Если коллекция достаточно большая, а запрос достаточно тяжёлый, count будет работать непозволительно долго. Запрос find при этом может работать быстро: ему ведь надо вернуть всего‑то десяток объектов. count будет перебирать весь набор объектов, подходящих под условия запроса.

Не используйте dict так часто

Fri, 09 Sep 2016 21:53:40 +0500

У разработчиков на Python наблюдается тенденция использовать словари (дикты) там, где нужно, и там, где нет. В основном это касается передачи данных внутри приложения в виде словаря (дикта), вместо создания объекта. Это плохой дизайн, который приводит к целому вороху проблем, самая страшная из которых — такой код невозможно читать.

К примеру, есть код, который вызывает внешнее API и получает в ответ JSON, который уже распарсили в dict. Стоит мне отправлять этот словарь дальше или лучше трансформировать его в экземпляр более специфического класса? Оба варианта возможны. Обычно я предпочитаю использовать классы и объекты, хотя это требует определённых усилий и времени: соответствующий класс надо ещё написать.

Переезд с Python на Java. Первые впечатления

Fri, 26 Aug 2016 22:18:14 +0500

Буквально неделю назад я добавил Java в свой рабочий стек технологий: мы начали делать новый проект с использованием Java Spring Framework. Для меня это интересный вызов. Я никогда раньше не использовал Java, кроме как для маленьких домашних проектов. Вот мои самые первые впечатления о «лютом энтерпрайзе».

Я не хочу сравнивать Python и Java как языки программирования. Очевидно, что в Java есть статическая типизация, а в Python — нет. Очевидно, что Java более многословна, а Python — более компактен. Всё это не так интересно. Гораздо интереснее сравнить окружение языков, требуемый ими подход к программированию.

mypy для проекта на Python 2.7

Fri, 29 Jul 2016 22:16:02 +0500

Аннотация типов может сильно помочь при работе над большим проектом на Python: многие ошибки в дизайне и использовании функций выявляются практически сразу. Конечно, для этого требуется использование внешних инструментов для статического анализа, таких как MyPy. Это великолепный инструмент, но он поддерживает третью ветку Python. Поддержка Python 2.7 в нём требует некоторой подготовки.

Type comments vs stub files

Для начала нужно определиться, как аннотировать типы в коде. Для второй ветки Python есть два варианта: аннотирование в комментариях или использование стаб‑файлов. Я предпочитаю первый путь: он информативнее (типы перед глазами) и его легче поддерживать.

Пишем код для Unity3d в Sublime Text 3

Fri, 22 Jul 2016 22:13:38 +0500

Необходимость использовать MonoDevelop — пожалуй, худшая часть разработки игр под Unity. Для пользователей Windows теперь есть альтернатива: они могут использовать Visual Studio. Что делать счастливым обладателям Mac? Переключаться на Sublime Text.

Правда, в сети не так много информации о том, как это сделать. Я потратил достаточно много времени, чтобы разобраться, как настроить автодополнение для C# в Sublime Text. В итоге я нашёл достаточно простой путь, требующий всего трёх вещей, установленных на Mac:

TrueType шрифты в LibGDX

Thu, 14 Jul 2016 22:04:49 +0500

LibGDX — прекрасная библиотека. Её очень легко использовать, хотя в ней есть некоторые аспекты, которые не так просты и понятны. Шрифты — один из примеров. Я провёл много часов, прежде чем нашёл решение, при котором шрифты и на десктопе, и в мобильных телефонах выглядят пристойно. Я уже писал, что у меня получилось добиться результатов с Distance Field, но я ошибался. Заставить хорошо выглядеть удалось только TTF.

Забудьте о bitmap‑шрифтах. На попытки заставить их выглядеть пристойно на всех девайсах уйдёт уйма времени. Результат при этом будет более чем посредственным — даже несмотря на то, что это более или менее рекомендованный путь. Но всё‑таки, если у вас не сотни шрифтов, лучше использовать TrueType Fonts.

Свой итератор поверх enumerate

Mon, 27 Jun 2016 22:08:24 +0500

ППару дней назад коллега попросил сделать логирующий сам себя итератор поверх enumerate. Я попробовал наследоваться напрямую и потерпел неудачу. Я абсолютно забыл, как работает магический метод __new__. Поскольку я был занят, я пообещал себе разобраться с этой проблемой позже. А ларчик открывался очень просто: 18 строк кода — и у меня появилась нужная функциональность.

Изначальная задача

Сначала стоит объяснить, зачем нам вообще понадобился подобный итератор и почему нам не хватило обычного enumerate. Всё дело в том, что у нас в проекте очень много задач, построенных по такому шаблону:

Онлайн курс по Clojure

Tue, 07 Jun 2016 22:05:31 +0500

Clojure — интересный Lisp‑подобный функциональный язык. Если вы фанат круглых скобок, то программировать на этом языке интересно. К тому же Clojure компилируется в байт‑код JVM и транслируется в JavaScript. Вернее, в JS транслируется ClojureScript. Над ним работает та же команда, что и над Clojure, так что это всё‑таки один и тот же язык — за исключением некоторой разницы в типах и мелочах, зависящих от среды исполнения. При этом ресурсов для изучения этого языка не так много. Один из них — онлайн‑курс Functional programming in Clojure.

Как управляться с большими проектами на Python

Wed, 01 Jun 2016 21:58:36 +0500

На Hacker News появилась интересная дискуссия о том, как управляться с большими Python‑проектами. Поскольку я причастен к достаточно большому проекту, то не могу удержаться и не поделиться своим видением на этот вопрос. Я составил список из трёх моментов, на которые стоит обратить внимание.

1. Обеспечьте себе безболезненную навигацию по коду

В большом проекте навигация по коду и автокомплит сильно упрощают разработку и поддержку. Всё, что ломает навигацию, должно подвергаться сомнению. А это значит, что хитрые конструкции и метапрограммирование должны быть очень хорошо обоснованы: без них либо не обойтись, либо очень сложно обойтись. В остальных случаях лучше выбирать более очевидные (в том числе для тулзов) пути.

Проект на Kivy. Часть 1. Настройка окружения

Mon, 16 May 2016 21:52:27 +0500

Kivy — интересный проект, который позволяет делать кроссплатформенные GUI‑приложения, включая мобильные. Я решил выяснить, можно ли использовать его для создания маленьких приложений на Python. В этой серии статей я попробую исследовать Kivy на примере клона «конструктора слов» — одного из упражнений для LingvoLeo.

Эта серия — не учебник, а исследовательский лог моих попыток. В результате я планирую получить собранные приложения для трёх платформ минимум: Windows, Mac, Android. Будет здорово, если я соберу ещё и iOS‑версию. В качестве основной платформы для разработки я использую Mac, так что все инструкции по установке и настройке окружения будут для этой операционной системы.

Модификация параметров под args или kwargs

Wed, 04 May 2016 16:48:57 +0500

В Python достаточно часто интерфейсы функций частично или полностью «сворачивают» с помощью *args и **kwargs. Это вполне естественно для питонистов, но вызывает вопросы при переходе с других языков. С самим «сворачиванием» никаких проблем нет. Сложности возникают при модификации аргументов: строятся проверки вокруг args и kwargs, вместо того чтобы «развернуть» интерфейс функции.

Представьте себе такой кейс: есть две библиотеки, одна из которых имеет полностью прописанный интерфейс у функции foo. Вторая определяет функцию boo, которая вызывает foo. Интерфейс boo «свёрнут» с помощью *args и **kwargs:

RoboVM закрылся. LibGDX мигрирует на Multi-OS Engine от Intel

Mon, 25 Apr 2016 16:46:36 +0500

RoboVM — проект, позволявший запускать Java‑код на iOS, — закрылся. Под ударом оказались все, кто использовал LibGDX для мобильных игр. Замену нашли быстро: LibGDX будет использовать Multi‑OS Engine от Intel. Тем не менее это хороший повод обсудить зависимости в библиотеках.

15 апреля пользователи RoboVM получили «письмо счастья»: проект закрывается. Судя по объяснению в блоге проекта, основная причина закрытия — действия Microsoft с Xamarin. В том, что теперь кроссплатформенную мобильную разработку на Java ждут трудные времена, не поспоришь. Xamarin — действительно отличная альтернатива.

Почему я вернулся в PyCharm

Mon, 18 Apr 2016 16:43:57 +0500

В конце января я переключался на Sublime как основную IDE для Python. Но уже через пару недель я был вынужден вернуться на PyCharm. Последние несколько недель я активно использовал Emacs. Он великолепен. И всё‑таки для рабочих проектов я снова возвращаюсь к PyCharm.

Все три варианта хорошо подходят для работы с Python. Все три позволяют работать продуктивно. Так что выбирать приходится исходя из слабых сторон каждого из них.

Что не так с PyCharm

Есть несколько причин, почему я периодически пытаюсь сбежать в какой‑нибудь другой редактор.

Изменяемы типы в качестве параметров по умолчанию в Python

Mon, 11 Apr 2016 16:41:04 +0500

Почему изменяемые типы не рекомендуется использовать в качестве значений аргументов по умолчанию в Python? Если вы забрались по карьерной лестнице выше джуниора, то наверняка задумывались. И наверняка ответ был таким: «Это приводит к странным побочным эффектам». Но я почти наверняка уверен, что только малая часть разработчиков на Python сделала шаг дальше и разобралась, почему такое поведение у языка.

Давайте разберёмся сначала с тем, с какими побочными эффектами имеем дело. Напишем вот такую функцию:

Обзор курса по Haskell на Stepic.org

Mon, 04 Apr 2016 16:38:00 +0500

Как‑то я уже упоминал курс «Функциональное программирование на языке Haskell». Наконец могу поделиться собственными впечатлениями об этом курсе.

Этот курс стоит того, чтобы его пройти и сделать (или хотя бы попытаться сделать) все предложенные задания. Лучшего вводного курса по Haskell я не встречал. Огромное спасибо Денису Москвину (основной преподаватель) и команде за курс!

Курс состоит из 5 блоков, каждый из которых раскрывает некоторые аспекты языка: типы данных, списки, монады и т. п. Каждый блок — это набор видеоуроков с заданиями примерно на 5–6 часов работы.

Масштабируемые шрифты в LibGDX

Mon, 14 Mar 2016 22:04:49 +0500

Обновление 2016‑07‑14: Я всё‑таки нашёл способ работать с TTF‑шрифтами.

Работать со шрифтами в LibGDX оказалось неожиданно сложно. Создать растровый шрифт проблем нет, но вот заставить его масштабироваться под разные разрешения — реальная проблема. Более или менее рабочая практика — использовать Distance Field. После этого нужно ещё пробросить шрифт в описание скина.

Попытка использовать TTF провалилась. Настроить её в LibGDX проще простого, но вот результат получается ужасным. Возможно, я не до конца разобрался с этим процессом. Если у кого‑либо из читателей есть опыт генерации красивых шрифтов из TTF, поделитесь в комментариях.

Полезняшка: responses

Wed, 09 Mar 2016 18:30:51 +0500

Если вы используете в своём проекте requests, то наверняка сталкиваетесь с проблемами тестирования. На помощь придёт библиотека responses, которая позволяет делать моки ответов вызовов requests.

Мы в своём проекте используем эту библиотеку не так давно. Хотя из‑за особенностей окружения проекта мы часто обращаемся к огромному количеству REST API смежных сервисов. И до того, как requests попалась нам на глаза, код тестов представлял из себя нечто невообразимое, трудночитаемое.

Пользоваться библиотекой невероятно просто. Для иллюстрации — пара примеров из документации.

Generator vs Iterator

Mon, 29 Feb 2016 18:29:21 +0500

Как ни странно, вопрос о разнице между генераторами и итераторами в Python — довольно частый. В общем‑то эти сущности сильно связаны (любой генератор — это итератор), их довольно часто путают, что иногда приводит к недопониманиям.

Итератор — более общая концепция. Это объект, у которого определены два метода: __next__ и __iter__.

С другой стороны, генератор — это итератор, но не наоборот. Генератор может получаться с использованием yield в теле функции:

def squares(start, stop):
    for i in range(start, stop):
        yield i * i


generator = squares(a, b)

Либо с использованием так называемых generator expression — например, такого:

Сохраняем JSON в LibGDX

Wed, 24 Feb 2016 18:27:11 +0500

Предыдущую неделю просидел дома. Из‑за высокой температуры особо на рабочих задачах сконцентрироваться шансов не было. Но вот сторонними проектами удалось позаниматься. В очередной раз порадовался связке LibGDX и Kotlin.

Задачка такая: прочитать список объектов из JSON. Я уже приготовился писать много строк кода. Оказалось, что инструменты чтения JSON уже встроены в LibGDX. Это немного странно. Я ожидал, что для этой задачи потребуется сторонняя библиотека. Хотя, с другой стороны, скин для UI описывается JSON, так что, по сути, разработчики LibGDX вытащили используемые хелперы в публичный API.

Как вы управляете своими pet-проектами?

Tue, 16 Feb 2016 18:25:23 +0500

Сотни моих начинаний остаются недоделанными и даже близко не достигают целей, которые ставились перед проектом. И это при том, что зачастую основная цель — просто изучить ту или иную технологию.

Самих идей проектов хоть отбавляй. Конечно, далеко не на всё есть время. Но самые «сочные» идеи хотелось бы реализовать — пусть не быстро, но хоть в какое‑нибудь разумное время.

Из испробованных приёмов у меня более или менее нормально работает выделение времени по утрам. Причём работает где‑то половину года, когда светает достаточно рано. Заставить себя выбраться из‑под одеяла зимой — дохлый номер. Не помогает и какой‑нибудь ритуал, который хорошо работает летом. Обычно всё скатывается к просмотру какого‑нибудь сериала лёжа в кровати.

Страсть к смене технологий: с Python на Lua

Mon, 08 Feb 2016 18:23:14 +0500

Брайан Майер из Distelli опубликовал любопытную статью «Using Lua for Our Most Critical Production Code». В статье расхваливается переход с одной технологии на другую и то, как это помогло решить кучу проблем. При этом совсем не упоминается, с какими проблемами при этом столкнулись, и совсем нет анализа, какие проблемы могут возникнуть в будущем.

По большому счёту, смена технологии проекта в его середине — обычно очень плохая идея. Программистов надо вытащить из области, в которой они разбираются, в совершенно незнакомое окружение. Не могу сказать, что это всегда негативно сказывается на команде, но такие риски надо просчитывать. Если человека нанимали за его экспертные знания в Python, будет ли он счастлив писать на Lua?

В чем главная слабость Python, как языка программирования?

Mon, 25 Jan 2016 22:18:28 +0500

Я очень люблю Quora.com. В отличие от Stack Overflow, здесь можно найти интересные обсуждения, не связанные с конкретными вопросами, а с общими ощущениями от технологий. Недавно наткнулся, к примеру, на такое обсуждение: «What are the main weaknesses of Python as a programming language?».

В основном Python ругают за тормознутость, сравнивая с компилируемыми языками. Я уже писал, что считаю это обвинение надуманным. Для меня скорость разработки гораздо важнее. Для CPU‑bound задач я бы в первую очередь подумал об алгоритмах, а потом использовал Cython. Да и не так уж много таких задач. А если ваш проект весь такой, то какого лешего вы выбрали скриптовый язык для этого?

Приватных полей в питоне нет

Mon, 18 Jan 2016 21:45:05 +0500

Достаточно часто встречаю вопросы о приватных полях и методах в Python от людей, которые раньше программировали на Java (или C++). Вот только в Python класс — это не совсем то же, что и в Java. В Python класс — это просто контейнер, содержимое которого доступно всем.

«Приватные» поля — это всего лишь договорённость по именам, которая никак не мешает работать с такими полями из любого места кода. Добавление имени класса к имени переменной — слабая защита.

Я влюбился в Django. Снова. А вы что сделали за новогодние каникулы?

Mon, 11 Jan 2016 21:43:06 +0500

Ещё 31 декабря прошлого года у меня были гигантские планы на каникулы. Как минимум я должен был закончить один из своих сайт‑проектов. К сожалению, работе удалось уделить всего 4 часа. Но за это время я успел снова влюбиться в Django.

Кажется, я где‑то уже об этом писал: Django — это мой проводник в мир Python. Именно благодаря этому фреймворку меня вырвало из хищных лап PHP. И первое время к Python я относился как к досадной необходимости, без которой Django не работает.

Постновогоднее. Целеполагательное

Tue, 05 Jan 2016 18:34:24 +0500

Наступил Новый год. Самое время разобраться с целями. Конечно, лучше бы это было сделать ещё в конце декабря, но лучше поздно, чем никогда. Сегодня я расскажу, как это делаю я.

Почему‑то у меня не работает излюбленный народом метод: в новогоднюю ночь написать желание на бумажке, бумажку сжечь, пепел положить в бокал шампанского и выпить его. Наверное, всё из‑за того, что я не пью шампанское. И уже довольно давно. Так что за последние лет 7–8 я перепробовал кучу методик: от жёсткого тайм‑менеджмента до GTD.

Django или Flask?

Mon, 28 Dec 2015 18:31:44 +0500

Решил восстановить свой сайт о настольных играх — VseNastolki.ru. Когда‑то там был интернет‑магазин, но, поскольку теперь на столь серьёзный проект меня не хватит, я буду делать всего лишь базу настольных игр. Оформив идею, я, как настоящий программист, взялся за выбор фреймворка: Flask или Django.

Другие фреймворки я не рассматривал. Причина проста: у меня нет опыта работы с ними. Проект хочется закончить, так что использовать неизвестный фреймворк для этого не хочется. Так что в кандидатах остались только Flask — наш текущий фреймворк на работе — и Django — фреймворк, из‑за которого я попал в мир Python.

Деление данных по коллекциям в MongoDB

Mon, 21 Dec 2015 18:28:04 +0500

Не надо лезть в MongoDB с реляционным подходом. Этот тезис вроде бы очевиден, но когда дело доходит до реализации, возникает множество вопросов. И стопроцентно одним из них будет: «Как делать join?». Правильный ответ: никак.

Да, в версии 3.2 появился $lookup в агрегациях. Отчасти это замена классическому JOIN из реляционного мира. Но в целом агрегации — не самый быстрый в MongoDB инструмент. Лучше, когда запрос идёт к одной коллекции и это обычный find.

Почему Python такой популярный, если он такой медленный?

Mon, 14 Dec 2015 18:25:43 +0500

На Quora обсуждают «Почему Python такой популярный, хотя такой медленный». Тема, конечно, холиварная. Но порассуждать на неё интересно. Ведь Python действительно медленный.

Медленный, если сравнивать его с C/C++, Java или C#. Это факт. Python — достаточно медленный скриптовый динамический язык программирования. Любая метрика покажет, что программа на C++ будет работать быстрее. Но есть у языков и другая, не менее важная метрика — скорость разработки.

Вот тут динамические языки начинают выигрывать. Разрабатывать на Python, Ruby, JS быстрее, чем на Java. А скорость разработки — это прямая экономия для компании. Сегодня разработка продукта заканчивается, только если проект закрывают. В остальных случаях купить ещё один инстанс у Amazon дешевле, чем увеличить срок разработки какой‑либо фичи на пару недель.

Sublime Text 3 как Python IDE

Mon, 07 Dec 2015 18:15:51 +0500

Пока на RealPython разжигают войну IDE и объясняют, как настроить среду разработки на Python под:

Я расскажу, почему я (пока) переехал на Sublime Text 3 и как я его настроил. А также отмечу, чего в нём не хватает для счастливой разработки.

PyCharm — замечательная IDE для Python. Это, несомненно, так, но если нужно разрабатывать full‑stack, то одним им не обойтись. На работе это не проблема. Но вот дома покупать лицензию на все продукты JetBrains ради экспериментов накладно.

Flask: что почитать

Mon, 30 Nov 2015 13:58:48 +0500

НЕ! Обновляемый список полезных ссылок с материалами по Flask

Версия: 1.0. Последнее обновление: 30.11.2015.

Начинающим

«The Flask Mega‑Tutorial» — подробный пошаговый учебник по веб‑фреймворку Flask. Покрывает все основные темы: шаблоны, формы, базу данных, интернационализацию, деплоймент на сервере.
«Flask Workshop» — трёхчасовое видео от того же автора. Демонстрация основных возможностей Flask на живом примере.
Ещё один учебник — «Flask TodoMVC». На этот раз создают не блог, а список задач (To‑Do). Плюс этого учебника в том, что рассматривается не только Flask, но и его использование в связке с JS‑фреймворком Backbone.js.
«Flask by Example» — учебный пример с Flask, Redis и Angular.
Если ещё не устали от учебников и учебных проектов, посмотрите ещё один материал от Real Python — «Python Web Applications With Flask». Помимо того, что это хороший, подробный и понятный учебник, в нём описывается переход от небольшого приложения к среднему — во Flask это нетривиальная задача. В третьей части рассматриваются вопросы тестирования и отладки приложения.

Опытным пользователям

Libgdx Impressions

Mon, 23 Nov 2015 13:56:21 +0500

Мой первый проект на LibGDX вышел на завершающую стадию. Ещё осталось сделать достаточно много для подготовки к запуску, но я уже могу сравнить эту библиотеку с Unity и Unreal Engine.

Пару месяцев назад, когда я выбирал, на чём делать маленькую 2D‑игру, я очень долго колебался между Unity и Unreal Engine. С Unity у меня уже был опыт работы: пару проектов я на нём завершил. Основная проблема — отсутствие нормальной поддержки 2D. Она есть, но какая‑то несовершенная. Когда‑нибудь я обязательно про это напишу, но сегодня оставлю этот тезис без доказательств.

Конвертирование андроид приложения на Kotlin

Mon, 16 Nov 2015 13:54:25 +0500

На прошлой неделе наткнулся на очень интересную статью от Антонио Лева: «Converting Plaid to Kotlin: Lessons Learned». В ней автор на примере одного Android‑приложения сравнивает Kotlin и Java. Цель — выявить преимущества и недостатки разработки на Kotlin.

Если посмотреть на числа, которые приводит автор, то по ним видно, что на Kotlin код получается значительно компактнее: на 22 % меньше строк, на 27 % меньше символов. Это значит, что программировать на Kotlin значительно быстрее, чем на Java. Да и приятнее (но это цифрами не измерить).

Highload++ 2015

Wed, 11 Nov 2015 13:48:28 +0500

На прошлой неделе прошла конференция Highload++ 2015. Конференция большая: доклады шли в 5 потоков. Казалось бы, выбор большой, но если отбросить секцию менеджмента и секцию фронтенд‑разработки, то в каждом втором докладе будет PostgreSQL. Один из моих коллег так высказался о конференции: «Highload++ 2015 — 40 % PostgreSQL, 40 % очереди, 20 % приправы».

Не буду рассказывать о всех докладах, которые я посетил. Как и на всякой конференции, было много неудачных докладов. Я расскажу немного о трёх, на мой взгляд, самых достойных докладах конференции. Если будете покупать видео с этой конференции, то записи первых двух докладов стоят того, чтобы их посмотреть. Про третий доклад разговор отдельный.

Cpython Internals Walk Through

Mon, 02 Nov 2015 13:45:31 +0500

Ресурсов о том, как работает стандартная реализация Python (CPython) внутри, мало. Пробиваться самому сквозь не самый очевидный код на C — задача для питониста очень сложная. Чтение кода на C требует определённой практики. Серия лекций, прочитанная Филипом Гио, — хорошая отправная точка.

Филип подробно рассказывает о внутренних структурах Python, проводя студентов от байт‑кода к структурам, написанным на C.

Темы, охваченные курсом:

Байт‑код и главный цикл интерпретатора.
Фреймы, вызовы функций, области видимости.
PyObject.
Типы данных в Python.
Объект с кодом, объект функции.
Итераторы.
Классы и объекты.
Генераторы.

Рассказ ведётся с большим количеством примеров. Каждое погружение внутрь Python начинается с конкретного кусочка кода на Python. Потом разбирается получившийся байт‑код. Дальше — уже команда за командой — разбирается реализация команд байт‑кода на C.

Самые слабые стороны программистов-самоучек

Mon, 26 Oct 2015 21:46:24 +0500

Меня огорчает реакция людей, когда на вопрос «Как мне стать хорошим программистом?» советуешь прочитать книгу по алгоритмам. Хорошо, если каждый десятый спрашивает, какую я посоветую. Остальные девять говорят, что им это не нужно. А ведь алгоритмы — это лишь одна из многих проблем у программистов‑самоучек.

Я это очень хорошо знаю: я сам из самоучек. У меня план по закрытию пробелов в знаниях расписан года на два вперёд. Так что я провожу на Coursera по 3–4 часа в неделю, только чтобы добрать базу. А ведь надо ещё и новые технологии изучать, и работать с хорошей эффективностью. И я считаю, что мне ещё повезло: моих знаний в математике пока хватает.

Kotlin - мой следующий JVM-язык

Mon, 19 Oct 2015 21:42:27 +0500

Утром, в дополнение к физическим упражнениям, я примерно час программирую. Для этого отлично подходят не очень сложные проекты, которые делаются в кайф. Для меня это маленькие игры и приложения для Android. Первый подобный проект я написал на Java. Второй стартовал так же — на Java. Но я решил его портировать на Kotlin.

Основная проблема Java — её многословность. Проект очень быстро перестал «влазить» в голову, особенно по утрам. Обычно это означает, что пришло время рефакторинга и код придётся дробить, делать его похожим на «лютый энтерпрайз». Тоска. А так как проект делается для удовольствия, то я решил попробовать что‑нибудь новенькое и поменять язык разработки.

Паттерн Singleton

Mon, 12 Oct 2015 10:00:00 +0500

lambda не так часто встречается в коде на Python. Есть большая вероятность, что если потребовался синглтон, то в проекте есть проблемы с архитектурой. В первую очередь это касается небольших и средних проектов. Да и в больших проектах синглтон в чистом виде встретишь нечасто.

Когда я готовился к этой статье, я планировал написать о вариантах реализации паттерна. Но когда я начал исследовать, первым делом я наткнулся на следующий код в Википедии:

Неплохой вводный видео-курс по Python

Mon, 28 Sep 2015 10:00:40 +0500

Люблю смотреть разные видеокурсы по используемым языкам и технологиям. Причём не только по продвинутым темам, но и по базовым. Ещё не было такого курса, в котором не нашлось бы чего‑нибудь интересного и полезного для меня.

О последнем просмотренном мной курсе от Георгия Курячего я хочу немного рассказать. Этот курс — отличное базовое введение в Python 2.

Возможно, если вы изучали Python в университете, то этот курс покажется вам слабоватым. Но мне, как человеку, который изучал язык и его библиотеку разрозненно — по книгам, статьям и отдельным видео, — такой курс показался вполне достойным. Он полностью оправдал время, потраченное на него.

Итоги конференции PyConRu 2015

Mon, 21 Sep 2015 10:00:12 +0500

В субботу закончилась конференция PyCon Ru 2015 в Екатеринбурге. Немного остыв, можно подвести некоторые итоги. Конференция получилась хорошей. Как говорит один мой коллега, если на двухдневной конференции было два интересных доклада, то конференция удалась. На PyCon интересных и полезных докладов было больше. Я выделил 4 таких доклада.

Начало положил Гаель Вароко. Если про scikit было просто интересно послушать — в повседневной работе мы машинным обучением не занимаемся, — то рассказ о второй библиотеке joblib заставил нас провести порядочное время на её сайте. Сама библиотека позволяет легко организовывать параллельные вычисления. И нам был очень интересен ответ на вопрос, сможем ли мы её использовать в своём проекте.

Почему не я люблю декораторы и метаклассы

Mon, 14 Sep 2015 10:00:10 +0500

Я не люблю декораторы и метаклассы. Почти любое использование декоратора и любое использование метакласса ухудшает читаемость кода. Их трудно использовать без усложнения кода. Они приводят к трудновыявляемым багам. Так что их использование должно быть обосновано. И их не нужно использовать там, где можно легко и безболезненно обойтись без них.

Если сравнить использование остальных конструкций языка с использованием рогатки, то использование декоратора — это стрельба из пушки, а метаклассы — из системы залпового огня «Град». Последствия их неправильного использования влияют на кодовую базу примерно так же. Декоратор «разламывает» несколько функций и методов, метакласс «разрывает в клочья» несколько классов.

Type Hinting в Python 3.5

Mon, 31 Aug 2015 10:00:26 +0500

«Утиная» типизация, конечно, ускоряет написание программ, но только до определённых пределов. В больших проектах, когда количество кода достаточно велико, такая гибкость начинает давать сбои. С Python 3.0 можно делать типизацию для функций. Но только с 3.5 появится действительно мощный инструмент, встроенный в язык.

Конечно, можно делать описание параметров и возвращаемых значений в докстрингах. Вот только кто их пишет? А если пишет, то кто следит за их актуальностью? Программисты ленивы: если можно что‑то не делать, они не будут этого делать.

Кастомные коллекции

Mon, 24 Aug 2015 10:00:36 +0500

Хорошо написанный код на Python должен работать с последовательностями однообразно. При этом неважно, встроенные это последовательности или нет. Тем более что свою последовательность написать в Python очень просто. Нужно всего лишь переопределить __len__ и __getitem__, чтобы работа с вашей последовательностью в большинстве случаев не отличалась от работы со встроенными последовательностями.

В качестве иллюстрации возьмём такой пример. У нас есть класс ShoppingBasket. В нём лежат какие‑то товары. Пусть нам нужно пройтись по всем товарам, научиться получать товары по ключу и добавлять товары.

Celery: Pickle от которого невозможно отказаться

Mon, 10 Aug 2015 11:00:00 +0500

Если вы решили поменять сериализатор задач для Celery с Pickle на какой‑нибудь другой, ничего не выйдет. Вернее, задачи действительно будут сериализоваться и десериализоваться с помощью указанного сериализатора. Но внутри Celery всё равно используется Pickle, и это никак не изменить. Вернее, не в Celery, а в библиотеке billiard, которая используется мастер‑процессом воркера для раздачи задач из очереди подпроцессам.

В нашем проекте мы столкнулись с тем, что иногда передаём в качестве параметра задач Celery NoneType. Причём не значение None, а именно NoneType.

Декораторы с параметрами по умолчанию

Mon, 03 Aug 2015 13:19:00 +0500

Декораторы в Python — удобный инструмент. Если ими пользоваться с умом, они значительно повышают читаемость кода и его повторное использование.

Но есть один момент, который меня немного напрягает: для декоратора с параметрами по умолчанию нужно ставить пустые круглые скобки после его вызова. Время от времени это приводит к ошибкам. Особенно это актуально, если декоратор является частью публичного API.

@decorator_wo_params
def f1():
    pass

@decorator_w_defaults_params()  # Ну зачем здесь пустые скобки?
def f2():
    pass

С этим можно смириться. В режиме жёстких сроков и большого потока задач времени на поиск решения, написание и тестирование дополнительного кода может просто не быть. Нормальное тестирование выявит проблему моментально. Но иногда невозможно удержаться и не сделать свой код немного красивее.