Разработка on Лаборатория

Вторичные индексы в YDB

Mon, 23 Mar 2026 21:40:27 +0500

Вторичные индексы в YDB живут в скрытых таблицах. Они так же чувствительны к возможности деления на партиции по ключам, как и обычные строковые таблицы.

Способность делиться на партиции вторичные индесы наследуют от первичного ключа исходной таблицы.

Согласно документации во вторичном индексе хранится:

индексные колонки
колонки первичного ключа таблицы
копии дополнительных колонок для покрывающих индексов

NB! первичный ключ таблицы вторичного ключа - это индексные колонки + колонки первичного ключа исходной таблицы.

Посмотреть процессы прибитые OOM

Sun, 08 Sep 2024 18:40:16 +0500

PID убитого по out‑of‑memory‑процессу можно найти с помощью одной команды. Если есть логи с PID процесса, то найти пострадавшего можно, запустив ещё одну команду grep.

OOM‑киллер безжалостен. Кажется, что он выбирает процесс случайным образом — тот, который нужно «пристрелить» на машине. На самом деле под капотом он работает совсем по‑другому, и случайности в его действиях нет. Взглянув на таблицу процессов и пару файлов, можно предсказать, какой процесс будет убит, если сейчас случится OOM.

Практический пример использования Protocol

Mon, 26 Feb 2024 18:36:23 +0500

Представьте себе ситуацию: у вас есть микросервисы, в каждом — своя конфигурация со своим набором параметров; есть библиотечный код, который получает и использует объекты конфигураций. Представили? А теперь в этот код надо завести подсказки типов. И тут представили? Давайте проведём мысленный эксперимент и попробуем это сделать. Вариантов в целом несколько.

Варианты решения:

Базовый класс конфигурации с ещё одним ветвлением:*
- затаскивать все возможные параметры;
- затаскивать только общие для микросервисов параметры.
Использовать протоколы для нотации типов.

Затаскивать все возможные варианты параметров в один базовый класс — гарантированный путь к «помойке». Затаскивать только общие параметры для микросервисов — получать кучу красного цвета от Pyright в общем коде.

Использование typing.Generic в Python

Fri, 18 Feb 2022 18:28:28 +0500

Я работаю над проектом с довольно большой кодовой базой. Проект с историей.

Некоторые части наша команда написала задолго до аннотаций типов. Мы до сих пор добавляем их в наш легаси‑код и улучшаем существующие подсказки. Стоит ли эта игра свеч? Определённо — да.

Наши пользователи — разработчики. Они открывают наш код в PyCharm ежедневно и надеются, что он поможет им решить их задачи максимально быстро и просто.

Могу уверенно сказать, что существует корреляция между точностью автодополнения кода и тем, как быстро работают разработчики. Наша цель — не только добавить более точный статический анализ или автодополнение, но и не сломать их боевой код.

Для чего Python лучше не использовать?

Fri, 22 Nov 2019 18:26:11 +0500

На Quora относительно недавно задали вопрос «What is Python not good for?». Я бы хотел сказать, что Python хорош для всего. Но это неправда. Python во многих областях — второй. Не так много областей, где Python — номер один.

К примеру, Go сейчас гораздо больше подходит для веб‑разработки, чем Python. Его довольно легко выучить, его гораздо легче деплоить. В Go есть достаточное количество «батареек» для любого веб‑приложения. Тем не менее Python остаётся второй опцией.

Подсказки типов в Python

Fri, 24 May 2019 18:22:15 +0500

Мой небольшой список источников по type hints в Python, которые я использую в повседневной практике.

Относительно недавно я сменил проект. Теперь я работаю над DWH и ETL‑процессами. Проект большой: в нём сравнимое количество кода с предыдущим, но разработчиков гораздо больше. Я убеждён, что для этого проекта подсказки типов даже нужнее. Дело не только в количестве разработчиков.

Особенность DWH/ETL‑проектов — наличие разнообразных источников, мест хранения и потребителей данных. Отсюда довольно сильная фрагментированность проекта. И если не добавить «клея», он развалится на отдельные скрипты.

Clash of Code

Fri, 26 Apr 2019 18:20:27 +0500

В начале года я писал, что хочу сделать большой и интересный проект с Codingame: создать и обучить бота для Legends of Code & Magic. В очередной раз, когда я прокрастинировал начало этого проекта, я наткнулся на Clash of Code! — быстрые мини‑соревнования по кодированию на этом же сайте. Попробовав поиграть, я могу сказать, что это отличный способ отвлечься от рабочей рутины, попутно потренировав свои навыки.

Формат Clash of Code

Эти мини‑соревнования строятся по такому принципу:

Переименование при импорте

Mon, 18 Mar 2019 18:18:34 +0500

В Python есть замечательная возможность присваивать свои имена при импорте (import foo.bar.baz as fbb). Так можно легко избежать конфликтов имён при импорте и повысить читаемость кода, если требуется. Но этой же возможностью можно легко превратить хороший код в абсолютно нечитаемый. В последнее время я несколько раз встречался с этим: попадались мне в основном странные сокращения и непонятные имена для алиасов.

Продемонстрирую проблему на примере сокращений. Хороший пример придумать с ними проще:

Пожалуйста, не используйте else

Tue, 29 Jan 2019 18:15:47 +0500

Я не люблю else, когда обе ветки содержат return. Всегда можно написать код без этого придатка для if. Такой код будет компактнее, проще читаться и лучше выглядеть. Так зачем же многие пишут этот никчёмный else?

Делая ревью кода одного из коллег, я указал на то, что его код можно упростить, убрав else. Ответом была ссылка на PEP8, где такое поведение определяется допустимым. Код был примерно таким:

def get_magic_number(use_magic):
    if use_magic:
        return calculate_with_magic()
    else:
        return calculate_with_science()

С точки зрения работоспособности этому коду нечего предъявить. Меня, как читателя, такой код заставляет остановиться и задуматься:

Мобильное приложение на Kivy и Python? Мм… Не сейчас

Thu, 25 Oct 2018 16:47:52 +0500

Есть несколько GUI‑фреймворков на Python. Большинство из них предназначены только для десктопных приложений. Kivy — редкое исключение: с использованием этого фреймворка можно, в теории, строить мобильные приложения. К сожалению, он не готов к продакшену. Вы вынуждены жонглировать версиями библиотек, чтобы заставить это работать. Так что, даже сидя в футболке с надписью print("Python is my favorite language"), я должен признать, что Kivy не подходит для мобильной разработки.

Хорошо. Жонглировать версиями приходится и в случае веб‑приложения. Но всё‑таки тогда в 99 % случаев речь идёт о библиотеках Python либо есть контроль над окружением. В целом вы можете построить Docker‑образ с любыми версиями, какие необходимы. Kivy же вносит кучу бинарных зависимостей, которые должны быть установлены с помощью специфичных для платформ инструментов. И в целом вы не сможете контролировать окружение — а это меняет всё.

Использовать Optional в абстрактных классах или нет?

Thu, 06 Sep 2018 16:45:46 +0500

Подсказки типов в Python необязательны: вы вольны выбирать, пользоваться ими или нет. Но, начав включать их в свой код, вы точно столкнётесь с определёнными трудностями аннотирования функций или переменных. Эта статья — моя точка зрения на один специфический случай.

К примеру, имеется иерархия классов, которая выглядит похожей на ту, что представлена в коде ниже. Это может быть какой‑то маппинг в базу или иерархия команд. Самая важная часть в этом примере — то, что имеется один абстрактный класс и несколько реальных классов, его наследников. Не так важно, помечен ли этот абстрактный класс специальным образом или нет. Я просто предполагаю, что он используется в качестве такового.

Coders Strike Back Post-mortem

Thu, 12 Jul 2018 16:42:09 +0500

За последние несколько месяцев я потратил порядка 40 часов в выходные и по вечерам на то, чтобы написать бота, способного пройти трассу Coders Strike Back быстрее соперников. За эти 40 часов я умудрился набить порядочное количество шишек, выбраться в легендарную лигу и даже занять там, на мой взгляд, пристойное место. Данный пост — post mortem этого проекта.

Важная оговорка: бо́льшая часть пути была проделана с ботами на Python, но заключительные этапы были пройдены на C++. Не думаю, что дело в Python — скорее всего, я не заметил кучу ошибок в своём коде, которые было лень исправлять, но об этом ниже.

Computer Science Distilled

Wed, 28 Feb 2018 16:38:43 +0500

Хотите найти небольшую простую книгу о компьютерных науках? Возможно, Computer Science Distilled подойдёт. К сожалению, только в том случае, если вы не планируете программировать профессионально. В этом случае эта книга — хороший вводный курс, хороший проводник в мир компьютерных наук. Но если вы профессиональный девелопер или студент, можно смело пропускать эту книгу.

It’s a short book, written in plain, basic English. It presents ideas in their simplest form. It focuses on practical aspects of computer science that matter most: everyday things that directly impact the quality of your code.

Tuple[Callable, Any, ...]

Mon, 29 Jan 2018 16:35:53 +0500

Подсказки с типами могут сильно помочь в работе с большим проектом на Python. Тем не менее иногда они требуют рефакторинга кода. Я писал об этом в прошлом году в этой статье, но тогда я не смог найти хорошего примера, иллюстрирующего то, что я хочу сказать.

Взгляните на этот код:

def process(workflow_step):
    func = step[0]
    args = step[1:]
    return func(*args)

Что можно понять о типах из этого кусочка? То, что workflow_step — это последовательность, первый элемент которой — Callable object, а остальные элементы, если таковые имеются, — аргументы для этого вызываемого объекта. Предположим, что workflow_step — Tuple. Проблема в том, что тип (Tuple) -> Any для этой функции слишком общий и неинформативный. Можем ли мы вызвать её с пустым кортежем? Пройдёт ли (1, 2, 3)?

Как внедрить mypy в проекте на Python 2.7

Mon, 11 Dec 2017 17:34:15 +0500

Я многократно писал, что описание типов в Python помогает в работе с большими и средними проектами. При этом, если внедрять типы, то нужно регулярно делать статический анализ — причём в CI. А вот это уже не так‑то просто внедрить. Эта статья — мой рассказ о том, какие трудности придётся преодолеть в процессе внедрения.

За то время, что я пытаюсь внедрить проверку типов в нашем проекте, я выработал несколько подходов к тому, как это можно сделать максимально быстро и безболезненно. На то, чтобы прийти к этому, я убил не один день. Пользуйтесь моим опытом.

Что почитать о asyncio. 9 полезных ссылок

Fri, 20 Oct 2017 17:31:50 +0500

Asyncio — полезная библиотека. Но разобраться с ней не так‑то просто. Документации по большей части недостаточно. Хочется примеров. Хочется подробных объяснений. Последние несколько выходных я потратил на эксперименты с этой библиотекой. Во время чего в Pocket осели довольно интересные ссылки, которыми я хочу поделиться.

Exploring Python 3’s Asyncio by Example

Короткое введение в asyncio и aiohttp на нескольких небольших примерах. Примеры сделаны максимально простыми. Используется синтаксис с декораторами — статья написана довольно давно. Как отмечает автор, эта статья показывает лишь верхушку айсберга.

Поддержка целостности проекта в Python требует усилий

Fri, 06 Oct 2017 17:28:58 +0500

Python позволяет программисту довольно много. Это очень выразительный язык. Его динамическая природа даёт возможность делать элегантные решения, которые довольно сложно представить, к примеру, в Java.

Тем не менее за всё надо платить. При росте кодовой базы проекты на Python начинают требовать всё больше и больше ресурсов на поддержание своей целостности. Без некоторых усилий проект начинает разваливаться на куски.

Первая проблема — навигация по коду

Основная проблемная часть — навигация по коду. На начальном этапе её зачастую приносят в жертву более компактному решению, что впоследствии обязательно приведёт к ряду проблем. Главная из которых — высокая сложность поиска причин ошибок.

Хэш-функция для функции в Python

Tue, 12 Sep 2017 17:26:17 +0500

Пару недель назад один из моих коллег задал вопрос: можно ли использовать функцию в качестве ключа словаря? Да, можно. У каждой функции в Python есть хеш. Но как он считается? На основе имени функции? На основе байт‑кода? В действительности хэш считается как трансформация над указателем на объект функции. Тем не менее не так‑то легко отыскать эти расчёты в коде CPython.

Навигация по C‑коду — довольно интересный опыт, хотя делать это совсем непросто: все эти макросы делают простой поиск нужных переходов довольно сложным. Конечно, я уверен, что вы сможете с этим справиться и найти все вызываемые функции при запросе хеша для объекта функции.

Структуры данных и алгоритмы в Java (2-е издание)

Tue, 15 Aug 2017 17:29:21 +0500

Для меня основное достоинство книги «Структуры данных и алгоритмы в Java» — язык, которым автор описывает алгоритмы. Он не использует сложный академический язык, приправленный тонной высшей математики. Роберт Лафоре использует простой язык и пытается дать максимально простое объяснение, какое только возможно, каждому алгоритму.

Почему эта книга?

Эта книга — для занятых (или ленивых) студентов или программистов, которые решили повторить алгоритмы перед техническим интервью. Книгу можно просмотреть очень быстро: читаем список идей после каждой статьи, просматриваем примеры кода. Если что‑то показалось непонятным, возвращаемся к основному тексту главы.

Горячие клавиши Emacs в русской раскладке

Sat, 10 Jun 2017 17:27:10 +0500

Думаю, вы, как и я, не можете позволить себе пользоваться только английской раскладкой клавиатуры. Так или иначе для работы приходится использовать обе: и русскую, и английскую. В целом это не доставляет никаких проблем, пока дело не касается Emacs.

Не знаю почему, но в нём горячие клавиши в русской раскладке просто перестают работать. Видимо, сказывается страшное наследие «ASCII — единственно возможный набор символов для всех языков мира». Возможно, есть какие‑то другие причины.

Property в классе наследнике

Tue, 30 May 2017 17:25:13 +0500

Кажется очевидным, что property можно переопределить в классе‑наследнике и вызвать super внутри этого переопределённого свойства. Вроде бы звучит нормально? Да, так и есть. Тем не менее, когда мой коллега задал мне такой вопрос, я «завис» на некоторое время. Возможно, я излишне подозрителен, но каждый раз, когда в коде есть какая‑то магия, я ожидаю подвоха. Поэтому я решил немного поэкспериментировать и доказать себе, что свойства (property) работают так, как ожидается.

# -*- coding: utf-8 -*-
from __future__ import print_function, unicode_literals, absolute_import


class Parent(object):
    @property
    def prop(self):
        print("Parent property")

class Child(Parent):
    @property
    def prop(self):
        super(Child, self).prop
        print("Child property")

child = Child()
child.prop

Работает, как и ожидалось:

Pyenv на маке

Fri, 19 May 2017 17:23:03 +0500

Довольно сложно управляться с несколькими версиями Python на одном ноутбуке. Хотя это довольно распространённая ситуация. Обычно у разработчиков несколько проектов, требующих разных версий Python. В целом есть несколько вариантов для решения этой задачи, но моим любимым остаётся pyenv в компании с плагином pyenv‑virtualenv. Раньше я использовал «голый» Homebrew, но это далеко не так гибко и удобно.

Установка

$ brew update
$ brew install pyenv
$ brew install pyenv-virtualenv

$ echo 'eval "$(pyenv init -)"' >> ~/.bash_profile
$ echo 'eval "$(pyenv virtualenv-init -)"' >> ~/.bash_profile

Базовый шаблон использования

Настоятельно рекомендую делать отдельные виртуальные окружения для каждого проекта. Иногда бывает необходимо делать даже несколько окружений для одного проекта. К примеру, если хочется использовать mypy для проекта на Python 2.

Enums в Python

Fri, 17 Feb 2017 22:08:55 +0500

Enum — наименее используемая фича Python. Как программисты, мы предпочитаем использовать странные словари (дикты) или списки там, где могли бы использовать enum. По большей части это происходит из‑за того, что это довольно новая фича, и требуется использовать внешнюю библиотеку обратной совместимости, если используется Python версии 2.7. Тем не менее довольно много случаев, когда использовать enum гораздо удобнее.

В любом проекте на Python легко найти код, который делает проверки против строковых литералов. Подобные конструкции используются для определения типов постов, ролей клиентов и тому подобного. Конечно, этот код меняется со временем — меняется набор используемых строковых литералов. Это делает такой код трудноподдерживаемым и труднотестируемым.

Effective Java второе издание

Fri, 30 Dec 2016 22:03:16 +0500

Если задать вопрос о том, какую книгу стоит прочесть о Java, все скажут, что «Effective Java». Эта книга есть во всех списках рекомендованных книг по Java — за исключением, пожалуй, только тех, авторы которых пытаются продать вам свои книги. Есть несколько причин, почему эта довольно старая книга остаётся такой популярной.

Во‑первых, эта книга учит, как писать хороший Java‑код. Это значит не только быстрый код, но и читаемый, и поддерживаемый. Она описывает общие Java‑паттерны, которые делают ваш код более понятным для других программистов. Книга не рассказывает о том, как «хачить» JVM, — только о том, как использовать её более эффективно.

Делаем Java-подобный Optional в Python

Fri, 25 Nov 2016 22:01:03 +0500

В некоторых случаях использование None может превратить код в нечитаемую и неподдерживаемую кашу. К примеру, если есть необходимость отличить «пустое» значение от отсутствия значения для целочисленного ввода, когда 0 не может использоваться в качестве этого «пустого» значения, обойтись, используя только None, очень сложно. Одно из возможных решений — использовать что‑то подобное Optional из Java.

Конечно, Optional — не совсем «питонячий» путь. В некоторых случаях можно использовать исключения, как предлагается в этой дискуссии на Stack Overflow.

Бэктрекин без рекурсии на Python

Thu, 03 Nov 2016 22:02:16 +0500

В Python нет оптимизации хвостовой рекурсии и достаточно жёсткий лимит на рекурсивные вызовы. Это может вызвать затруднения при решении задач с помощью алгоритма бэктрекинга: лимита хватает на поиск решения судоку, но он может оказаться слишком низким, если количество решений для проверки в задаче довольно высоко.

Тем не менее реализация бэктрекинга с рекурсией на Python элегантна, легко читаема и понятна. Отказываться от неё имеет смысл только для «тяжёлых» задач.

def backtrack(self, solution):
    if solution in self.seen_solutions:
        return
    if self.reject(solution):
        return
    if self.accept(solution):
        self.output(solution)
    for child_solution in self.child_solutions(solution):
        self.backtrack(child_solution)

Когда сложность задачи достигнет лимита рекурсивных вызовов, можно переключиться на шаблон без рекурсии. Он уже не так элегантен, как рекурсивное решение, но не так страшен, как мог бы быть. К тому же он использует те же вспомогательные функции, что и его собрат с рекурсией.

Обзор курса Functional Programming Principles in Scala

Mon, 24 Oct 2016 22:00:40 +0500

Этой осенью я закончил курс на Coursera «Functional Programming Principles in Scala». Этот курс — часть специализации из 5 курсов «Functional Programming in Scala». Это шестинедельное введение в функциональное программирование и Scala.

Автор курса — Мартин Одерски, создатель языка Scala. Он действительно великий учёный в области компьютерных наук. Тем не менее от его лекций клонит в сон. В общем‑то с его лекциями всё в порядке — просто я не сразу нашёл правильный способ прохождения курса: сначала надо пытаться решить практическую задачу, а потом с кучей готовых вопросов смотреть лекции. Так его лекции гораздо полезнее.

Хочется добавить тип локальной переменной? Пора делать рефакторинг!

Thu, 06 Oct 2016 21:58:54 +0500

PEP 526 добавляет, начиная с Python 3.6, опциональную возможность указать тип для локальной переменной. Это более стройная замена комментариям с указанием типа. Это хорошо, но есть одна ловушка: указание типа в Python может скрыть проблемы в коде.

Эти аннотации придуманы и сделаны в основном для автоматических анализаторов кода. Python позволяет писать понятный людям код и без дополнительного указания типа переменной. Поэтому, если есть желание добавить к переменной такое определение, — вы в беде. Это последнее средство для увеличения читаемости кода, а не первое.

MongoDB count могут сильно замедлить API

Fri, 23 Sep 2016 21:56:50 +0500

Иногда команда фронтенда или другие потребители API просят выводить в эндпоинтах общее число объектов. Если в качестве хранилища используется MongoDB, постарайтесь избежать этого: такое поведение эндпоинтов может значительно их замедлить.

Я говорю о тех случаях, когда ответ API похож на тот, что расположен ниже, — тогда ждите беды:

{
  "total": XX,
  "limit": ZZ,
  "offset": YY,
  "objects": [...]
}

Если коллекция достаточно большая, а запрос достаточно тяжёлый, count будет работать непозволительно долго. Запрос find при этом может работать быстро: ему ведь надо вернуть всего‑то десяток объектов. count будет перебирать весь набор объектов, подходящих под условия запроса.

Не используйте dict так часто

Fri, 09 Sep 2016 21:53:40 +0500

У разработчиков на Python наблюдается тенденция использовать словари (дикты) там, где нужно, и там, где нет. В основном это касается передачи данных внутри приложения в виде словаря (дикта), вместо создания объекта. Это плохой дизайн, который приводит к целому вороху проблем, самая страшная из которых — такой код невозможно читать.

К примеру, есть код, который вызывает внешнее API и получает в ответ JSON, который уже распарсили в dict. Стоит мне отправлять этот словарь дальше или лучше трансформировать его в экземпляр более специфического класса? Оба варианта возможны. Обычно я предпочитаю использовать классы и объекты, хотя это требует определённых усилий и времени: соответствующий класс надо ещё написать.

Переезд с Python на Java. Первые впечатления

Fri, 26 Aug 2016 22:18:14 +0500

Буквально неделю назад я добавил Java в свой рабочий стек технологий: мы начали делать новый проект с использованием Java Spring Framework. Для меня это интересный вызов. Я никогда раньше не использовал Java, кроме как для маленьких домашних проектов. Вот мои самые первые впечатления о «лютом энтерпрайзе».

Я не хочу сравнивать Python и Java как языки программирования. Очевидно, что в Java есть статическая типизация, а в Python — нет. Очевидно, что Java более многословна, а Python — более компактен. Всё это не так интересно. Гораздо интереснее сравнить окружение языков, требуемый ими подход к программированию.

mypy для проекта на Python 2.7

Fri, 29 Jul 2016 22:16:02 +0500

Аннотация типов может сильно помочь при работе над большим проектом на Python: многие ошибки в дизайне и использовании функций выявляются практически сразу. Конечно, для этого требуется использование внешних инструментов для статического анализа, таких как MyPy. Это великолепный инструмент, но он поддерживает третью ветку Python. Поддержка Python 2.7 в нём требует некоторой подготовки.

Type comments vs stub files

Для начала нужно определиться, как аннотировать типы в коде. Для второй ветки Python есть два варианта: аннотирование в комментариях или использование стаб‑файлов. Я предпочитаю первый путь: он информативнее (типы перед глазами) и его легче поддерживать.

Свой итератор поверх enumerate

Mon, 27 Jun 2016 22:08:24 +0500

ППару дней назад коллега попросил сделать логирующий сам себя итератор поверх enumerate. Я попробовал наследоваться напрямую и потерпел неудачу. Я абсолютно забыл, как работает магический метод __new__. Поскольку я был занят, я пообещал себе разобраться с этой проблемой позже. А ларчик открывался очень просто: 18 строк кода — и у меня появилась нужная функциональность.

Изначальная задача

Сначала стоит объяснить, зачем нам вообще понадобился подобный итератор и почему нам не хватило обычного enumerate. Всё дело в том, что у нас в проекте очень много задач, построенных по такому шаблону:

Онлайн курс по Clojure

Tue, 07 Jun 2016 22:05:31 +0500

Clojure — интересный Lisp‑подобный функциональный язык. Если вы фанат круглых скобок, то программировать на этом языке интересно. К тому же Clojure компилируется в байт‑код JVM и транслируется в JavaScript. Вернее, в JS транслируется ClojureScript. Над ним работает та же команда, что и над Clojure, так что это всё‑таки один и тот же язык — за исключением некоторой разницы в типах и мелочах, зависящих от среды исполнения. При этом ресурсов для изучения этого языка не так много. Один из них — онлайн‑курс Functional programming in Clojure.

Как управляться с большими проектами на Python

Wed, 01 Jun 2016 21:58:36 +0500

На Hacker News появилась интересная дискуссия о том, как управляться с большими Python‑проектами. Поскольку я причастен к достаточно большому проекту, то не могу удержаться и не поделиться своим видением на этот вопрос. Я составил список из трёх моментов, на которые стоит обратить внимание.

1. Обеспечьте себе безболезненную навигацию по коду

В большом проекте навигация по коду и автокомплит сильно упрощают разработку и поддержку. Всё, что ломает навигацию, должно подвергаться сомнению. А это значит, что хитрые конструкции и метапрограммирование должны быть очень хорошо обоснованы: без них либо не обойтись, либо очень сложно обойтись. В остальных случаях лучше выбирать более очевидные (в том числе для тулзов) пути.

Проект на Kivy. Часть 1. Настройка окружения

Mon, 16 May 2016 21:52:27 +0500

Kivy — интересный проект, который позволяет делать кроссплатформенные GUI‑приложения, включая мобильные. Я решил выяснить, можно ли использовать его для создания маленьких приложений на Python. В этой серии статей я попробую исследовать Kivy на примере клона «конструктора слов» — одного из упражнений для LingvoLeo.

Эта серия — не учебник, а исследовательский лог моих попыток. В результате я планирую получить собранные приложения для трёх платформ минимум: Windows, Mac, Android. Будет здорово, если я соберу ещё и iOS‑версию. В качестве основной платформы для разработки я использую Mac, так что все инструкции по установке и настройке окружения будут для этой операционной системы.

Модификация параметров под args или kwargs

Wed, 04 May 2016 16:48:57 +0500

В Python достаточно часто интерфейсы функций частично или полностью «сворачивают» с помощью *args и **kwargs. Это вполне естественно для питонистов, но вызывает вопросы при переходе с других языков. С самим «сворачиванием» никаких проблем нет. Сложности возникают при модификации аргументов: строятся проверки вокруг args и kwargs, вместо того чтобы «развернуть» интерфейс функции.

Представьте себе такой кейс: есть две библиотеки, одна из которых имеет полностью прописанный интерфейс у функции foo. Вторая определяет функцию boo, которая вызывает foo. Интерфейс boo «свёрнут» с помощью *args и **kwargs:

Почему я вернулся в PyCharm

Mon, 18 Apr 2016 16:43:57 +0500

В конце января я переключался на Sublime как основную IDE для Python. Но уже через пару недель я был вынужден вернуться на PyCharm. Последние несколько недель я активно использовал Emacs. Он великолепен. И всё‑таки для рабочих проектов я снова возвращаюсь к PyCharm.

Все три варианта хорошо подходят для работы с Python. Все три позволяют работать продуктивно. Так что выбирать приходится исходя из слабых сторон каждого из них.

Что не так с PyCharm

Есть несколько причин, почему я периодически пытаюсь сбежать в какой‑нибудь другой редактор.

Изменяемы типы в качестве параметров по умолчанию в Python

Mon, 11 Apr 2016 16:41:04 +0500

Почему изменяемые типы не рекомендуется использовать в качестве значений аргументов по умолчанию в Python? Если вы забрались по карьерной лестнице выше джуниора, то наверняка задумывались. И наверняка ответ был таким: «Это приводит к странным побочным эффектам». Но я почти наверняка уверен, что только малая часть разработчиков на Python сделала шаг дальше и разобралась, почему такое поведение у языка.

Давайте разберёмся сначала с тем, с какими побочными эффектами имеем дело. Напишем вот такую функцию:

Обзор курса по Haskell на Stepic.org

Mon, 04 Apr 2016 16:38:00 +0500

Как‑то я уже упоминал курс «Функциональное программирование на языке Haskell». Наконец могу поделиться собственными впечатлениями об этом курсе.

Этот курс стоит того, чтобы его пройти и сделать (или хотя бы попытаться сделать) все предложенные задания. Лучшего вводного курса по Haskell я не встречал. Огромное спасибо Денису Москвину (основной преподаватель) и команде за курс!

Курс состоит из 5 блоков, каждый из которых раскрывает некоторые аспекты языка: типы данных, списки, монады и т. п. Каждый блок — это набор видеоуроков с заданиями примерно на 5–6 часов работы.

Полезняшка: responses

Wed, 09 Mar 2016 18:30:51 +0500

Если вы используете в своём проекте requests, то наверняка сталкиваетесь с проблемами тестирования. На помощь придёт библиотека responses, которая позволяет делать моки ответов вызовов requests.

Мы в своём проекте используем эту библиотеку не так давно. Хотя из‑за особенностей окружения проекта мы часто обращаемся к огромному количеству REST API смежных сервисов. И до того, как requests попалась нам на глаза, код тестов представлял из себя нечто невообразимое, трудночитаемое.

Пользоваться библиотекой невероятно просто. Для иллюстрации — пара примеров из документации.

Generator vs Iterator

Mon, 29 Feb 2016 18:29:21 +0500

Как ни странно, вопрос о разнице между генераторами и итераторами в Python — довольно частый. В общем‑то эти сущности сильно связаны (любой генератор — это итератор), их довольно часто путают, что иногда приводит к недопониманиям.

Итератор — более общая концепция. Это объект, у которого определены два метода: __next__ и __iter__.

С другой стороны, генератор — это итератор, но не наоборот. Генератор может получаться с использованием yield в теле функции:

def squares(start, stop):
    for i in range(start, stop):
        yield i * i


generator = squares(a, b)

Либо с использованием так называемых generator expression — например, такого:

Как вы управляете своими pet-проектами?

Tue, 16 Feb 2016 18:25:23 +0500

Сотни моих начинаний остаются недоделанными и даже близко не достигают целей, которые ставились перед проектом. И это при том, что зачастую основная цель — просто изучить ту или иную технологию.

Самих идей проектов хоть отбавляй. Конечно, далеко не на всё есть время. Но самые «сочные» идеи хотелось бы реализовать — пусть не быстро, но хоть в какое‑нибудь разумное время.

Из испробованных приёмов у меня более или менее нормально работает выделение времени по утрам. Причём работает где‑то половину года, когда светает достаточно рано. Заставить себя выбраться из‑под одеяла зимой — дохлый номер. Не помогает и какой‑нибудь ритуал, который хорошо работает летом. Обычно всё скатывается к просмотру какого‑нибудь сериала лёжа в кровати.

Страсть к смене технологий: с Python на Lua

Mon, 08 Feb 2016 18:23:14 +0500

Брайан Майер из Distelli опубликовал любопытную статью «Using Lua for Our Most Critical Production Code». В статье расхваливается переход с одной технологии на другую и то, как это помогло решить кучу проблем. При этом совсем не упоминается, с какими проблемами при этом столкнулись, и совсем нет анализа, какие проблемы могут возникнуть в будущем.

По большому счёту, смена технологии проекта в его середине — обычно очень плохая идея. Программистов надо вытащить из области, в которой они разбираются, в совершенно незнакомое окружение. Не могу сказать, что это всегда негативно сказывается на команде, но такие риски надо просчитывать. Если человека нанимали за его экспертные знания в Python, будет ли он счастлив писать на Lua?

В чем главная слабость Python, как языка программирования?

Mon, 25 Jan 2016 22:18:28 +0500

Я очень люблю Quora.com. В отличие от Stack Overflow, здесь можно найти интересные обсуждения, не связанные с конкретными вопросами, а с общими ощущениями от технологий. Недавно наткнулся, к примеру, на такое обсуждение: «What are the main weaknesses of Python as a programming language?».

В основном Python ругают за тормознутость, сравнивая с компилируемыми языками. Я уже писал, что считаю это обвинение надуманным. Для меня скорость разработки гораздо важнее. Для CPU‑bound задач я бы в первую очередь подумал об алгоритмах, а потом использовал Cython. Да и не так уж много таких задач. А если ваш проект весь такой, то какого лешего вы выбрали скриптовый язык для этого?

Приватных полей в питоне нет

Mon, 18 Jan 2016 21:45:05 +0500

Достаточно часто встречаю вопросы о приватных полях и методах в Python от людей, которые раньше программировали на Java (или C++). Вот только в Python класс — это не совсем то же, что и в Java. В Python класс — это просто контейнер, содержимое которого доступно всем.

«Приватные» поля — это всего лишь договорённость по именам, которая никак не мешает работать с такими полями из любого места кода. Добавление имени класса к имени переменной — слабая защита.

Я влюбился в Django. Снова. А вы что сделали за новогодние каникулы?

Mon, 11 Jan 2016 21:43:06 +0500

Ещё 31 декабря прошлого года у меня были гигантские планы на каникулы. Как минимум я должен был закончить один из своих сайт‑проектов. К сожалению, работе удалось уделить всего 4 часа. Но за это время я успел снова влюбиться в Django.

Кажется, я где‑то уже об этом писал: Django — это мой проводник в мир Python. Именно благодаря этому фреймворку меня вырвало из хищных лап PHP. И первое время к Python я относился как к досадной необходимости, без которой Django не работает.

Django или Flask?

Mon, 28 Dec 2015 18:31:44 +0500

Решил восстановить свой сайт о настольных играх — VseNastolki.ru. Когда‑то там был интернет‑магазин, но, поскольку теперь на столь серьёзный проект меня не хватит, я буду делать всего лишь базу настольных игр. Оформив идею, я, как настоящий программист, взялся за выбор фреймворка: Flask или Django.

Другие фреймворки я не рассматривал. Причина проста: у меня нет опыта работы с ними. Проект хочется закончить, так что использовать неизвестный фреймворк для этого не хочется. Так что в кандидатах остались только Flask — наш текущий фреймворк на работе — и Django — фреймворк, из‑за которого я попал в мир Python.

Деление данных по коллекциям в MongoDB

Mon, 21 Dec 2015 18:28:04 +0500

Не надо лезть в MongoDB с реляционным подходом. Этот тезис вроде бы очевиден, но когда дело доходит до реализации, возникает множество вопросов. И стопроцентно одним из них будет: «Как делать join?». Правильный ответ: никак.

Да, в версии 3.2 появился $lookup в агрегациях. Отчасти это замена классическому JOIN из реляционного мира. Но в целом агрегации — не самый быстрый в MongoDB инструмент. Лучше, когда запрос идёт к одной коллекции и это обычный find.

Почему Python такой популярный, если он такой медленный?

Mon, 14 Dec 2015 18:25:43 +0500

На Quora обсуждают «Почему Python такой популярный, хотя такой медленный». Тема, конечно, холиварная. Но порассуждать на неё интересно. Ведь Python действительно медленный.

Медленный, если сравнивать его с C/C++, Java или C#. Это факт. Python — достаточно медленный скриптовый динамический язык программирования. Любая метрика покажет, что программа на C++ будет работать быстрее. Но есть у языков и другая, не менее важная метрика — скорость разработки.

Вот тут динамические языки начинают выигрывать. Разрабатывать на Python, Ruby, JS быстрее, чем на Java. А скорость разработки — это прямая экономия для компании. Сегодня разработка продукта заканчивается, только если проект закрывают. В остальных случаях купить ещё один инстанс у Amazon дешевле, чем увеличить срок разработки какой‑либо фичи на пару недель.

Sublime Text 3 как Python IDE

Mon, 07 Dec 2015 18:15:51 +0500

Пока на RealPython разжигают войну IDE и объясняют, как настроить среду разработки на Python под:

Я расскажу, почему я (пока) переехал на Sublime Text 3 и как я его настроил. А также отмечу, чего в нём не хватает для счастливой разработки.

PyCharm — замечательная IDE для Python. Это, несомненно, так, но если нужно разрабатывать full‑stack, то одним им не обойтись. На работе это не проблема. Но вот дома покупать лицензию на все продукты JetBrains ради экспериментов накладно.

Flask: что почитать

Mon, 30 Nov 2015 13:58:48 +0500

НЕ! Обновляемый список полезных ссылок с материалами по Flask

Версия: 1.0. Последнее обновление: 30.11.2015.

Начинающим

«The Flask Mega‑Tutorial» — подробный пошаговый учебник по веб‑фреймворку Flask. Покрывает все основные темы: шаблоны, формы, базу данных, интернационализацию, деплоймент на сервере.
«Flask Workshop» — трёхчасовое видео от того же автора. Демонстрация основных возможностей Flask на живом примере.
Ещё один учебник — «Flask TodoMVC». На этот раз создают не блог, а список задач (To‑Do). Плюс этого учебника в том, что рассматривается не только Flask, но и его использование в связке с JS‑фреймворком Backbone.js.
«Flask by Example» — учебный пример с Flask, Redis и Angular.
Если ещё не устали от учебников и учебных проектов, посмотрите ещё один материал от Real Python — «Python Web Applications With Flask». Помимо того, что это хороший, подробный и понятный учебник, в нём описывается переход от небольшого приложения к среднему — во Flask это нетривиальная задача. В третьей части рассматриваются вопросы тестирования и отладки приложения.

Опытным пользователям

Конвертирование андроид приложения на Kotlin

Mon, 16 Nov 2015 13:54:25 +0500

На прошлой неделе наткнулся на очень интересную статью от Антонио Лева: «Converting Plaid to Kotlin: Lessons Learned». В ней автор на примере одного Android‑приложения сравнивает Kotlin и Java. Цель — выявить преимущества и недостатки разработки на Kotlin.

Если посмотреть на числа, которые приводит автор, то по ним видно, что на Kotlin код получается значительно компактнее: на 22 % меньше строк, на 27 % меньше символов. Это значит, что программировать на Kotlin значительно быстрее, чем на Java. Да и приятнее (но это цифрами не измерить).

Highload++ 2015

Wed, 11 Nov 2015 13:48:28 +0500

На прошлой неделе прошла конференция Highload++ 2015. Конференция большая: доклады шли в 5 потоков. Казалось бы, выбор большой, но если отбросить секцию менеджмента и секцию фронтенд‑разработки, то в каждом втором докладе будет PostgreSQL. Один из моих коллег так высказался о конференции: «Highload++ 2015 — 40 % PostgreSQL, 40 % очереди, 20 % приправы».

Не буду рассказывать о всех докладах, которые я посетил. Как и на всякой конференции, было много неудачных докладов. Я расскажу немного о трёх, на мой взгляд, самых достойных докладах конференции. Если будете покупать видео с этой конференции, то записи первых двух докладов стоят того, чтобы их посмотреть. Про третий доклад разговор отдельный.

Cpython Internals Walk Through

Mon, 02 Nov 2015 13:45:31 +0500

Ресурсов о том, как работает стандартная реализация Python (CPython) внутри, мало. Пробиваться самому сквозь не самый очевидный код на C — задача для питониста очень сложная. Чтение кода на C требует определённой практики. Серия лекций, прочитанная Филипом Гио, — хорошая отправная точка.

Филип подробно рассказывает о внутренних структурах Python, проводя студентов от байт‑кода к структурам, написанным на C.

Темы, охваченные курсом:

Байт‑код и главный цикл интерпретатора.
Фреймы, вызовы функций, области видимости.
PyObject.
Типы данных в Python.
Объект с кодом, объект функции.
Итераторы.
Классы и объекты.
Генераторы.

Рассказ ведётся с большим количеством примеров. Каждое погружение внутрь Python начинается с конкретного кусочка кода на Python. Потом разбирается получившийся байт‑код. Дальше — уже команда за командой — разбирается реализация команд байт‑кода на C.

Самые слабые стороны программистов-самоучек

Mon, 26 Oct 2015 21:46:24 +0500

Меня огорчает реакция людей, когда на вопрос «Как мне стать хорошим программистом?» советуешь прочитать книгу по алгоритмам. Хорошо, если каждый десятый спрашивает, какую я посоветую. Остальные девять говорят, что им это не нужно. А ведь алгоритмы — это лишь одна из многих проблем у программистов‑самоучек.

Я это очень хорошо знаю: я сам из самоучек. У меня план по закрытию пробелов в знаниях расписан года на два вперёд. Так что я провожу на Coursera по 3–4 часа в неделю, только чтобы добрать базу. А ведь надо ещё и новые технологии изучать, и работать с хорошей эффективностью. И я считаю, что мне ещё повезло: моих знаний в математике пока хватает.

Kotlin - мой следующий JVM-язык

Mon, 19 Oct 2015 21:42:27 +0500

Утром, в дополнение к физическим упражнениям, я примерно час программирую. Для этого отлично подходят не очень сложные проекты, которые делаются в кайф. Для меня это маленькие игры и приложения для Android. Первый подобный проект я написал на Java. Второй стартовал так же — на Java. Но я решил его портировать на Kotlin.

Основная проблема Java — её многословность. Проект очень быстро перестал «влазить» в голову, особенно по утрам. Обычно это означает, что пришло время рефакторинга и код придётся дробить, делать его похожим на «лютый энтерпрайз». Тоска. А так как проект делается для удовольствия, то я решил попробовать что‑нибудь новенькое и поменять язык разработки.

Паттерн Singleton

Mon, 12 Oct 2015 10:00:00 +0500

lambda не так часто встречается в коде на Python. Есть большая вероятность, что если потребовался синглтон, то в проекте есть проблемы с архитектурой. В первую очередь это касается небольших и средних проектов. Да и в больших проектах синглтон в чистом виде встретишь нечасто.

Когда я готовился к этой статье, я планировал написать о вариантах реализации паттерна. Но когда я начал исследовать, первым делом я наткнулся на следующий код в Википедии:

Неплохой вводный видео-курс по Python

Mon, 28 Sep 2015 10:00:40 +0500

Люблю смотреть разные видеокурсы по используемым языкам и технологиям. Причём не только по продвинутым темам, но и по базовым. Ещё не было такого курса, в котором не нашлось бы чего‑нибудь интересного и полезного для меня.

О последнем просмотренном мной курсе от Георгия Курячего я хочу немного рассказать. Этот курс — отличное базовое введение в Python 2.

Возможно, если вы изучали Python в университете, то этот курс покажется вам слабоватым. Но мне, как человеку, который изучал язык и его библиотеку разрозненно — по книгам, статьям и отдельным видео, — такой курс показался вполне достойным. Он полностью оправдал время, потраченное на него.

Итоги конференции PyConRu 2015

Mon, 21 Sep 2015 10:00:12 +0500

В субботу закончилась конференция PyCon Ru 2015 в Екатеринбурге. Немного остыв, можно подвести некоторые итоги. Конференция получилась хорошей. Как говорит один мой коллега, если на двухдневной конференции было два интересных доклада, то конференция удалась. На PyCon интересных и полезных докладов было больше. Я выделил 4 таких доклада.

Начало положил Гаель Вароко. Если про scikit было просто интересно послушать — в повседневной работе мы машинным обучением не занимаемся, — то рассказ о второй библиотеке joblib заставил нас провести порядочное время на её сайте. Сама библиотека позволяет легко организовывать параллельные вычисления. И нам был очень интересен ответ на вопрос, сможем ли мы её использовать в своём проекте.

Почему не я люблю декораторы и метаклассы

Mon, 14 Sep 2015 10:00:10 +0500

Я не люблю декораторы и метаклассы. Почти любое использование декоратора и любое использование метакласса ухудшает читаемость кода. Их трудно использовать без усложнения кода. Они приводят к трудновыявляемым багам. Так что их использование должно быть обосновано. И их не нужно использовать там, где можно легко и безболезненно обойтись без них.

Если сравнить использование остальных конструкций языка с использованием рогатки, то использование декоратора — это стрельба из пушки, а метаклассы — из системы залпового огня «Град». Последствия их неправильного использования влияют на кодовую базу примерно так же. Декоратор «разламывает» несколько функций и методов, метакласс «разрывает в клочья» несколько классов.

Type Hinting в Python 3.5

Mon, 31 Aug 2015 10:00:26 +0500

«Утиная» типизация, конечно, ускоряет написание программ, но только до определённых пределов. В больших проектах, когда количество кода достаточно велико, такая гибкость начинает давать сбои. С Python 3.0 можно делать типизацию для функций. Но только с 3.5 появится действительно мощный инструмент, встроенный в язык.

Конечно, можно делать описание параметров и возвращаемых значений в докстрингах. Вот только кто их пишет? А если пишет, то кто следит за их актуальностью? Программисты ленивы: если можно что‑то не делать, они не будут этого делать.

Кастомные коллекции

Mon, 24 Aug 2015 10:00:36 +0500

Хорошо написанный код на Python должен работать с последовательностями однообразно. При этом неважно, встроенные это последовательности или нет. Тем более что свою последовательность написать в Python очень просто. Нужно всего лишь переопределить __len__ и __getitem__, чтобы работа с вашей последовательностью в большинстве случаев не отличалась от работы со встроенными последовательностями.

В качестве иллюстрации возьмём такой пример. У нас есть класс ShoppingBasket. В нём лежат какие‑то товары. Пусть нам нужно пройтись по всем товарам, научиться получать товары по ключу и добавлять товары.

Celery: Pickle от которого невозможно отказаться

Mon, 10 Aug 2015 11:00:00 +0500

Если вы решили поменять сериализатор задач для Celery с Pickle на какой‑нибудь другой, ничего не выйдет. Вернее, задачи действительно будут сериализоваться и десериализоваться с помощью указанного сериализатора. Но внутри Celery всё равно используется Pickle, и это никак не изменить. Вернее, не в Celery, а в библиотеке billiard, которая используется мастер‑процессом воркера для раздачи задач из очереди подпроцессам.

В нашем проекте мы столкнулись с тем, что иногда передаём в качестве параметра задач Celery NoneType. Причём не значение None, а именно NoneType.

Декораторы с параметрами по умолчанию

Mon, 03 Aug 2015 13:19:00 +0500

Декораторы в Python — удобный инструмент. Если ими пользоваться с умом, они значительно повышают читаемость кода и его повторное использование.

Но есть один момент, который меня немного напрягает: для декоратора с параметрами по умолчанию нужно ставить пустые круглые скобки после его вызова. Время от времени это приводит к ошибкам. Особенно это актуально, если декоратор является частью публичного API.

@decorator_wo_params
def f1():
    pass

@decorator_w_defaults_params()  # Ну зачем здесь пустые скобки?
def f2():
    pass

С этим можно смириться. В режиме жёстких сроков и большого потока задач времени на поиск решения, написание и тестирование дополнительного кода может просто не быть. Нормальное тестирование выявит проблему моментально. Но иногда невозможно удержаться и не сделать свой код немного красивее.