Если вы не знаете что это такое, то вам сюда: https://t.me/folkbattlebot

Как пользоваться?

Очень просто:
Запускаете бота, жмёте кнопку 👇🏼

Звук можно зациклить для удобства.
Далее выбираем от кого будем петь частушки: если вы мужского пола, то рекомендую петь от мальчика. Очевидно.

У нас всего два гендера в стране. 👨🏻👩🏼 Но сейчас не об этом.

Далее жмём на кнопку соответствующую тому кому вы хотите спеть частушку. Мальчику 💁🏻‍♂🤦🏼‍♂ , или девочке 💁🏻‍♀🤦🏼‍♀, или вы один одинёшенек 🙋🏻‍♂ и сами с собой развлекаетесь. Можно потренировать частушки под определенный наигрыш: Семёновна, Матаня, Яблочко. Если вам не хватает частушек и вы хотели бы большего разнообразия, то вы можете прислать их так же через фолкбатлбота.

Как прислать частушку:

1️⃣ Выберите категорию для вашей частушки.
От чьего имени она поётся - мальчик или девочка? 👨🏻 👩🏼
Кому она поётся сопернику, сопернице или просто слушателям?
2️⃣ Если частушка явно связана с одним из наигрышей (Цыганочка, Яблочко, Семёновна), то выбирайте соответствующий наигрыш.
3️⃣ Если ни в одну категорию не подходит,
то можно выбрать пункт "Без категории".
Эти частушки после модерации попадут в базу, но внутри бота они появятся только тогда, когда их можно будет выделить в отдельную категорию.
Например в боте еще нет категории "Сербияночка" или "Елецкого".
С вашей помощью это можно будет исправить.

4️⃣ Частушки можно присылать только по одной за раз❗️
5️⃣ Текст необходимо разбить на строки❗️Например:

6️⃣ Текст на латинице не пройдёт проверку❗️
Допускается только кириллица. Ochen zhalko teh u kogo net russkoj klaviaturi.

7️⃣ Старайтесь присылать частушки без излишнего диалекта.
Например:

Но частушка ничего не потеряет если ее записать вот так:

Вот пример где диалектное слово убрать не получится:

Почему такое правило? Во первых, у нас нет цели научить диалектному пению. Во вторых, в одну категорию попадают частушки с разным диалектом и если петь их одна за другой воспроизводя диалект, это будет не очень правильно. Человек владеющий диалектом споёт частушку даже если прочёл ее литературный вариант. В общем здесь не про диалект, а про наработку навыка быстро выдавать текст.

Немного теории

Частушка несмотря на свою кажущуюся простоту является довольно сложным жанром. Во первых в отличие от многих других фольклорных жанров здесь сочетается больше всего разных навыков. Перепляс одновременно с соревнованием в частушках требует от человека не только одновременного пения и танца, что вполне обычно для фольклора большинства стран. Здесь сложность заключается в том, что добавляется импровизация и она проявляется как в пляске, так и в выборе следующей частушки, которую надо еще спеть чтобы она была "в ответ" , так чтобы "срезать" соперника. Прибавьте сюда нюанс с укладкой ритмического рисунка частушки на разные наигрыши и вы получите сверхсложную задачу для мозга. Еще не так давно в России проводили конкурсы частушечников. Первые места занимали люди которые имели в активной памяти более 1000 частушек. Это такой уровень, когда человек уже мыслит этой стихотворной формой во всем ее ритмическом разнообразии.
На фоне таких людей батл Гнойного и Оксимирона просто детский лепет. Надо учитывать, что на соревнования частушечников нельзя было петь частушки с картинками и матерные частушки и возможно наша страна не узнала бы никакого рэпа, если бы этого запрета тогда не существовало. Если бы, да кабы. Важно то, что частушка, это то, что не даст состариться вашему мозгу.
Пляшите, пойте, соревнуйтесь!

#!/usr/bin/python3
# type - [audio, video]
# out - [audio: mp3, ogg, wav, flac], [video: mp4, mpeg, avi]
#  необходимо установить pip install ffmpeg-python и сам ffmpeg в вашу OS
# параметры: директория с файлами, куда конвертировать, тип файла (audio или video), 
# расширение выходного файла

import os
from sys import argv
import mimetypes
import ffmpeg

script, dir_f, dir_out, type_f, out = argv
os.chdir(dir_f)
directory = './'
os.mkdir(directory + dir_out)
files = os.listdir(directory)


def filtervideo(inputfiles):
    for i in inputfiles:
        mime_type, nothing = mimetypes.guess_type(i)
        if type_f in str(mime_type):
            name, ext = os.path.splitext(i)
            instream = ffmpeg.input(i)
            outstream = ffmpeg.output(instream, dir_out + name + '.' + out)
            ffmpeg.run(outstream)
            print(name + ' Ok')

filtervideo(files)

Закон о сохранении информации очень прост:

Сохранность информации равно пропорциональна количеству копий информации.

Иными словами — чем больше копий, тем меньше шансов у информации исчезнуть без следа. Копии материалов нужны и кажется на первый взгляд, что этот процесс очень прост. Что там сложного? Все умеют копировать с компьютера на флэшку или диск. Вот тебе и копия. Но все становится несколько сложнее тогда, когда у тебя есть структурированный большой массив разнородных материалов, который периодически пополняется и меняется. Простая ситуация: скопировал 5 терабайт, а потом начал приводить в порядок названия папок, вносить уточнения в реестр. Вносить правки параллельно глупо и затратно по времени, особенно, если копий больше чем две и вторая копия хранится в соответствии с рекомендациями в другом здании. Вполне неплохим вариантом может в этом смысле стать хранение копии в каком-нибудь облачном сервисе типа Яндекс диска или DropBox. Минус сервисов очевиден — более-менее приличный объем доступен только за деньги и к тому же платеж не может быть разовым, везде годовая или месячная подписка. Фольклористам это не по карману.
Серьезные системы резервного копирования применяющиеся в IT фольклористам тоже не по зубам. Как минимум они требуют опытного системного администратора. Таких в среде фольклористов единицы. Хотя большая часть этих систем абсолютно бесплатна и очень надежна. Начиная с какого-нибудь rsync и заканчивая Bacula. К тому же бесплатные системы чаще всего заточены именно под Linux серверы, а не под сохранение актуальной копии музыкальной медиатеки.

Что нам надо?

1. Автоматическая синхронизация всех имеющихся копий
2. Поддержка популярных операционных систем (Windows, MacOS, Linux)
3. Желательно чтобы не надо было заморачиваться с настройкой сети (чтобы не нужен был статический внешний ip адрес и не надо было пробрасывать порты на роутере)
4. Чтобы бесплатно
5. Чтобы настройка была простой и не требовала каких-то специальных знаний всяких там протоколов и написания конфигурационных файлов.

Все это возможно. Все это стало возможно после изобретения протокола peer-to-peer — тот самый протокол с помощью которого работет torrent.
Есть две замечательные программы и обе бесплатные.

Обе программы являются по сути клонами друг-друга, Resilio коммерческий продукт и бесплатен для индивидуального пользования, Syncthing — программа с открытым исходным кодом и разрабатывается на пожертвования пользователей. Я пробовал обе, принципиальной разницы между ними нет, разве что Resilio чуть-чуть больше ориентирован на удобство пользователя.
Процесс очень прост, мы устанавливаем программу, указываем ей какую папку нам нужно синхронизировать, программа нам предлагает скопировать ключ доступа и этот ключ доступа мы вводим на другом компьютере где установлена точно такая же программа. При указании папки мы можем задать некоторые опции. Например, одна из опций позволяет не разрешать отправлять изменения с другого компьютера на наш. Менять-то файлы они могут, но эти изменения не отобразятся у нас, в то же время, все изменения которые мы будем проделывать на своей стороне у них будут отображаться. Есть возможность указать удаленному компьютеру хранить версии файлов. Это значит, что при изменении файла на нашем компьютере на удаленном файл будет не перезаписан, а будет создана его копия, а старый будет скрыт, но останется в системе. Это удобно при работе с текстами. Всегда можно откатиться к старому варианту.

Безопасность

Пункт немаловажный. И тут у обоих программ все очень и очень хорошо. Система устроена так, сервер программы, к которому будут обращаться наши компьютеры отвечает только за соединение их между собой. И то, даже не за соединение, а только указывает им, что они могут соединиться, поскольку у них есть общие ключи о которых сервер тоже ничего не знает, поскольку видит только их контрольные суммы и расшифровать их не может. Их вообще невозможно расшифровать, разве что у вас есть дома квантовый компьютер, который на сегодня даже в прототипах такое делать не может. Само же соединение между двумя программами происходит напрямую и соединение это зашифровано.

Бонус

Прелесть peer-to-peer (торрента) в том, что чем больше копий хранится на разных компьютерах, тем быстрее будет происходить синхронизация и тем меньше будет нагрузка на ваш интернет канал. И закон о сохранении информации выполняем и жизнь себе облегчаем.

free -m # Смотрим что у нас с памятью
mkdir -p /var/_swap_ #Создаем директорию где будет лежать swap
cd /var/_swap_ #Переходим в нее
#Здесь 1M * 2000 ~= 2GB  swap 
dd if=/dev/zero of=swapfile bs=1M count=2000 # Создаем swap файл
mkswap swapfile # Делаем наш пустой файл swap файлом
swapon swapfile # Включаем его в работу
chmod 600 swapfile # Выдаем ему правильные права
echo "/var/_swap_/swapfile none swap sw 0 0" >> /etc/fstab # Включаем его при запуске системы
#cat /proc/meminfo
free -m # Смотрим появился или нет

CREATE USER 'newuser'@'localhost' IDENTIFIED BY 'password';

GRANT ALL PRIVILEGES ON * . * TO 'newuser'@'localhost';
FLUSH PRIVILEGES;

DROP USER 'demo'@'localhost';

Множественное объединение в запросе.
Есть одна таблица Записи

И вторая таблица с исполнителями Исполнители

нам нужно вывести в запросе все имена вместе с датой и местом

Запрос будет таков:

SELECT Дата, Место, Исп1.Имя, Исп2.Имя FROM Записи
#Здесь в селекте используются псевдонимы, 
# которые будут определяться позже в запросе, что вызывает путаницу поначалу
LEFT JOIN Исполнители AS Исп1 ON Записи.Исполнитель1 = Исп1.Индекс
LEFT JOIN Исполнители AS Исп1 ON Записи.Исполнитель2 = Исп2.Индекс
# В left join мы задали те самые алиасы (псевдонимы)

Условие совпадения не обязательно могут быть по индексу.
Будут выведены все записи, если исполнителя нет, то будет выведено NULL

Сам пример не случайный, именно так была устроена база ГРЦРФ. Ошибка здесь в том, что у одной записи строго ограниченное количество исполнителей жестко прошитое в структуре, то же самое было и относительно участников сеанса записи со стороны экспедиции. Правильным решением является соединение через еще одну промежуточную таблицу. Это называется «реляционное деление». В промежуточной таблице указывается id записи в основной таблице «Записи» и id в записи «Исполнители». Соответственно запрос ищет сначала все записи в промежуточной таблице с id потом считывает из поискового запроса все id исполнителей и после этого их подставляет в финальную выдачу.
Примера пока нет. Возможно когда-то будет updated.

Что бы формировать файл htpasswd и добавлять в него пользователей надо поставить утилиты apache

sudo apt-get install apache2-utils -y
sudo htpasswd -c /var/www/.htpasswd newuser 
# создаем файл и одновременно добавляем в него пользователя

Улучшить детализацию лица на фото
Нейросеть умеет дорисовывать детали у таких фотографий. В карусели видно, что одно и то же фото я обработал два раза. Так же я ее раскрасил в колабе DeOldify
Я экспериментировал с разными фотографиями. Например я пробовал улучшить лицо Василия Артемьевича Сидорова выдернутое из видео. На третьем фото видны глюки. Я подозреваю, что нейросеть обучена на людях возрастом примерно 25-50 лет и поэтому вместе с улучшением идет и «омоложение» лица. Собрать датасет из лиц пожилого возраста и обучить на них нейросеть дело будущего. Возможно этот пост будет позже дописан.

Однозначно лучше работает на фото строго в анфас, но ничего не мешает вам попробовать и другие фото. Необязательно загружать портрет, нейросеть улучшит детализацию лица, остальное оставит таким как было при этом, повысит разрешение картинки примерно в два раза.

До наших дней дошла легенда о появлении на шароварах* у донских казаков алых лампасов*.

В один год пришло казакам жалование, часть из которого была выплачена сукном синего цвета, а часть сукном красного. Красного сукна было очень мало, и казаки, ценившие в первую очередь в своей среде равенство решили — нельзя чтобы кто-то один был в красном кафтане (красный цвет в те времена ценился выше остальных), поэтому каждому досталось по одной длинной ленте красного сукна, которой хватило только на то, чтобы пришить себе ее на шаровары на месте наружного шва.

Примечательно отношение казаков к одежде. В поход старались одеть что-то похуже и попрактичней, нательный крест сменяли на медный — ничто не должно было прельстить врага для наживы. До сих пор сохранились в быту казачьи пословицы — «Зипуны-то у нас серые, зато умы бархатные», «Казака и в рогожке видать». Высшей ценностью у казаков конечно же была добытая в бою или в деле слава. Поэтому все мирские ценности считались преходящими и выражалось это, например в том, что казак, одетый по последней моде в шелк парчу и бархат, мог усесться во всем этом великолепии на землю в пыль и грязь только для того, чтобы обсудить с другом свои домашние дела.

Сохранился документ 1701 года из Посольского приказа*, где зафиксированы слова донского атамана, адресованные царю, что казаки носят черкесскую, русскую, калмыцкую одежду. Немецкая же не в моде и нет мастеров способных ее пошить.
Право носить ту одежду какую кто хочет и бороды закрепленное еще Петром Первым сохранялись за казаками вплоть до 1801 года, когда царским указом во всем войске была введена форма единого образца. До этого единую форму носили только, служащие при царе в столице полки, в первую очередь лейб-гвардия. Пошитая в 1801 году форма была не очень удобной, сохранились воспоминания о том, как казаки после приказа к атаке буквально на ходу срывали с себя куртки стеснявшие движения и только потом неслись во весь опор в атаку.
Вместе с сменявшимися монархами, меняющейся модой и в соответствии с требованиями времени менялась и казачья форма — справа, как ее называли казаки. Вместе с формой так же и менялась одежда, носимая в быту. При разработке формы учитывались привычки и опыт самих казаков, это послужило тому, что основные элементы формы создавались на основе того, что носили казаки в быту. Чекмень*, бешмет*, шаровары*, бекеша*, папаха и прочее. Образ воина — донского казака дошедший о нас благодаря многочисленным экранизациям произведений Шолохова, это результат ряда последних перед революцией реформ военного министерства с 1907 по 1912 годы, где уже присутствуют одинаковая для всех войск защитного цвета гимнастерка.

Казачки, так-же как и мужчины одевались в разные по своему происхождению наряды. В ходу была одежда тюркская, черкесская и русская. Общим правилом для мужчин и для женщин было то, что на юге — Нижнем Войске Донском, более были распространены предметы тюркского и кавказского происхождения, на севере — Верхнем Войске Донском преобладала одежда русского происхождения. Общим и особо полюбившимся нарядом для обоих Войск в некоторый момент времени стало платье «кубелёк», что в переводе с татарского означает «мотылёк». Молодые казачки победнее могли даже наниматься к подругам побогаче, чтобы взять на прокат за проделанную работу на праздник заветное платье. Начиная примерно с начала XIX века на смену «кубелеку» приходит городской костюм «парочка», состоявший из кофты различных кроев и юбки. Строго говоря «парочкой», принято было называть кофту и юбку, сшитую из одинаковой ткани. Вопреки распространенному сейчас представлению кофты были популярны не приталенные, что обуславливалось в первую очередь именно практической стороной. В те времена и близко не было такого понятия как «одежда для беременных» и соответственно, крой женской одежды был более универсальным. Хотя безусловно, казаки как одно из наиболее зажиточных сословий в своем «арсенале» женских нарядов имели и более приталенные варианты кофт. Очень красивы сами их названия: кираса, бабёшка, баска, матынё, принцесса. В начале XX века казачки одни из первых перенимают более современные кофты и юбки в новомодном стиле «Модерн».

Повсеместного обычая шить детям специальную одежду у казаков, как и во всей России не было. Это было обусловлено тем, что ребенок существо растущее, и ежегодный пошив нового костюмчика был нецелесообразен. Дети донашивали друг за другом рубашки, порты, картузы и прочее. Все что было на детях, чаще всего перешивалось из того, что уже пришло в негодность для старших. Тем не менее, есть фото-свидетельства рубежа XIX — XX веков, на которых дети, не достигшие порой и десятилетнего возраста одеты в аккуратные по размеру шаровары, рубашку, папаху, сапоги и подпоясаны соответствующего размера поясом. Надо понимать, что здесь все-таки мы имеем дело скорей с исключением, чем с правилом. Такую роскошь могли себе позволить далеко не все и конечно же такие костюмчики шились для ношения в праздники, а не в будни. Начиная с двенадцати лет, казачонка начинали допускать слушателем на станичный круг, ему шилась справа и покупалась детская шашка.

Наши дни

Спустя почти сто лет в наше время указом президента была введена новая форма для казачьих общественных организаций. Основу для этой формы послужила форма военнослужащих других войск. Пожалуй, единственными элементами, которые остались от традиционной казачьей одежды в современной форме являются красные лампасы, синий цвет самой формы и папаха.

То, как сейчас одеваются некоторые казачки войсковых обществ может вызвать и недоумение. Появилась тенденция среди женщин наравне с мужчинами носить форменную одежду. Например, такой исключительно мужской атрибут одежды как папаха уже устойчиво перекочевал на головы современных женщин членов казачьих обществ. Не являются исключением и шаровары с лампасами.
В станице Вёшенской — на родине прославленных героев романа Тихий Дон в сувенирной лавке можно приобрести «женскую папаху» с вставкой из павлопосадского платка. Также с не меньшим удовольствием женщины носят и фуражки, черкески*, огромной популярностью среди женщин пользуются такие мужские казачьи забавы как фланкировка шашкой* и даже джигитовка*. Все это отчасти понятно, вместе со временем меняются и люди, женская эмансипация делает свое дело.
В казаки записываются люди выросшие в городской среде не знакомые ни с историей, ни с традициями и культурой казаков увлеченные идеей служения родине и оторванные от собственных корней.
Но, есть и другие течения в современной казачьей среде. Есть казачьи сообщества, клубы, песенные ансамбли, занимающие активную позицию в отношении сохранения традиций и разграничения мужской и женской роли в семье и обществе. Есть попытки переосмыслить создать новые мужские и женские модели одежды на основе традиционных образцов более созвучные современности. Все это невозможно осуществить без кропотливой работы по изучению исторического наследия. Конечно, в таких прославленных музеях как Новочеркасский исторический музей, Русский этнографический музей в Санкт-Петербурге, Вешенский исторический музей собраны и хранятся довольно внушительные коллекции образцов казачьей этнографии. Но наряду с этим в областных районных и в некоторых случаях даже хуторских и школьных музеях еще можно встретить удивительные образцы. Например: частой находкой являются шаровары и мундиры, пошитые казакам в 1912 году к столетию войны 1812 года для участия в параде. Шали, парочки, шубы, бешметы все это представляет живой интерес для тех, кто хочет узнать подлинный образ одного из самых ярких и удивительных явлений в российской истории.

Школа на Дону

В 2014 году, Государственным республиканским центром русского фольклора (ныне ЦРФ ГРДНТ им. В.Д. Поленова), был осуществлен проект задуманный еще в семидесятые годы прошлого столетия выдающимся собирателем фольклора А.С. Кабановым — «Школа на Дону», суть которого сводится к тому, что современные городские ансамбли приезжают в экспедицию на территорию бывшей Области Войска Донского (часть Волгоградской и Ростовской областей), записывают фольклор от местных жителей, после в зимний период учат наиболее понравившиеся песенные образцы и в следующий год приезжают на прежнее место чтобы предстать на суд тех, от кого эти песни были записаны. Участники не забывали обследовать и местные краеведческие музеи, в ходе этого обследования было решено сделать фото-альбом с образцами казачьей одежды для того, чтобы ансамбли могли не только звучать максимально приближенно к оригиналу, но и выглядеть соотвественно. Конечно, хотелось, чтобы фотографии выглядели в первую очередь убедительно. Для этого было решено снимать образцы не на манекенах, а одетыми на живых людей. Моделями выступают сами участники ансамблей. Для еще большей выразительности к фотографиям применяется цифровая реставрация одежды. В фоторедакторе убираются дыры, выгоревшие места, в некоторых случаях делается «подгонка под рост».

Зипун — верхняя одежда у крестьян. Представляет собой кафтан без воротника, изготовленный из грубого самодельного сукна ярких цветов со швами, отделанными контрастными шнурами.
Лампас (от фр. Lampas) или Ланпас — широкая прошивка сбоку по шву вдоль блюк, сверху до низу, отличная от цвета материи брюк, употребляется преимущественно в военной форме одежды.
Чекмень — верхняя мужская одежда, в виде казакина, в переходной форме между халатом и кафтаном.
Бешмет — (аналог рубахи-гимнастерки) до колен или короче с закрытой грудью, с цельными передними полами, правая поверх левой, с мягким воротником и с застежками на крючках посредине груди, при спине по талии-обрезной и с двумя-тремя парами складок от пояса вниз, со свободными рукавами
Бекеша — верхняя мужская зимняя одежда в виде короткого кафтана со сборками на спине и меховой отделкой
Посольский приказ — центральное правительственное учреждение в Москве в 1549—1720 годах, ведавшее сношениями с иностранными государствами, выкупом и обменом пленными, управлял рядом территорий на юго-востоке страны и некоторыми категориями служилых людей.
Фланкировка — комплекс упражнений, нарабатывающих культуру и навык обращения с холодным оружием, или его конструктивными аналогами (спортивным оружием).
Джигитовка — скачка на лошади, во время которой наездник выполняет гимнастические и акробатические трюки, военно-прикладной вид конного спорта.
Черкеска — русское название верхней мужской одежды — кафтана, которая была распространена в обиходе фактически у всех народов Кавказа в том числе и у казаков.

Моя статья в журнале «Традиции» 2021 г.

Необходим инструмент для систематизации и работы с записями полученными в ходе экспедиций. Что для этого можно использовать? Простые таблицы Exel, может какие-то готовые программы можно приспособить под эти нужды или стоит написать свою программу? Что это будет за программа? Её устройство?
Есть кажущаяся простота решения проблемы — найти программиста, заплатить за работу и он все сделает. Но на практике всё оказывается сложнее. Программисты не понимают специфики работы с фольклорным материалом, фольклористы не знают технологий и все это выливается в перерасход средств и не удовлетворительный результат.

Требования

Для начала важно понять какие требования мы предъявляем к программе которой мы будем пользоваться.

1. Оперативный доступ к материалу и его описанию.
2. Совместный доступ
3. Делегирование различных прав доступа пользователям
4. Доступ не требующий установки дополнительного программного обеспечения
5. Независимость от разработчика
6. Простота в установке и переносе на другой компьютер
7. Независимость от типа операционной системы компьютера

Немного по пунктам.
Оперативный доступ — в идеале это доступ с любого компьютера в организации, возможно даже из дома и с мобильного телефона.
Совместный доступ — возможность работы одновременно всем сотрудникам. Не нужно идти к одному ответственному сотруднику и загружать его рутинными задачами по поиску нужной записи.
Делегирование прав — возможность ограничивать доступ на редактирование записей, на какие-то разделы.
Доступ не требующий установки программ — идеальное решение, это доступ через браузер. Раз уж у нас есть необходимость совместной работы которое обуславливает структуру сервер — клиент, вполне логично, что клиентом будет выступать браузер (Chrome, Firefox, Edge ).

Если изучить сборник Мультимедийные и цифровые технологии в собирании, сохранении и изучении фольклора по результатам одноименной конференции, то можно отметить, что большинство решений используемых для построения таких систем сделаны при помощи WEB технологий

Готовые решения

Из наиболее популярных CMS (системы управления содержимым сайта) можно выделить такие как: Wordpress, Drupal, Joomla, MediaWiki

Первые три — Wordpress, Drupal, Joomla являются блоговыми или новостными движками ориентированными на решение таких задач как новостной блог, сайт организации, интернет магазин и так далее. Страницы которые создаются в интерфейсе администратора ориентированы на размещение статей, вывод страниц на сайте по умолчанию в виде новостной ленты с заголовком и тизером, порядок вывода по дате добавления.
Для возможности формирования своей структуры, логики и типов статей необходимо искать и устанавливать расширения. Плюсом этих систем является низкий порог вхождения для редактора. Минусом — необходимость устанавливать и настраивать расширения.

MediaWiki — совершенно отличная от этих трех система. Это свободно распространяемый движок на котором работает известный сайт Wikipedia. Он очень хорошо подходит для публикации материалов энциклопедического характера, позволяет выстраивать сложные семантические связи и организовывать данные в различного уровня сложности структуру. Плюсом системы можно отметить то, что идеально подходит для построения на ней системы учета фольклорно-этнографических материалов. Минусом — сложность освоения для редактора. Все материалы оформляются при помощи специальной разметки markdown, структура и ссылки так же требует оформления через специальный синтаксис. Для более удобной работы так же требуется поиск и установка расширений.

Общим минусом у всех готовых решения является необходимость их установки на выделенный сервер.
В случае если эти системы устанавливаются автоматически на сервере платного хостинга, то мы получаем ограничение в виде дороговизны дискового пространства. В нашем случае это очень важный показатель, так как аудио, видео и фото даже при сжатии занимают много места.

Здесь я хотел бы отметить важный момент. Говоря вообще о создании такой системы я подразумеваю, что материалы в систему будут вноситься в сжатом формате. Аудио — mp3 или ogg, у видео будет снижен битрейт и сжат кодеком h264 (mp4), изображения будут конвертированы в JPEG с разрешением оптимальным для полноэкранного просмотра. Опыт работы с архивом показывает, что объем при этом можно уменьшить на 60%-70% без сильно видимых и слышимых потерь в качестве.

В случае же если мы ставим систем на свой личный сервер, то мы упираемся в сложность настройки и администрирования самого сервера.

Схема приведена не для того, чтобы разобраться в устройстве. Здесь я хочу обратить внимание, что для запуска CMS придется настроить минимум три серверные программы (Apache, PHP, MySQL), при этом все это необходимо настраивать в операционной системе Linux. Справедливости ради надо отметить, что все это можно сделать и на Windows, но надежность такой установки авторы всех этих программ не гарантируют. Версии под Windows служат в основном для разработки.
Всё это вкупе с минусами готовых решений подвигает нас к созданию какого-то своего более удобного решения.

Фреймворки

На Википедии слово фреймворк объясняется как каркас для создания программного продукта. Мне больше нравится в этом смысле аналогия с полуфабрикатом. Фреймворк, это полуфабрикат для программиста. Очень важно, что на полуфабрикате так же указан точный рецепт приготовления блюда.
Фреймворки, это написанный заранее каркас программы где программист в процессе разработки своего приложения пишет код по уже заданным правилам. Свобода в создании продукта остается, поскольку в его ведении остаются типы страниц, внутренняя логика и структура. В фреймворке уже решены все типовые задачи — авторизация, полномочия, построение зависимостей между компонентами и так далее. Все это дает в первую очередь независимость заказчика от программиста и скорость разработки, поскольку базовая часть уже написана заранее.

В ситуации когда код программы написан с нуля одним программистом найти замену или кого-то кто смог бы доработать, обновить или в некоторых случаях даже перенести на новый сервер очень проблематично. Разобраться в чужом коде для нового человека будет крайне непросто. Это называется проектные знания. Для того, чтобы снизить порог вхождения программиста в новый проект и были придуманы фреймворки. Код написан по строго определенным правилам, программист приходит в проект уже зная необходимый базис (базовые знания и стек технологий), время на изучения специфики проекта уменьшается. Как компромисс возможно рассматривать готовые решения как базовую часть кода и дописывать необходимый функционал. Такое решение используется в Научном центре народной музыки им. К. В. Квитки МГК на базе CMS Joomla.

Следующим плюсом использования web фреймворков в контексте создания системы учета для фольклорно-этнографических материалов является тот факт, что многие из популярных фреймворков уже имеют встроенную программу-сервер разработки.

Сервер разработки, это встроенная команда в фреймворке, которая позволяет запустить проект и проверить его со стороны пользователя без необходимости настройки всего пула программного обеспечения как на реальном сервере. Сервер разработки не рекомендован для публикации его в сети интернет. Но в действительности он способен обеспечить стабильность и надежность его использования для одновременного пользования 10-30 человек. Возможно и больше, но для наших задач, это вполне достаточно, учитывая тот факт, что программу всегда при необходимости можно перенести на боевой сервер. Все дело в том, что вышеописанный набор программ необходимый для запуска приложения на сервере Linux предназначен именно для того, чтобы сайт мог справляться с нагрузкой более 1000 запросов в секунду.
Если уж проект вырастет до такой степени, что ему потребуется справляться с подобным наплывом посетителей, то ничего не мешает запустить все это на реальном сервере по вышеозначенной схеме.

Обзор

В обзоре я постарался показать самые популярные бесплатные фреймворки.
Все они независимы от типа операционной системы, все они легко запускаются при помощи единственной команды и все они могут быть перенесены с одного компьютера на другой путем простого копирования. Обязательным условием для них всех, это наличие на компьютере предварительно установленного интерпретатора того языка на котором они написаны. Установка эта ничем не отличается от установки любой программы вроде Google Chrome или Skype. Так же возможно в процессе разработки надо будет поставить задачу программисту написать скрипт настройки рабочего окружения для первого старта. В действительности это еще две — три команды которые запускаются один раз перед первым запуском. Я подчеркиваю тот факт, что это требуется именно для переноса серверной части программы. Клиенту работающему с ней через браузер ничего настраивать не нужно.

Почему имеет смысл выбирать популярные решения, а не те, которые удобны разработчику? Возможно вашему знакомому или предложившему хорошую цену, но с условием что выбор фреймворка за ним?
Популярность является некоторым гарантом того, что :

• они дольше будут актуальны
• у них чаще выходят обновления
• в них быстрее находятся и устраняются уязвимости
• у них больше расширений написанных сообществом
• для разработки проще найти программиста
• проще при случае разобраться самому, так как больше обучающих материалов с сети

ТОП три web фреймворка на 2021 год

1) Laravel написанны на языке PHP

PHP самый распространенный язык для сайтов в интернете. Все готовые решения приведенные выше написаны именно на нем. В PHP встроенный сервер разработки появился недавно, он достаточно прост, но вполне надежен. Laravel не может похвастаться тем, что его используют какие-либо крупные компании, но количество проектов на нем доказывает, что это очень хорошее решение для небольших и средних проектов. Так же плюсом можно выделить то, что большинство на большинстве хостингов PHP утсановлен по умолчанию даже на самых дешевых тарифах.

2) Rails написанный на языке Ruby

Пик популярности фреймворка пришелся на 2013 — 2015 годы, первый выпуск — 2004 год. Rails используется в таких крупных компаниях как Airbnb, Twitch, GitHub, Spotify, SoundCloud. Движок очень удобен для разработки, прост в освоении. Минус — малое количество хостингов с поддержкой Ruby.

3) Django написанный на Python

Очень популярный фреймворк, в подавляющем большинстве курсов по изучению языка Python используется в программе обучения, несмотря на то, что на Python есть и другие популярные фреймворки. Django используется в Instagram, Mozilla, National Geographic, Pintertest, Youtube. Еще одним из косвенных преимуществ Django является то, что язык Python активно используется в работе с нейронными сетями, что на мой взгляд является будущим в сфере обработки и анализа фольклорно-этнографических материалов.
Минус — малое количество хостингов с поддержкой Python.

Последние пункты (плюсы и минусы) относительны, поскольку при запуске такого рода проектов в сеть стандартный хостинг уже не подойдет и необходимо будет арендовать выделенный сервер, где все настраивается вручную.

Итоги

Помимо приведенных выше, конечно есть еще много популярных других. Например обязательно стоит упомянуть связку Node.js + Express написанную на Java. Достаточно сказать, что именно на Node.js работает платежная система PayPal. Для Python стоит упомянуть такие фреймворки как Flask и FastAPI, для PHP — Symphony и YII2. Многие программисты отдают им предпочтение и часто это обусловлено в том числе и необходимостью иметь больше свободы для написания кода и интеграции с какими-нибудь другими системами. Но поскольку мы рассматривали эти продукты именно с точки зрения создания удобной и дешевой системы для фольклорно-этнографических материалов, то здесь мне кажется — чем проще, тем лучше. Чем популярней, тем надежней.

P.S

В данный момент мной ведется разработка Банка данных для архива Центра русского фольклора на Django.

Курская обл.;Ль район;с. Иванчиково
Курская обл.;Суджанский район;с. Плёхово
Курская обл.;Железногорский район;с. Жидеевка
Курская обл.;Железногорский район;Новый Бузец
Курская обл.;Железногорский район;с. Старый Бузец
Владимирская обл.;Судогодский район;Аксеново
Владимирская обл.;Суодский район;Карпово
Владимирская обл.;Судогодский район;Слащево
Архангельская обл.;Котласский район;г. Сольвычегодск

На выходе будет csv файл уже с координатами. Если не удается найти координаты, то будет записано пустое значение.

Курская обл.;Ль район;с. Иванчиково;
Курская обл.;Суджанский район;с. Плёхово;51.1007804,35.3290548
Курская обл.;Железногорский район;с. Жидеевка;52.1923663,35.4500001
Курская обл.;Железногорский район;Новый Бузец;52.164154,35.484161
Курская обл.;Железногорский район;с. Старый Бузец;52.199837,35.5330842
Владимирская обл.;Судогодский район;Аксеново;56.0756071,40.761767
Владимирская обл.;Суодский район;Карпово;
Владимирская обл.;Судогодский район;Слащево;56.0697562,40.8062814
Архангельская обл.;Котласский район;г. Сольвычегодск;61.3315511,46.9311295

Вся эта штука работает с API Nominatim, поэтому конечно же нужен интернет, ну и есть вероятность каких-то лимитов.
Собственно код:

from geopy.geocoders import Nominatim
import csv
with open('test.csv', newline='', encoding='utf-8-sig') as File:
    reader = csv.reader(File, delimiter=';')
    data = list()
    for row in reader:
        loc = row
        try:
            geolocator = Nominatim(user_agent="my_request")
            location = geolocator.geocode(loc)
            point = str(location.latitude) + ',' + str(location.longitude)
        except:
            point = ''
        row.append(point)
        data.append(row)
myFile = open('out.csv', 'w')
with myFile:
    writer = csv.writer(myFile, delimiter=';')
    writer.writerows(data)

print("Writing complete")