Портал разработан и поддерживается АНО "Центр ПРИСП"
Меню
11 июля 2023, 15:44

Искусственный интеллект: радость и ужас

Искусственный интеллект: радость и ужас
 
Генеральный директор ООО «Научно-популярные медиа», член Ассоциации независимых директоров Андрей Виньков – о развитии технологии глубокого машинного обучения искусственного интеллекта.

Когда-то люди решили, что думать за них будут машины,
понадеявшись, что станут от этого свободнее.
Но вместо этого они просто позволили хозяевам машин поработить их. —
«Да не сотворишь машины, наделенной людским умом».

Фрэнк Гилберт, «Дюна», 1965 год



Всего восемь лет назад искусственный интеллект (ИИ) как явление не приносил такой бурной радости и одновременно не вызывал такой ужас в элитах, как вызывает сейчас, в середине 2023 года. Как-то в одночасье успехи в реализации проектов глубокого машинного обучения (одного из подразделов технологий ИИ) стали сравнивать с изобретением атомного оружия, которое впервые поставило под вопрос физическое выживание человечества.

Однако публично о будущем прорыве в этой области стали писать гораздо раньше. Аналитические отделы западных инвестиционных банков еще в 2015‒2016 годах предсказывали переломный момент в направлении искусственного интеллекта за счет машинного обучения, но апокалиптических прогнозов тогда никто не делал.

В своих отчетах UBS, Goldman Sachs, JPMorgan и прочие ожидали роста инвестиций и долгожданного повышения производительности труда благодаря цифровизации традиционных отраслей и повсеместного внедрения машинного обучения. Главный экономист Goldman Sachs Ян Хациус обещал, к примеру, что повышение производительности за счет технологий искусственного интеллекта может, как и в 1990-х годах, побудить корпорации инвестировать в более капиталоемкие и трудоемкие проекты, ускоряя рост, повышая прибыльность и увеличивая стоимость акций. «Например, в здравоохранении технология распознавания изображений может повысить точность диагностики рака, — писали в Goldman Sachs в отчете от 14 ноября 2016 года. — В сельском хозяйстве фермеры и производители семян могут использовать методы глубокого обучения для повышения урожайности. В фармацевтике глубокое обучение будет использоваться для улучшения поиска лекарств. В горнодобывающей промышленности за счет машинного обучения повысится эффективность геологоразведки. В сфере финансовых услуг снизятся затраты, а прибыль увеличится за счет открытия новых срезов данных для более быстрого анализа, чем это было возможно ранее».

Интерес к ИИ со стороны инвесторов рос и не вызывал никакого беспокойства общественности. По оценкам Центра безопасности и новых технологий (Center for Security and Emerging Technology, CSET) уже к 2019 году частные компании, занимающиеся искусственным интеллектом, привлекли почти 40 млрд долларов публичных инвестиций в акционерный капитал по всему миру. Поскольку некоторые транзакции не были публичными, общая стоимость сделок в сфере ИИ могла быть значительно выше: по оценкам CSET, до 74 млрд долларов в 2019 году. Для сравнения: на Манхэттенский проект за три года было потрачено в два с лишним раза меньше. И это в текущих ценах, с учетом инфляции. Мощный финансовый кулак! Неудивительно, что консалтинговое агентство McKinsey предположило, что искусственный интеллект обеспечит около 40% всего экономического роста в текущем десятилетии.

FLOPS — это количество операций с плавающей запятой, которое может выполнить устройство за одну секунду, отсюда и название — FLoating-point Operations Per Second. Это показатель скорости работы компьютера, где 1 (один) GFLOPS равен 109 FLOPS, а 1 TFLOPS равен 1012 FLOPS

Нынешний безудержный рост оптимизма по поводу проектов искусственного интеллекта имеет три причины.

Первая — в мире накопилось много данных. Наблюдается значительный рост объема неструктурированных данных, создаваемых все более повсеместно подключенными устройствами, машинами и системами. Нейронные сети искусственного интеллекта становятся тем более эффективными, чем больше у них данных, а это означает, что по мере увеличения объема данных увеличивается количество задач, которые машинное обучение может решить с использованием этих данных.

Вторая — появление способа глубокого обучения нейронных сетей в машинном обучении. Большая часть нынешнего энтузиазма касательно ИИ вызвана именно этой технологией. Глубокое обучение — это подраздел машинного обучения. Глубокое обучение нейронных сетей позволяет принимать решения на основе данных за счет определения и извлечения закономерностей из огромных наборов информации, устанавливая правильные связи между цепочкой сложных входных значений и удачными решениями.

Третья причина — более быстрое оборудование. Революция в производительности нейронных сетей произошла в 2012 году, когда команда исследователей, работающих с одним из легендарных разработчиков нейросетей Джеффри Хинтоном, разработала способ использования возможностей графических процессоров для резкого увеличения производительности систем, придуманных Фрэнком Розенблатом. Команда Хинтона также опиралась на базу данных изображений ImageNet (несколько миллионов электронных изображений, собранных и отсортированных вручную). «Обучение глубоких нейросетей сегодня требует больших массивов данных и еще больше вычислительных ресурсов (пропорционально квадрату объема данных)», — объясняет Сергей Шумский президент Российской ассоциации нейроинформатики, руководитель лаборатории когнитивных архитектур МФТИ.

Страшнее атомной бомбы

В начале 2023 года яркие маркетинговые презентации одного из наиболее заметных достижений в области искусственного интеллекта генеративного ИИ — систем, которые могут создавать новые изображения, музыку или текст в ответ на запросы пользователя, —получили не менее скандальную обратную связь.

Сначала обычные пользователи с любопытством ринулись изучать потенциальное применение этой технологии. Народу понравились генеративные инструменты искусственного интеллекта для составления новостей, написания статей и дипломных работ, пресс-релизов и сообщений в социальных сетях, создания высококачественных изображений, видео и музыки и даже написания машинного кода. Помимо основной политической и экономической повестки начала 2023 года в мессенджерах и соцсетях только и стало разговоров, что о генеративных нейросетях ChatGPT, Midjourney или о DALL-E. Нейросети стали «крутыми» и доступными. Открылся огромный рынок. И как-то в одночасье стало понятно, что к нам пришла самая большая волна той самой пресловутой четвертой промышленной революции. Цифровое цунами. Цунами, которое некоторых напугало.

Волна страха началась с письма некоммерческой организации Future of Life. Оно появилось на сайте организации 28 марта 2023 года. Глава SpaceX Илон Маск, соучредитель Apple Стив Возняк, филантроп Эндрю Янг и еще около тысячи исследователей искусственного интеллекта призвали «немедленно приостановить» обучение нейросетевых систем ИИ, «более мощных, чем GPT-4». Авторов письма беспокоило, что человечество настолько усовершенствовало искусственный интеллект, что рискует потерять над ним контроль: «Мощные системы искусственного интеллекта следует разрабатывать только тогда, когда мы уверены, что их эффекты будут положительными, а риски — управляемыми», — было написано в письме. Эксперты, подписавшие письмо, заявили, что сначала нужно разработать и внедрить общие протоколы безопасности, а исследования можно будет продолжить, когда будет уверенность в их положительном эффекте и управляемости рисков. На момент написания данного текста письмо Future of Life подписали уже 27,5 тыс. человек.

Некоторые считают, что Future of Life среагировал на доклад сотрудников Microsoft (ставшего главным владельцем ChatGPT), где исследователи рассказали о последних тестах GPT-4 и заявили, что эта языковая модель удивительно близка к человеческому уровню. Однако есть и иная версия.

Илон Маск многие годы был советником Future of Life. А еще он стоял у истоков некоммерческого фонда OpenAI, чьей разработкой был самый раскрученный проект генеративных нейросетей — ChatGPT. Маск и партнеры обещали внести в 2015 году миллиард долларов в фонд OpenAI с целью создать открытую компанию, работающую на благо цивилизации. Открытость была призвана избежать концентрации власти, которую дает искусственный интеллект, в одних руках. В планах OpenAI было открытое сотрудничество со всеми лицами и учреждениями, публикация всех результатов своих исследований. Однако в феврале 2018 года Маск вышел из совета директоров OpenAI. Говорят, он пытался сменить руководство фонда и самолично его возглавить, утверждая, что он отстает от Google в развитии, но после неудачи отказался от дальнейшего масштабного финансирования проектов OpenAI (генератора изображений DALL-E и текстового генеративного искусственного интеллекта GPT).

После этого, в 2019 году, Сэм Альтман, генеральный директор фонда OpenAI, нашел другого спонсора — создал коммерческую структуру, куда фонд внес идеи и разработки DALL-E и GPT, а контрольный пакет этой структуры был продан Microsoft за миллиард долларов. Так Илон Маск оказался в стороне от технологии ИИ, которая так удачно выстрелила через три года.

Какие перспективы упустил Маск, ему стало ясно в начале 2023 года, когда Microsoft обещала инвестировать еще более 10 млрд долларов в ChatGPT. А консалтинговая корпорация PricewaterhouseCoopers заявила о сотрудничестве с Microsoft и OpenAI для автоматизации своих налоговых, аудиторских и консалтинговых услуг и рассчитывает инвестировать миллиард долларов в генеративный ИИ в течение следующих трех лет. Одновременно компания Palantir американского миллиардера Питера Тиля представила ИИ-платформу для больших языковых моделей и продемонстрировала, как военные могут использовать эти вещи для ведения войны.

В эти же дни Илон Маск побеседовал с экс-телеведущим канала Fox News Такером Карлсоном и заявил о планах создать свой чат-бот TruthGPT с искусственным интеллектом в противовес ChatGPT. Маск объяснил, что ChatGPT, разработке которого он способствовал, программировался специалистами с «левыми» взглядами, которые, по мнению миллиардера, обучили ИИ лгать и «быть политкорректным». «Я собираюсь создать что-то, что я называю TruthGPT, или ИИ, который максимально стремится к поиску истины и пытается понять природу Вселенной», — заявил Маск. По его словам, такой подход будет наиболее безопасным, так как, если ИИ будет стремиться понять Вселенную, он «вряд ли постарается уничтожить человечество, потому что мы интересная часть Вселенной».

Два плюс один

После хайповых откровений Маска и вызывающего письма института Future of Life появилась еще одна группа экспертов, предлагающих ограничить ИИ. Все они выходцы из Google, еще одного игрока на рынке генеративных нейросетей. Все эксперты были уволены или ушли из Google по собственному желанию.

Так, Маргарет Митчелл и Тимнит Гебру написали научную статью под названием «Об опасностях стохастических попугаев: могут ли языковые модели быть слишком большими?». Авторы заявили, что постоянно растущие объемы обучающих данных усугубляют социальные и экологические проблемы. Большие вычислительные мощности используют много энергии, что ведет к деградации окружающей среды. Еще один риск, по мнению авторов статьи, исходит от самих обучающих данных: набравшись информации из интернета, генеративные языковые модели могут подхватить все экстремистские идеологии.

Другой выходец из Google, Тристан Харрис, вместе с соавторами опубликовал дополнение к письму Future of Life. Оно вышло в виде статьи Центра человеческих технологий, который он сам основал. Харрис и его соавторы убеждают в своей статье, что искусственный интеллект опасен так же, как ядерное оружие. Они ссылаются на опрос 2022 года, когда половина из 700 ведущих ученых и исследователей в области ИИ призналась, что существует как минимум 10-процентная вероятность вымирания человечества (или аналогичного постоянного и серьезного лишения прав) из-за будущих систем ИИ.

Мощным завершающим аккордом в среде сторонников ограничения ИИ выступил Джеффри Хинтон. В начале мая 2023 года 75-летний Хинтон уволился из Google и во всеуслышание заявил об опасности искусственного интеллекта. В соцсетях Хинтон заявил, что уволился, чтобы свободно говорить об опасностях нейросетей, не задумываясь о том, как его слова повлияют на Google.

Хинтона считают «крестным отцом» ИИ: он начинал работать над нейросетями еще в 1970-е. Новаторские идеи Хинтона в работе нейронных сетей сформировали системы ИИ, лежащие в основе многих современных продуктов. В 2012 году Хинтон и его студенты — выходцы из бывшего СССР Алекс Кришевский и Илья Суцкевер создали нейросеть, способную распознавать изображения, позже эту технологию Google купил за 44 млн долларов. Работа Хинтона и его студентов позже легла в основу ChatGPT, в создании которого участвовал Суцкевер — он стал главным научным сотрудником OpenAI, создавшей бот.

«Я просто ученый, который внезапно понял, что эти вещи становятся умнее нас, — заявил Джеффри Хинтон в интервью телеканалу CNN. — Я хочу как бы дать свисток и сказать, что мы должны серьезно беспокоиться о том, как мы помешаем этим вещам получить контроль над нами». А в интервью газете New York Times Хинтон заявил, что уже жалеет о работе всей своей жизни. Он сказал, что «опасность нейросетей заключается в том, что интернет могут заполонить фальшивые фото, видео и тексты, созданные искусственным интеллектом, и люди не смогут понять, что является правдой». Хинтон не знает, как можно помешать злоумышленникам использовать нейросети в плохих целях. К тому же, опасается Хинтон, искусственный интеллект может перевернуть рынок труда, заменив работников в ряде сфер.

Что ж, одновременные алармистские откровения людей из отрасли ИИ и критика одного из богатейших людей Америки в совокупности с его желанием инвестировать в эту технологию, наверное, не простое совпадение. Вангуем: десант экс-выходцев из Google, включая гуру нейросетей Джеффри Хинтона, скоро станут частью проекта Илона Маска. Задержка и разбирательства насчет ужасов ИИ могли бы дать Маску фору по сравнению с конкурентами.

Разумеется, Microsoft и Google против того, чтобы стоять на месте. Билл Гейтс уже заявил, что приостановка в работе над ИИ не приведет к ожидаемым результатам. По мнению главы Microsoft, лучше всего сосредоточиться на том, как эффективнее использовать возможности ИИ.

Что касается Google, то тот четко обозначил свои приоритеты в области искусственного интеллекта на своей ежегодной конференции I/O в мае 2023 года. Никаких остановок! Компания объявила, что внедряет новые мощные инструменты искусственного интеллекта во множество своих существующих продуктов и запускает множество новых, в том числе помощника по кодированию. Миллиарды пользователей скоро увидят новейший языковой режим искусственного интеллекта поисковой системы Google, PaLM 2, интегрированный более чем в 25 продуктов, таких как «Карты», «Документы», Gmail, «Таблицы» и чат-бот компании Bard, пообещали в Google.

Патологии масштаба

Как бы то ни было, но критика Илона Маска и сторонников ограничений на ИИ случайно высветила одну очень опасную тенденцию: ведущие цифровые платформы быстро превращаются в доминирующие во всей экономике мира экономические и социальные монополии.
«За последние несколько десятилетий горстка частных субъектов накопила власть и ресурсы, которые конкурируют с национальными государствами, разрабатывая и проповедуя искусственный интеллект как важнейшую социальную инфраструктуру, — пишет в своем отчете институт AI Now, изучающий социальные последствия внедрения технологий ИИ. — И, по-видимому, эта власть big tech будет только усиливаться».

Эксперты AI Now укрепились во мнении, что новые технологии машинного глубокого обучения «являются “фундаментальными” и важным поворотным моментом для продвижения в области ИИ, несмотря на множество примеров, когда эти системы “глючили” и не давали осмысленных ответов». Так же, как и риски потери управления над ИИ. Но связанные с этим нарративы отвлекли от главного — «патологии масштаба».

Известно, что чем больше у сервиса пользователей, тем больше у него данных и тем выше качество, что еще больше увеличивает число пользователей. А фундаментальная особенность технологии машинного глубокого обучения еще больше усиливает этот эффект, ведь чем больше данных «скармливать» таким нейросетям, тем более эффективно они работают. Вот почему большинство существующих крупномасштабных моделей ИИ на Западе были разработаны исключительно крупными технологическими гигантами Alphabet (Google), Meta и Microsoft. А множество готовых, предварительно обученных моделей ИИ независимых игроков этого сегмента рынка остаются зависимы от монопольных облачных сервисов тех же игроков: Alphabet (Google Cloud), Microsoft (Azure) и примкнувшего к ним Amazon (AWS).

Эти технологические гиганты накопили огромную экономическую мощь, которая позволила им внедриться в качестве основной инфраструктуры во множество отраслей, от здравоохранения, образования и оборонного сектора до торговли и финансовых услуг. А теперь они еще получают в свои руки новый технологический инструментарий в виде нейросетей глубокого обучения, внедрение которого может только углубить проникновение в эти и новые сектора экономик мира, а также в государственное управление и общественные институты.

При этом big tech не собирается делиться этой властью. Уже есть примеры, как эти компании используют контроль над необходимыми ресурсами для развития проектов ИИ для подавления конкуренции. Например, Microsoft недавно начала штрафовать клиентов за разработку потенциальных конкурентов GPT-4, угрожая ограничить их доступ к данным поиска Bing.
Кроме того, big tech продолжает наращивать скупку данных. Это видно из сделок слияний и поглощений, осуществленных компаниями big tech за последнее время. Доступ к самому широкому и глубокому набору поведенческих данных будет иметь стратегическое преимущество в создании потребительских и социальных продуктов ИИ.

Рано или поздно это приведет компании big tech к концентрации власти и противостоянию общества и государства, считает американский исследовательский институт AI Now. «Только когда мы перестанем рассматривать ИИ как синоним прогресса, мы сможем установить народный контроль над траекторией этих технологий и осмысленно противостоять их серьезным социальным, экономическим и политическим последствиям», — пишут аналитики AI Now.

Но пока встреча президента США Джо Байдена и вице-президента США Камалы Харрис с главными игроками ИИ-рынка Соединенных Штатов — Anthropic, Google, Hugging Face, Microsoft, Nvidia, OpenAI, Stability AI, DeepMind, Scale AI, состоявшаяся 4 мая 2023 года, ни к чему существенному в ограничении роста big tech не привела. По итогам встречи было принято два решения: первое — выделить 140 млн долларов Национальному научному фонду США на запуск семи новых национальных научно-исследовательских институтов искусственного интеллекта и второе — администрация президента США объявила об обязательном прохождении аудита разработчиками систем ИИ на платформе, разработанной компанией Scale AI. По сути, через ручной человеческий фильтр.

Понятно, что геополитическое преимущество, которое сулят системы искусственного интеллекта, пока заставляют руководство США закрывать глаза на необходимость антимонопольного регулирования big tech. Пока в ИИ и в их разработчиках политики видят в первую очередь стратегические активы экономики и безопасности для нации, которые должны поддерживаться, а не ограничиваться. Риторика вокруг американо-китайской гонки ИИ позиционирует компании в области ИИ как решающие рычаги в этой геополитической борьбе. Но это обеспечивает постоянное накопление ресурсов и политического капитала для big tech. И это очень опасно.

Критика искусственного «чистого разума»

Глубокое обучение — совершенно иной тип мышления, кардинально отличающийся от человеческого разума. Оно опирается на слепые корреляции. Считается, что искусственный нейрон функционирует аналогично природному, но Гэри Маркус и Эрнест Дэвис в своей книге «Искусственный интеллект: перезагрузка», говорят, что «системы глубокого обучения никоим образом не отражают сложность и разнообразие реальных процессов в человеческом мозге (или мозге животных). Действительно, человеческий мозг все еще значительно превосходит кремниевые аналоги. По крайней мере, в пяти аспектах: мы можем понимать язык, понимать мир, мы можем адаптироваться к новым обстоятельствам, можем быстро осваивать новые вещи (даже без больших объемов данных) и можем рассуждать даже в условиях неполной и даже противоречивой информации».

«То, чем мы располагаем на данный момент, проще назвать сверхбыстрыми цифровыми марионетками…», — отзываются о системах искусственного интеллекта, построенных по принципам глубокого обучения, авторы книги. — Чего сегодня не хватает искусственному интеллекту (и, скорее всего, эта проблема не решится до тех пор, пока в нашем арсенале не появятся иные подходы) — это широты (или универсальности) мышления. ИИ должен уметь справляться не только с ограниченными по своей сути проблемами, для решения которых в память машины уже загружено огромное количество данных, но также с проблемами, которые окажутся для компьютерных систем новыми, или хотя бы с такими вариациями исходной проблемы, которые ранее не встречались».

Классический искусственный интеллект

Термин «искусственный интеллект» ввел в оборот ученый-когнитивист и компьютерщик Джон Маккарти, в числе прочего организовав знаменитый двухмесячный семинар по этой теме в Дартмутском колледже в 1956 году. У пионеров искусственного интеллекта не хватало теоретических представлений о том, как устроены «алгоритмы разума», и знаний о реальных механизмах работы мозга. Не было и технических средств (компьютеров).

В первые годы существования технологий искусственного интеллекта данных было немного, поэтому в большинстве исследований использовался подход, основанный на знаниях. Этот подход иногда называют классическим искусственным интеллектом. При классическом подходе исследователи обычно вручную кодируют те знания, которые потом машинный разум должен будет использовать для выполнения определенной задачи, а затем пишут программы, которые используют эти знания, применяя их к различным когнитивным задачам, таким как понимание текста, проектирование роботов или поиск доказательств различных теорем. Сейчас такие методы широко используются, например, в планировании маршрутов для роботов или в системе GPS-навигации.

В целом такой подход, ориентированный на знания, в последние годы был почти целиком выдавлен машинным обучением, которое обычно пытается извлечь уроки из массовых данных, а не полагается на алгоритмы и знания, оцифрованные вручную.
Маркус и Дэвис не случайные люди в отрасли. Первый является профессором кафедры психологии Нью-Йоркского университета, был основателем компании Geometric Intelligence (занималась машинным обучением и впоследствии приобретена Uber), второй — профессор информатики того же университета, один из ведущих специалистов в области развития у искусственного интеллекта способности к логическому мышлению.

Маркус и Дэвис пытаются доказать, что нынешняя одержимость созданием «чистых» машин, которые все изучают с нуля, основываясь исключительно на данных, а не на знаниях, является серьезной стратегической ошибкой.

Да, глубокое обучение — это только часть более сложной задачи создания интеллектуальных машин. В методах, подобных этому, отсутствуют способы представления причинно-следственных связей (например, между болезнями и их симптомами), и они могут испытать серьезные затруднения при столкновении с абстрактными идеями. У них нет очевидных способов формирования логических выводов, и они еще далеки от интеграции абстрактного человеческого знания.

Способность машин обучаться естественным языкам и общаться на них — важнейший технологический барьер на пути к сильному интеллекту. Существующие глубокие нейросети пока что не могут «держать мысль». Им не хватает способности к моделированию окружающего мира и к логическом мышлению.

Кроме того, глубокое обучение вовсе не представляет собой единственный или лучший подход к развитию ИИ. Например, еще один вариант машинного обучения состоит в построении так называемых деревьев решений, которые, по сути, являются системами простых правил, позволяющих фильтровать или группировать данные. Еще один подход — генетический алгоритм — основан на имитировании эволюции алгоритмов, которые улучшаются по мере тестирования и видоизменения. Так что пока колоссальные объемы человеческих знаний, которые уже можно было бы использовать для улучшения или повышения надежности систем, сегодня почти целиком игнорируются, поскольку неясно, как интегрировать их в процесс глубокого обучения.

Ранее опубликовано на: https://stimul.online/articles/innovatsii/tsunami-v-glubokikh-neyrosetyakh/
Печать
В Ингушетии украли 1 млрд рублей, предназначенных для поддержки семей15:41Президент поддержал Беглова и стратегию развития Петербурга15:26Что ждет наших нейтралов на Играх-2024 в Париже15:09Отток населения в Волгоградской области сменился приростом14:46Предпосылки к отставке Самоукова давно сформировались14:40Иностранцы смогут приобретать сим-карты только по биометрии13:25Коммунисты попытаются навязать борьбу «Единой России»13:19Свердловские депутаты утвердили меры поддержки многодетных семей13:04Бесконтрольная массовая миграция представляет угрозу для РФ12:53В Красноярском крае пройдут Дни предпринимательства12:28Госдума может ввести наказание за призывы к порче бюллетеней12:21В Донецке запустят новый проект ко Дню ДНР11:55Вербное воскресенье: о чем на самом деле праздник11:50Более 700 тысяч россиян переехали из аварийного жилья11:29Новая помощь США Киеву не принесет победы над Россией11:24На Украине возбудили дело против Верховной Рады11:06Шумков поручил выплатить компенсацию пострадавшим от паводка11:00Россия вошла в топ самых кибератакуемых стран10:37Депутаты Алтайского края отчитались о доходах за 2023 год10:14Спикер парламента Молдавии призвал сограждан назваться румынами10:08Статистика, не имеющая под собой реальной основы09:56Приехал в Россию - должен знать русский язык09:35Закондырин: Экономике замкнутого цикла необходимо госрегулирование09:2620% бюллетеней на выборах в США в 2020 году были сфальсифицированы16:31В ОП РФ предложили создать «санитарную зону» на юго-западных границах15:42Транспортное строительство Петербурга: сферы и этапы развития15:34Депутаты парламентов Киргизии и РФ обсудили перспективы сотрудничества15:24Сын Марата Хуснуллина планирует стать депутатом Татарстана15:15
E-mail*:
ФИО
Телефон
Должность
Сумма 7 и 4 будет

Архив
«    Апрель 2024    »
ПнВтСрЧтПтСбВс
1234567
891011121314
15161718192021
22232425262728
2930