Инструкция по размещению данных на Портале открытых данных

Пред След

Авторизация на сайте

Размещать данные на Портале могут только авторизованные пользователи. Для авторизации необходимо кликнуть на кнопку «Войти» в правом верхнем углу экрана.

Рисунок 1 – Главная страница Портала

На отобразившейся форме (Рисунок 2) необходимо заполнить требуемые поля и кликнуть на кнопку «Вход».

Рисунок 2 – Форма авторизации

Размещение данных на Портале

После успешной авторизации можно перейти к самому размещению данных. Перейдите в раздел «Пакеты данных» кликнув на соответствующую кнопку (в меню сайта).

Рисунок 3 – Раздел «Пакеты данных»

Кликните на кнопку «Добавить пакет»

Рисунок 4 – Раздел «Пакеты данных»

В отобразившейся форме (Рисунки 5,6,7) необходимо заполнить требуемые поля. (рекомендации по заполнению определенных полей указаны под Рисунками 5,6,7)

Рисунок 5 - Форма добавления нового набора данных

Рисунок 6 – Форма добавления нового набора данных

После заполнения полей кликните на «Далее: Добавить данные» (Рисунок 7), чтобы перейти к следующему шагу при размещении данных.

Рисунок 7 – Форма добавления нового набора данных

Загрузка файла с компьютера

Если данные, которые необходимо добавить находятся в файле на Вашем компьютере, кликните на кнопку «Загрузка» и выберите необходимый файл (Рисунок 8).

Рисунок 8 – Загрузка файла с компьютера

Если Вам необходимо добавить несколько файлов или ссылок нажмите кнопку «Сохранить и добавить еще». После того как Вы добавите все необходимые файлы убедитесь в правильности внесенной информации нажмите на кнопку «Конец» (Рисунок 9). После чего новый набор данных будет успешно добавлен (Рисунок 10).

Рисунок 9 – Отображение данных в форме добавления данных после загрузки файла

Рисунок 10 – Новый набор данных

Загрузка файла через ссылку

Если данные, которые необходимо добавить расположены не на Вашем компьютере то кликните на кнопку «Ссылка» (Рисунок 11).

Ссылка указывает на существующий внешний ресурс (например, CSV-файл, размещённый на другом сайте) или Ссылка на API, которая предполагает, что данные будут извлекаться динамически через API стороннего сервиса. Этот способ используется для получения данных в реальном времени с помощью программных интерфейсов. Данные обновляются динамически каждый раз, когда кто-то обращается к набору данных.

Для корректной загрузки данных на Портал через ссылку на API ознакомьтесь с Приложением № 1.

Рисунок 11- Загрузка файла через ссылку

В поле для URL введите адрес API, с которого будут динамически загружаться данные. Это может быть любой API-адрес, который предоставляет доступ к данным в формате JSON, XML или другом поддерживаемом формате.

Укажите формат данных, который возвращает API, например, JSON, XML, CSV и т.д. Это важно для правильного отображения и работы с данными в CKAN.

Пример ссылки, которую можно вставить в поле для URL в CKAN при добавлении ресурса через API:

https://api.example.com/data/v1/resource?param=value&api_key=your_api_key

Это пример ссылки API-запроса. Вместо your_api_key нужно вставить свой API-ключ, который можно получить при регистрации на сервисе, он будет на Вашем профиле в левом нижнем углу (Рисунок 12).

Рисунок 12 – Отображение профиля пользователя

После того как Вы добавите все необходимые ссылки убедитесь в правильности внесенной информации нажмите на кнопку «Конец» (Рисунок 13). После чего новый набор данных будет успешно добавлен (Рисунок 14).

Рисунок 13 – Завершение добавления данных через ссылку на файл/сслыку на API

Рисунок 14 – Новый набор данных

Инструкция, регламентирующая правила к размещаемым пользователями массивам данных на Портале открытых данных

Данные , размещаемые на портале должны быть обезличены . В файлах не должны присутствовать имена, контактные данные, номера социального страхования, медицинская информация или другая информация, которая может идентифицировать конкретных лиц (персональные данные) .

Рисунок 15

Рисунок 16

Рекомендации к структуре загружаемых файлов

Для повышения эффективности использования открытых данных, загружаемых на Портал, необходимо дать определение двум главным понятиям.

1) Массив данных — это набор исходных, необработанных данных, которые собираются в процессе работы организаций. Массивы данных обычно обновляются регулярно и отражают текущее состояние явлений или процессов.

Таблица 1 отображает часть записей из данных о безработных гражданах по одному региону и на определенную дату.

2) Статистические данные — это уже агрегированные и обработанные данные, которые представляют собой результаты анализа исходных данных. Такие данные могут быть представлены в виде средних значений, процентов, индексов и других показателей, отражающих тенденции или результаты на основе первичной информации. Обычно такие данные обновляются реже и имеют определенный временной интервал, например, квартал, год.

Рекомендации по форматам данных

Для обеспечения максимальной доступности и удобства использования данных рекомендуется загружать данные в следующих форматах:

• CSV (Comma-Separated Values) - наиболее универсальный и легко читаемый формат
• XLSX (Microsoft Excel) - для сложных таблиц с форматированием
• JSON (JavaScript Object Notation) - для структурированных данных, особенно при использовании API
• XML (eXtensible Markup Language) - для структурированных данных

Метаданные

Каждый набор данных должен сопровождаться метаданными, включающими:

• Описание набора данных
• Дату создания или последнего обновления
• Периодичность обновления (если применимо)
• Источник данных
• Контактное лицо (без персональных данных)
• Лицензию на использование данных

Приложение №1, документация API: Добавление новых данных

При загрузке данных через API необходимо обеспечить соответствие ответа сервера следующему формату:

{
                "name": "string",
                "title": "string",
                "author": "string",
                "maintainer": "string",
                "owner_org": "string",
                "notes": "string",
                "url": "string",
                "license_id": "string",
                "tags": [
                    {
                        "name": "tag1"
                    },
                    {
                        "name": "tag2"
                    }
                ],
                "resources": [
                    {
                        "url": "",
                        "name": "",
                        "format": "",
                        "description": ""
                    }
                ]
            }

Пример реального API ответа:

{
                "help": "https://data.gov.kg/api/3/action/help_show?name=package_create",
                "success": true,
                "result": {
                    "license_title": "Creative Commons Attribution",
                    "maintainer": "Dataset Maintainer",
                    "relationships_as_object": [],
                    "private": false,
                    "maintainer_email": null,
                    "num_tags": 2,
                    "id": "e2778cde-fecc-462a-9ba8-6fa2b4af554a",
                    "metadata_created": "2024-09-12T09:59:59.494057",
                    "metadata_modified": "2024-09-12T09:59:59.494067",
                    "author": "Dataset Author",
                    "author_email": null,
                    "state": "active",
                    "version": null,
                    "creator_user_id": "4336a925-1c92-4427-a080-5a368499d5a2",
                    "type": "dataset",
                    "resources": [],
                    "num_resources": 0,
                    "tags": [
                        {
                            "vocabulary_id": null,
                            "state": "active",
                            "display_name": "testtag1",
                            "id": "98d0c8d1-b148-4bfa-99de-451d647553bb",
                            "name": "testtag1"
                        },
                        {
                            "vocabulary_id": null,
                            "state": "active",
                            "display_name": "testtag2",
                            "id": "e7cf2315-5d2a-4aaf-850a-de5b9547907d",
                            "name": "testtag2"
                        }
                    ],
                    "tracking_summary": {
                        "total": 0,
                        "recent": 0
                    },
                    "groups": [],
                    "license_id": "cc-by",
                    "relationships_as_subject": [],
                    "organization": {
                        "description": "",
                        "created": "2023-12-15T14:54:24.420625",
                        "title": "Министерство транспорта и коммуникаций Кыргызской Республики",
                        "name": "mnhnctepctbo-tpahcnopta-n-kommyhnkaunn-kbiprbi3ckon-pecny6jinkn",
                        "is_organization": true,
                        "state": "active",
                        "image_url": "2023-12-15-093924.663074mintrans.jpg",
                        "revision_id": "568c82ce-82e5-49b3-b0d7-364599f74e7d",
                        "type": "organization",
                        "id": "80e26259-b098-4369-993f-7e4b96f75527",
                        "approval_status": "approved"
                    },
                    "name": "test-dataset-sept",
                    "isopen": true,
                    "url": "https://data.gov.kg/dataset/testdatasetisthere",
                    "notes": "Dataset description",
                    "owner_org": "80e26259-b098-4369-993f-7e4b96f75527",
                    "extras": [],
                    "license_url": "http://www.opendefinition.org/licenses/cc-by",
                    "title": "Dataset Title",
                    "revision_id": "8410521a-28dd-4a46-9b85-5809fda109a6"
                }
            }

Пример ошибки при повторном запросе:

{
                "help": "https://data.gov.kg/api/3/action/help_show?name=package_create",
                "success": false,
                "error": {
                    "__type": "Validation Error",
                    "name": [
                        "Этот URL уже используется"
                    ]
                }
            }