Аппаратный encoder h264 для Allwinner H3

[ubobrov]

Запилил аппаратный энкодер видео для чипов H3 из исходников для A10/A20. Проестил: работает
Должен работать при условии, что права на /dev/ion, /dev/video0 и /dev/cedar_dev установлены в 666 и у Вас есть ffmpeg

энкодер (бинарь) можно взять здесь
Запись видео с USB камеры:

Код: [Выделить]

ffmpeg -f v4l2 -video_size 640x480 -i /dev/video0 -pix_fmt nv12 -r 25 -f rawvideo pipe: | ./h264enc - 640 480 test.h264

Воспроизведение записанного:

Код: [Выделить]

mpv --vo=vdpau --hwdec=vdpau --hwdec-codecs=all test.h264

UPD:

Адаптированные исходники FFmpeg для Allwinner H3.
Чтобы собрать, надо взять оригинальные исходники вот отсюда и заменить в них файлы из репозитория, затем собрать на целевой платформе.
Готовый бинарь здесь.

Запись с камеры: 

Код: [Выделить]

 ffmpeg -f v4l2 -video_size 640x480 -i /dev/video0 -pix_fmt nv12 -r 25 -c:v cedrus264 test.h264

Воспроизведение:

Код: [Выделить]

mpv --vo=vdpau --hwdec=vdpau --hwdec-codecs=all test.h264

Успехов.

[Olej]

Запилил аппаратный энкодер видео для чипов H3 из исходников для A10/A20. Проестил: работает

Скорее всего, гость ubobrov вряд ли появится в форуме...
Но может кто-то может подсказать ... или хотя бы высказать предположение:
- что это за такой аппаратный энкодер для h264?
- в каких процессорах такое чудо есть?
- в каких ARM кроме названных A10/A20/H3?

[ua3nbw]

Cedrus – linux-sunxi community проект программного обеспечения, который является полностью 100% открытым исходным кодом драйвера для использования аппаратного ускорения видео.

Bootlin (formerly Free Electrons) -- активно работают и продвигают.

тут подробнее: https://linux-sunxi.org/Sunxi-cedrus

[Olej]

Cedrus – linux-sunxi community проект программного обеспечения, который является полностью 100% открытым исходным кодом драйвера для использования аппаратного ускорения видео.

Bootlin (formerly Free Electrons) -- активно работают и продвигают.

тут подробнее: https://linux-sunxi.org/Sunxi-cedrus

Это очень интересно.
Но непонятно ... в чём аппаратность? какой аппаратный чип, устроство и т.д. обеспечивает эту аппаратность?

[ua3nbw]

Но непонятно ... в чём аппаратность? какой аппаратный чип, устроство и т.д. обеспечивает эту аппаратность?

Там: https://linux-sunxi.org/Sunxi-cedrus есть таблица, что Sunxi-Cedrus VPU driver  на mainline ядре работает на Allwinner SoCs A13/A10s, A20,  A33,  H3

аппаратно  работают кодеки MPEG2 и H264  с плеерами VLC и KODI.

очевидно, что используется графический процессор GPU Mali

[Olej]

Там: https://linux-sunxi.org/Sunxi-cedrus есть таблица, что Sunxi-Cedrus VPU driver  на mainline ядре работает на Allwinner SoCs A13/A10s, A20,  A33,  H3
аппаратно  работают кодеки MPEG2 и H264  с плеерами VLC и KODI.

Platform   Cedrus Driver Status   DRM Planes Status
A10   Untested   Untested
A13/A10s   Supported   Missing (broken)
A20   Supported   Supported
A23   Untested   Untested
A33   Supported   Supported
A64   Untested   Untested
H3   Supported   Supported
H5   Untested   Untested

Означает ли это, что все эти изыски по GIT-ам 2-летней давности, с которых начинается эта тема, не актуальны, и всё теперь доступно в главной ветке развития проекта?
Будет ли аппаратное ускорение работать (для H3) с кодеком H264 (да и MPEG2) не с конкретными плеерами VLC и KODI (которые, откровенно говоря, мне на хрен не нужны), а и в других окружениях ... например с компьютерным зрением, OpenCV? ... например при записи потока фреймов захваченных с видеокамеры.

[AlDemin]

очевидно, что используется графический процессор GPU Mali

На сколько Я понял, GPU и VPU - два разных устройства.

[Olej]

очевидно, что используется графический процессор GPU Mali

На сколько Я понял, GPU и VPU - два разных устройства.

Вот очень хотелось бы разобраться что это за устройства?
Прежде всего, что за аббревиатура VPU?

[Olej]

очевидно, что используется графический процессор GPU Mali

На сколько Я понял, GPU и VPU - два разных устройства.

Мне вот это показалось интересным - Video Engine

What should this hardware block be called?
Video Engine is the plain name used by Allwinner for the hardware block responsible for the task of decoding and encoding video formats.

(выделено мной)

VE - Video Engine
is the most common name used in all the places for this hardware block. It is believed that VE is a short form of VCE (Video Codec Engine) to be in accordance with ACE (Audio Codec Engine) and is also the best generic name to describe this type of hardware block.
Naming in the datasheets and user manuals.
SOC   features label   block diagram   related registers
A10   VPU   VE   VE
A10s   VPU   VPU   VE
A13   VPU   VPU   VE
A20   Video Engine (Phoenix 3.0)   Video Engine   VE
A23   Video Engine   Video Engine   VE
A31   Video Engine   Video Engine   VE
A31s   Video Engine   Video Engine   VE
A33   Video Engine   Video Engine   VE
A80   Video Engine   Video Engine   VE
A83T   Video Engine   claims decoder/encoder is part of the GPU block   VE
H3   Video Engine   Video Engine   VE
A64   Video Engine   Video Engine

Ну клоуны, блин!
Оказывается, VPU, VE, VCE, ACE ... - это всё одно и то же ... в зависимости от того, у кого из пишущих "документацию" в каком месте руки чешутся

Но таки да ... есть у них там какие-то дополнительные аппаратные плюшки, VE, неизвестные другим производителям (?).

[Olej]

аппаратно  работают кодеки MPEG2 и H264  с плеерами VLC и KODI.

Всё это очень любопытно ... Но!

This page was last modified on 20 July 2018, at 16:53.

Known bugs and limitations
H264 and H265 are not supported (some of the underlying problems include: allocating 19 surfaces at once and queueing several slices by frames)
MPEG4 decoding has some glitches. When something moves in a video it usualy draws some kind of trace behind it, this behavior is believed to come from an inconsistency in movement prediction. (VLC also tries to SyncSurface more often than needed which results in error when dequeuing the capture buffers)
...

Player Support
...

- кроме VLC - ничего!

Так что, похоже, что всё это (пока?) - буря в стакане воды.

[ua3nbw]

Так что, похоже, что всё это (пока?) - буря в стакане воды.

Да.

Но аппаратный энкодер видео для чипов H3 от ubobrov нормально работает на ARMBIAN 5.25 stable Debian GNU/Linux 8 (jessie) 3.4.113-sun8i тестировал тут:https://ua3nbw.ru/all/ffmpeg-cedrus-h-264-codec-on-h3/

а про VPU из интернетов:

VPU - Блок векторной обработки
Графический процессор может быть или не быть VPU, в зависимости от набора инструкций, поддерживаемого GPU.

[Olej]

Но аппаратный энкодер видео для чипов H3 от ubobrov нормально работает на ARMBIAN 5.25 stable Debian GNU/Linux 8 (jessie) 3.4.113-sun8i

Где вы берёте такие вот нотации сборок ОС: ARMBIAN 5.25 stable Debian GNU/Linux 8 (jessie) 3.4.113-sun8i ?
Смотрю... (чтоб как-то соотносить ... то что там с тем что здесь )
- по названию скачанного имиджа с Armbian: Armbian_5.38_Orangepione_Debian_stretch_next_4.14.14.img ... похоже, но выглядит не совсем так...
- по установленной системе ... ничего похожего:

Код: [Выделить]

olej@orangepione:~$ uname -a
Linux orangepione 4.14.18-sunxi #24 SMP Fri Feb 9 16:24:32 CET 2018 armv7l GNU/Linux

olej@orangepione:~$ lsb_release -a
No LSB modules are available.
Distributor ID:	Debian
Description:	Debian GNU/Linux 9.5 (stretch)
Release:	9.5
Codename:	stretch

тестировал тут:https://ua3nbw.ru/all/ffmpeg-cedrus-h-264-codec-on-h3/
абора инструкций, поддерживаемого GPU.

Смотрел ... не очень аккуратно там всё написано (что-то с тэгами, потом без тегов, что-то повычёркивано...) ... но всё же:
- вы собираете FFmpeg с нуля из исходников?
- захват видео ... передача его на другой хост...
Но ведь при этом никакое сравнение с Cedrus или без Cedrus  не происходит? 
Я такое и на оригинальном FFmpeg из репозитория делал...
В чём кайф?

[ua3nbw]

Где вы берёте такие вот нотации сборок ОС: ARMBIAN 5.25 stable Debian GNU/Linux 8 (jessie) 3.4.113-sun8i ?

Да вроде понятно раньше было, означает: Debian jessie c ядром 3.4.113-sun8i

Смотрел ... не очень аккуратно там всё написано (что-то с тэгами, потом без тегов, что-то повычёркивано...) ... но всё же:
- вы собираете FFmpeg с нуля из исходников?
- захват видео ... передача его на другой хост…

все команды в теге code т.e. ошибок при копировании не будет.
собирается FFmpeg-Cedrus с патчем автора темы.

Но ведь при этом никакое сравнение с Cedrus или без Cedrus  не происходит? 
Я такое и на оригинальном FFmpeg из репозитория делал...
В чём кайф?

там скриншот загрузки CPU при трансляции h264 (cedrus264) кодированного видео  с fps= 25 из  rawvideo (native) обычной веб-камеры

без  cedrus264 будет загрузка CPU 100% на все ядра и fps на порядок ниже.

[ubobrov]

Здравствуйте, уважаемые. Жизнь снова столкнула с олвинерскими поделками, и думаю, я ещё отпишусь в этой теме.
Для тех, кто впервые столкнулся с IPU, VPU и им подобными названиями, я поясню:
VPU - Video Processing Unit (модуль обработки видео) - это аппаратный модуль внутри процессора, который на вход принимает кадр изображения в определённом формате, настройки собственной работы и указатель на память, куда положить обработанный кадр. Это в первом приближении. Обычно это кодеки MPEG, H263, H264, H265, MJPEG...., которые работают с потоковым видео.
IPU - Image Processing Unit (блок обработки изображения). Всё то же самое, что и VPU, только для статичной картинки.

Сейчас стоит задача перетащить работу VPU процессоров A10, A20, A33 на ядро 4.x с сохранением функциональности.

Сразу оговорюсь, для ядра не важно какая root fs будет у Вас установлена. Хоть armbian, хоть openwrt, хоть angstrom. Важно то, чтобы софт на root fs поддерживал драйвера в ядре, тогда всё будет работать.

[ua3nbw]

Cedrus driver обещают в Linux 4.20 https://linux-sunxi.org/Linux_mainlining_effort
сейчас драйвер можно пощупать на 4.18.10

патчим ядро (на данный момент 4.18.10)
patch - https://github.com/jernejsk/LibreELEC.tv/tree/aw_hw_dec/projects/Allwinner/patches/linux
собираем ядро включив опции :

Код: [Выделить]

CONFIG_MEDIA_SUPPORT
CONFIG_MEDIA_CONTROLLER
CONFIG_V4L_MEM2MEM_DRIVERS
CONFIG_VIDEO_SUNXI_CEDRUS

загрузив патченное ядро на OrangePi,
компилируем модуль mali и собираем ffmpeg (на данный момент 4.0.2-Leia-Alpha3) https://github.com/xbmc/FFmpeg/archive/719e85d.tar.gz
с патчем - https://github.com/jernejsk/LibreELEC.tv/tree/aw_hw_dec/packages/multimedia/ffmpeg/patches
не забыв добавить в ./configure --enable-v4l2_m2m --enable-vaapi --enable-libdrm

запись не проверял, но при воспроизведении на mpv, аппаратно кодеки MPEG2 и H264 работают.