Мультимедиа и графика

В качестве графического ускорителя (3DGE) в МК RZ/G2H используется PowerVR GX6650 на частоте 600 МГц. Архитектура ускорителей PowerVR Series6XT базируется на Series6. На текущий момент, в т. ч. благодаря использованию графического интерфейса OpenGL ES, эта архитектура имеет наилучший показатель в отрасли по соотношению энергопотребления к занимаемой площади (мВт/мм2). К тому же, эта архитектура отлично масштабируется и может поддерживать до восьми вычислительных кластеров. К основным особенностям ускорителя 3DGE относятся следующие:

- улучшенная визуализация с одновременной обработкой нескольких сегментов;

- многопоточный механизм с унифицированной шейдерной архитектурой USC;

- в архитектуру USC входит АЛУ, что позволяет поддерживать векторную обработку (SIMD);

- полная виртуализация адресации памяти позволяет поддерживать унифицированную архитектуру памяти;

- мелкоструктурная обработка позволяет переключаться между задачами для балансировки нагрузки и упрощение управления питанием;

- программируемое сглаживание изображений;

- компрессия текстур и параметров без потерь.

В МК встроены два последовательных интерфейса камеры CSI2 на две и четыре линии. Поддерживаются стандарты MIPI CSI-2 V1.1 и MIPI D-PHY V1.1. В состав модуля CSI2 входят PHY и LINK. Модуль PHY принимает сигналы, отделяет данные изображения от служебной информации и передает их модулю LINK, который формирует сигналы вертикальной синхронизации VD, горизонтальной синхронизации HD и т. д. у модуля LINK имеется интерфейс периферийной шины APB, у модуля LINK такового нет. Заметим, что скорость передачи данных от камеры не должна превышать 1,5 Гбит/с, т. к. превышение приведет к потере данных.

Модуль видеовхода VIN производит захват видеоданных, которые передаются во внешнюю память. Данные в формате YCbCr-422 передаются через интерфейсы ITU-R BT.601, ITU-R BT.656 или ITU-R BT.709, данные в формате RGB – через интерфейсы ITUR BT.601 или ITU-R BT.709. Модуль имеет восемь независимых каналов, по каждому из которых может осуществляться захват изображения размерностью 4096×4096 пикс. Данные формата YCbCr-422 преобразуются в формат RGB. В режиме однократного захвата происходит захват одного кадра, а в режиме непрерывного захвата – всех поступающих кадров.

Видеодекодер iVDP1C осуществляет декодирование изображений до размерности 1920×1080 при скорости 60 кадр./с или 120×960 при 120 кадр./с. Процесс происходит с малой задержкой и обеспечивает высокую точность воспроизведения форматов стандартов H.264/AVC и JPEG. Максимальная скорость составляет 40 Мбит/с при четырех потоках или 160 Мбит/с – при одном.

Видеопроцессор VCP4 представляет собой набор нескольких кодеков, осуществляющих кодирование и декодирование нескольких видеофайлов форматов H. 265/HEVC , H. 26 4/AVC. В состав VCP4 входят два ядра: VDPB и VCPLF. ядро VDPB предназначено для декодирования H.265/HEVC, а VCPLF реализует операции кодирования и декодирования с несколькими кодеками. На рисунке 5 представлена структурная схема видеопроцессора VCP4 и его связь с другими модулями.

Производительность видеопроцессора в формате H. 265 составляет 3840×2160 при 60 кадр./с или 1920×1080 при 120 кадр./с. Скорость обработки данных ядром VCPLF составляет 30 Мбит/с по каждому из четырех потоков или 120 Мбит/с – по одному. Если входной поток не соответствует стандарту видеокодеков, возможно их зависание.

Процессор обработки видеосигналов VSP2 поддерживает 1D и 3D таблицы преобразования, масштабирование, поворот и сшивку изображений, интерфейс с дисплейным модулем (DU).В состав процессора VSP2 входит несколько модулей. Все они осуществляют обработку по принципу «память–память», не используя ресурсы ЦП.

Модуль VSPI осуществляет масштабирование и вращение изображения. Модуль VSPBC реализует таблицы преобразования, построение 1D-гистограмм и сшивку изображений. Модуль VSPBD осуществляет сшивку изображений, а модуль VSPD помимо сшивки изображений реализует интерфейс с дисплейным модулем. Приведем некоторые основные численные параметры процессора обработки видеосигналов VSP2: - обрабатываются форматы: YCbCr444/422/420, RGB, α RGB; - размерность обрабатываемого изображения (макс.) : 3840×2160 пикс.;

- производительность: два канала по 500 Мпикс./с; - при прямом подключении к дисплейному модулю передача до 4096 пикс. по горизонтали.

Работу в режиме «память–память» обеспечивает модуль доступа к памяти MAU. Он является ведущим блоком шины, загружая данные из внешней памяти, а после завершения обработки вновь передает их во внешнюю память. Модуль передачи команд CTU может обращаться непосредственно к регистрам и считывать параметры обработки изображения. Модуль растровых операций (ROP) выполняет операции наложения изображений, а при необходимости модуль цветовой кодировки заменяет цвет.

Модуль форматирования пикселов RPF считывает данные обрабатываемого фрагмента из внешней памяти, извлекает данные из архива, выполняет цветовые конвертации. Модуль форматирования пикселов WPF получает 32-бит данные изображения (YCbCr444 или RGB888 + 8bit-α) и преобразует цветовое пространство, цветность и формат данных, а также передает результаты обработки изображения во внешнюю память через модуль MAU.

Маршрутизатор DPR управляет потоками данных между модулем RPF, функциональными модулями и WPF. Он, в частности обеспечивает непрерывность обработки изображения без использования внешней памяти за счет перенаправления данных между функциональными модулями. Отметим еще модуль SRU, который обеспечивает обработку изображений сверхвысокого разрешения, и модуль масштабирования изображений UDS.

Описание видеопроцессора VCP4 завершим упоминанием функциональных модулей SHP, ILV и служебного модуля LIF, обеспечивающего интерфейс с дисплейным модулем DU. Модуль SHP регулирует резкость изображения, а ILV преобразует форматы изображения в трехмерное изображение.

Двухканальный процессор изображения высокого качества FDP1 преоб- разует видеоданные с чересстрочной разверткой в данные с прогрессивной (построчной) разверткой. Процессор извлекает данные из внешней памяти и после обработки передает обработанные данные во внешнюю память. Трансфер данных осуществляется модулем ABI, который представляет собой интерфейс шинной матрицы AXI.

Структурная схема процессора FDP1, представленная на рисунке 6, лучше всяких слов скажет о его устройстве, поэтому мы лишь приведем некоторые основные параметры процессора FDP1:

- размер изображения (макс.): 8190×8190 пикс.;

- скорость обработки данных: 500 Мпикс./с;

- цветовые форматы (вход):

- YCbCr444-PL, SP, ILV;

- YcbCr422-PL, SP, ILV;

- YCbCr420-PL, SP;

- размер кадра (мин.): 32×32 пикс.;

- цветовые форматы (выход): RGB и YCbCr.

На вход дисплейного модуля DU поступают выходные сигналы процессора обработки видеосигналов VSP2. На выходе дисплейного модуля формируются сигналы для передачи на дисплей через интерфейсы LVDSIF, HDMI–IF, цифровой RGB. Структурная схема модуля DU показана на рисунке 7. Модуль может управлять тремя дисплейными панелями, причем возможно наложение изображений двух панелей. управление каждой из них происходит раздельно. Параметры управления каждой панелью прописываются во внутренних регистрах дисплейного модуля. В этих же регистрах выбирается одна из трех временных диаграмм управления и режимы развертки. В них же задаются параметры цветового преобразования и ряд других установок.

Аудиомодуль имеет выделенные каналы DMA – Audio-C, Audio-DMACpp. Он непосредственно соединен с модулем синхронизации аудиоданных ADG и модулем последовательного интерфейса аудиоданных SSIU. В состав модуля не входят собственные регистры. Каналы Audio-DMACpp осуществляют связь между аудиомодулем и внешней памятью.