Передача пользовательских данных в видеопотоке через gstreamer

добавлять их как аудио поток

или субтитры

это зависит от того, что по пути.

Самое надежное и беспощадное — перекодировать видео и прожечь эти данные. Прочесть их потом будет очень сложно (роботом), но точно не пропадут.

Кроме предложенного аудио и субтитров, ещё есть SEI метаданные.

Можно гибрид: расширить видео и дописать эти данные в несколько последних строк. Снаружи это выглядит как расширенное видео, в котором нижние строки в каком-то мусоре. Но так делают последние несколько веков и оно работает.

Понял, спасибо. А если звук тоже передаётся? Получается, будет наложение на звуковую дорожку (или прибавка к концу), что приведёт к искажению звучания.

в звук даже не знаю, как добавить, чтобы оно не искажало

если контейнер поддерживает несколько звуковых дорожек, то настоящий звук в первой, твои данные во второй

Так сейчас же все видеокодеки используют сжатие с потерями, как потом эти данные из расширенного видео вынимать?

писать с таким избытком, чтобы кодирование не разрушало данные.