Предлагаемый перевод книги Р. Беллмана» содержит систематическое изложение основных идей метода динамического программирования. Советские читатели имели возможность ознакомиться с этим методом по книге того же автора «Динамическое программирование», вышедшей в переводе на русский язык в I960 году. Настоящая книга отличается от нее тем, что здесь, излагая различные формы метода динамического программирования, автор пмеет в виду его применение главным образом к исследованию различных систем автоматического управления, допускающих описание с помощью дифференциальных или разностных уравнений.
Для обоих типов систем трактуются три вида процессов: процессы детерминированные, процессы стохастические и процессы с адаптацией. Последпие характеризуются наличием в системе какого-либо абсолютно неизвестного действующего фактора.
Характерным примером такой системы может явиться автоматически управляемый снаряд, преследующий цель, а неизвестным фактором — стратегия уклонения цели от встречи. Автор трактует процессы подобного рода как «игры против природы».
Способность системы управления адаптироваться в данных условиях должна проявляться в том, что в течение некоторого конечного промежутка времени Т система должна «изучить» стратегию действия неизвестного фактора и оцепить ее вероятностные характеристики.