Markov decision process (MDP) models are widely used for modeling sequential decision-making problems that arise in engineering, economics, computer science, and the social sciences. Many real-world problems modeled by MDPs have huge state and/or action spaces, giving an opening to the curse of dimensionality and so making practical solution of the resulting models intractable. In other cases, the system of interest is too complex to allow explicit specification of some of the MDP model parameters, but simulation samples are readily available (e.g., for random transitions and costs). For these settings, various sampling and population-based algorithms have been developed to overcome the difficulties of computing an optimal solution in terms of a policy and/or value function. Specific approaches include adaptive sampling, evolutionary policy iteration, evolutionary random policy search, and model reference adaptive search.
This substantially enlarged new edition reflects the latest developments in novel algorithms and their underpinning theories, and presents an updated account of the topics that have emerged since the publication of the first edition. Includes:
innovative material on MDPs, both in constrained settings and with uncertain transition properties;
game-theoretic method for solving MDPs;
theories for developing roll-out based algorithms; and
details of approximation stochastic annealing, a population-based on-line simulation-based algorithm.
The self-contained approach of this book will appeal not only to researchers in MDPs, stochastic modeling, and control, and simulation but will be a valuable source of tuition and reference for students of control and operations research.

�ber die Autorin bzw. den Autor

Hyeong Soo Chang (SM’07 of the IEEE, Member of INFORMS) received the B.S. and M.S. degrees in electrical engineering and the Ph.D. degree in electrical and computer engineering, all from Purdue University,West Lafayette, IN, in 1994, 1996, and 2001, respectively. Since 2003, he has been with the Department of Computer Science and Engineering, Sogang University, Seoul, Korea, where he is now an Associate Professor. He has about 30 journal papers in the area of MDPs and related areas. His main research interests include Markov decision processes, Markov games, computational learning theory, computational intelligence, and stochastic optimization. He currently serves as an Associate Editor for the IEEE Transactions on Automatic Control.
Jiaqiao Hu (M’11 of the IEEE, Member of INFORMS) received the B.S. degree in automation from Shanghai Jiao Tong University, Shanghai, China, in 1997, the M.S. degree in applied mathematics from the University of Maryland, Baltimore County, in 2001, and the Ph.D. degree in electrical engineering from the University of Maryland, College Park, in 2006. Since 2006, he has been with the Department of Applied Mathematics and Statistics, State University of New York, Stony Brook, where he is currently an Assistant Professor Markov decision processes, simulation-based optimization, global optimization, applied probability, and stochastic modeling and analysis.
Michael Fu (Fellow of the IEEE, Member of INFORMS) received his Ph.D. and M.S degrees in applied mathematics from Harvard University in 1989 and 1986, respectively. He received S.B. and S.M. degrees in electrical engineering and an S.B. degree in mathematics from the Massachusetts Institute of Technology in 1985. Since 1989, he has been at the University of Maryland, College Park, in the College of Business and Management. He was the Simulation Area Editor for Operations and is an Associate Editor for Management Science, and has served on the Editorial Boards ofthe INFORMS Journal on Computing, Production and Operations Management and IIE Transactions. He was on the program committee for the Spring 1996 INFORMS National Meeting, in charge of contributed papers. In 1995, he received the Maryland Business School's annual Allen J. Krowe Award for Teaching Excellence. He is the co-author (with Jian-Qiang Hu) of the book, Conditional Monte Carlo: Gradient Estimation and Optimization Applications (0-7923-9873-4, 1997), which received the 1998 INFORMS College on Simulation Outstanding Publication Award. Other awards include the 1999 IIE Operations Research Division Award and a 1998 IIE Transactions Best Paper Award. In 2002, he received ISR's Outstanding Systems Engineering Faculty Award. He currently serves as a director of National Science Foundation Operations Research Program. Dr. Fu's research interests lie in the areas of stochastic derivative estimation and simulation optimization of discrete-event systems, particularly with applications towards manufacturing systems, inventory control, and the pricing of financial derivatives.
Steven I. Marcus (Fellow of the IEEE, Fellow of SIAM, Member of INFORMS) received his Ph.D. and S.M. from the Massachusetts Institute of Technology in 1975 and 1972, respectively. He received a B.A. from Rice University in 1971. From 1975 to 1991, he was with the Department of Electrical and Computer Engineering at the University of Texas at Austin, where he was the L.B. (Preach) Meaders Professor in Engineering. He was Associate Chairman of the Department during the period 1984-89. In 1991, he joined the University of Maryland, College Park, where he was Director of the Institute for Systems Research until 1996. He is currently a Professor in the Electrical Engineering Department and the Institute for Systems Research. He has served as an Editor of the SIAM Journal on Control and Optimization, and Associate Editor of Mathematics of Control, Signals, and Systems, Journal on Discrete Event Dynamic Systems, and Acta Applicandae Mathematicae. He has authored or co-authored more than 100 articles, conference proceedings, and book chapters. Dr. Marcus's research interests lie in the areas of control and systems engineering, analysis and control of stochastic systems, Markov decision processes, stochastic and adaptive control, learning, fault detection, and discrete event systems, with applications in manufacturing, acoustics, and communication networks.

��ber diesen Titel� kann sich auf eine andere Ausgabe dieses Titels beziehen.

Anbieterinformationen

Zur Homepage des Verk�ufers

Unternehmensdaten des Verk�ufers

Edward Bowditch Ltd
Exstowe, Exton, Exeter, EX3 0PP, United Kingdom

Gesch�ftsbedingungen und Versandinformationen

Verkaufsbedingungen

Legal entity name: Edward Bowditch Ltd
Legal entity form: Limited company
Business correspondence address: Exstowe, Exton, Exeter, EX3 0PP
Company registration number: 04916632
VAT registration: GB834241546
Authorised representative: Mr. E. Bowditch

Widerrufsbelehrung

Wenn Sie Verbraucher sind, steht Ihnen ein Widerrufsrecht nach folgender Ma�gabe zu. Verbraucher ist jede nat�rliche Person, die ein Rechtsgesch�ft zu Zwecken abschlie�t, die �berwiegend weder ihrer gewerblichen noch ihrer selbst�ndigen beruflichen T�tigkeit zugerechnet werden k�nnen.

WIDERRUFSBELEHRUNG

Widerrufsrecht

Sie haben das Recht, binnen vierzehn Tagen ohne Angabe von Gr�nden diesen Vertrag zu widerrufen.

Die Widerrufsfrist betr�gt vierzehn Tage ab dem Tag, an dem Sie oder ein von Ihnen benannter Dritter, der nicht der Bef�rderer ist, die letzte Ware oder die letzte Teilsendung bzw. das letzte St�ck in Besitz genommen haben bzw. hat.

Um Ihr Widerrufsrecht auszu�ben, m�ssen Sie uns, Revaluation Books, Exstowe, Exton, EX3 0PP, Exeter, United Kingdom, 44 1179083586, mittels einer eindeutigen Erkl�rung (z.B. ein mit der Post versandter Brief, Telefax oder E-Mail) �ber Ihren Entschluss, diesen Vertrag zu widerrufen, informieren. Sie k�nnen daf�r das beigef�gte Muster-Widerrufsformular verwenden, das jedoch nicht vorgeschrieben ist. Sie k�nnen auch eine andere eindeutige Erkl�rung auf der Webseite "Meine Bestellungen" in Ihrem "Nutzerkonto" elektronisch ausf�llen und �bermitteln. Machen Sie von dieser M�glichkeit Gebrauch, so werden wir Ihnen unverz�glich (z. B. per E-Mail) eine Best�tigung �ber den Eingang eines solchen Widerrufs �bermitteln. Zur Wahrung der Widerrufsfrist reicht es aus, dass Sie die Mitteilung �ber die Aus�bung des Widerrufsrechts vor Ablauf der Widerrufsfrist absenden.

Folgen des Widerrufs

Wenn Sie diesen Vertrag widerrufen, haben wir Ihnen alle Zahlungen, die wir von Ihnen erhalten haben, einschlie�lich der Lieferkosten (mit Ausnahme der zus�tzlichen Kosten, die sich daraus ergeben, dass Sie eine andere Art der Lieferung als die von uns angebotene, g�nstigste Standardlieferung gew�hlt haben), unverz�glich und sp�testens binnen vierzehn Tagen ab dem Tag zur�ckzuzahlen, an dem die Mitteilung �ber Ihren Widerruf dieses Vertrags bei uns eingegangen ist. F�r diese R�ckzahlung verwenden wir dasselbe Zahlungsmittel, das Sie bei der urspr�nglichen Transaktion eingesetzt haben, es sei denn, mit Ihnen wurde ausdr�cklich etwas anderes vereinbart; in keinem Fall werden Ihnen wegen dieser R�ckzahlung Entgelte berechnet. Wir k�nnen die R�ckzahlung verweigern, bis wir die Waren wieder zur�ckerhalten haben oder bis Sie den Nachweis erbracht haben, dass Sie die Waren zur�ckgesandt haben, je nachdem, welches der fr�here Zeitpunkt ist. Sie haben die Waren unverz�glich und in jedem Fall sp�testens binnen vierzehn Tagen ab dem Tag, an dem Sie uns �ber den Widerruf dieses Vertrags unterrichten, an Revaluation Books, Edward Bowditch Ltd, Clifton Heights, Triangle West, BS8 1EJ, Bristol, United Kingdom, 44 1179083586, zur�ckzusenden oder zu �bergeben. Die Frist ist gewahrt, wenn Sie die Waren vor Ablauf der Frist von vierzehn Tagen absenden.

Sie tragen die unmittelbaren Kosten der R�cksendung der Waren. Sie m�ssen f�r einen etwaigen Wertverlust der Waren nur aufkommen, wenn dieser Wertverlust auf einen zur Pr�fung der Beschaffenheit, Eigenschaften und Funktionsweise der Waren nicht notwendigen Umgang mit ihnen zur�ckzuf�hren ist.

Ausnahmen vom Widerrufsrecht

Das Widerrufsrecht besteht nicht bzw. erlischt bei folgenden Vertr�gen:

Zur Lieferung von Zeitungen und Zeitschriften oder Illustrierten, mit Ausnahme von Abonnement Vertr�gen;
Bei der Lieferung digitaler Inhalte (ebooks), die nicht auf einem k�rperlichen Datentr�ger (z.B. einer CD oder DVD) geliefert werden, wenn Sie dem Beginn der Ausf�hrung vor der Bestellung ausdr�cklich zugestimmt und zur selben Zeit best�tigt haben, dass mit der Ausf�hrung begonnen werden kann und Sie Ihr Widerrufsrecht verlieren, sobald die Ausf�hrung begonnen hat.

ENDE DER WIDERRUFSBELEHRUNG

Muster-Widerrufsformular

(Wenn Sie den Vertrag widerrufen wollen, dann f�llen Sie bitte dieses Formular aus und senden Sie es zur�ck)

An: (Revaluation Books, Exstowe, Exton, EX3 0PP, Exeter, United Kingdom, 44 1179083586)

Hiermit widerrufe(n) ich/wir* den von mir/uns* abgeschlossenen Vertrag �ber den Kauf der folgenden Waren*/ die Erbringung der folgenden Dienstleistung*

Bestellt am*/erhalten am*:

Name des/der Verbraucher(s):

Anschrift des/der Verbraucher(s):

Unterschrift des/der Verbraucher(s) (nur bei Mitteilung auf Papier):

Datum:

* Unzutreffendes streichen.

Versandbedingungen

Orders usually dispatched within two working days.

Versandkosten von Vereinigtes K�nigreich nach USA

Versandkosten von Vereinigtes K�nigreich nach USA
Bestellmenge	7 bis 14�Werktage	2 bis 3�Werktage
Erster Artikel	EUR 14.47	EUR 28.94

Die Versandzeiten werden von den Verk�uferinnen und Verk�ufern festgelegt. Sie variieren je nach Versanddienstleister und Standort. Sendungen, die den Zoll passieren, k�nnen Verz�gerungen unterliegen. Eventuell anfallende Abgaben oder Geb�hren sind von der K�uferin bzw. dem K�ufer zu tragen. Die Verk�uferin bzw. der Verk�ufer kann Sie bez�glich zus�tzlicher Versandkosten kontaktieren, um einen m�glichen Anstieg der Versandkosten f�r Ihre Artikel auszugleichen.