forked from animatedread/Warrior_EA
503 lines
43 KiB
MQL5
503 lines
43 KiB
MQL5
|
<EFBFBD><EFBFBD>/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
/ / | S t u d y . m q 5 |
|
|||
|
|
/ / | C o p y r i g h t D N G <EFBFBD> |
|
|||
|
|
/ / | h t t p s : / / w w w . m q l 5 . c o m / e n / u s e r s / d n g |
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
# p r o p e r t y c o p y r i g h t " C o p y r i g h t D N G <00> "
|
|||
|
|
# p r o p e r t y l i n k " h t t p s : / / w w w . m q l 5 . c o m / e n / u s e r s / d n g "
|
|||
|
|
# p r o p e r t y v e r s i o n " 1 . 0 0 "
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
/ / | |
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
# d e f i n e S t u d y
|
|||
|
|
# i n c l u d e " T r a j e c t o r y . m q h "
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
/ / | I n p u t p a r a m e t e r s |
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
i n p u t i n t I t e r a t i o n s = 1 0 0 0 0 ;
|
|||
|
|
i n p u t f l o a t T a u = 0 . 0 0 1 f ;
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
/ / | |
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
S T r a j e c t o r y B u f f e r [ ] ;
|
|||
|
|
C N e t A c t o r ;
|
|||
|
|
C N e t C r i t i c 1 ;
|
|||
|
|
C N e t C r i t i c 2 ;
|
|||
|
|
C N e t T a r g e t C r i t i c 1 ;
|
|||
|
|
C N e t T a r g e t C r i t i c 2 ;
|
|||
|
|
C N e t C o n v o l u t i o n ;
|
|||
|
|
/ / - - -
|
|||
|
|
f l o a t d E r r o r ;
|
|||
|
|
d a t e t i m e d t S t u d i e d ;
|
|||
|
|
/ / - - -
|
|||
|
|
C B u f f e r F l o a t S t a t e ;
|
|||
|
|
C B u f f e r F l o a t T a r g e t S t a t e ;
|
|||
|
|
C B u f f e r F l o a t A c c o u n t ;
|
|||
|
|
C B u f f e r F l o a t A c t i o n s ;
|
|||
|
|
C B u f f e r F l o a t G r a d i e n t ;
|
|||
|
|
C B u f f e r F l o a t * R e s u l t ;
|
|||
|
|
v e c t o r < f l o a t > c h e c k ;
|
|||
|
|
i n t S t a r t T a r g e t I t e r ;
|
|||
|
|
/ / - - -
|
|||
|
|
C O p e n C L M y * O p e n C L ;
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
/ / | E x p e r t i n i t i a l i z a t i o n f u n c t i o n |
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
i n t O n I n i t ( )
|
|||
|
|
{
|
|||
|
|
/ / - - -
|
|||
|
|
R e s e t L a s t E r r o r ( ) ;
|
|||
|
|
i f ( ! L o a d T o t a l B a s e ( ) )
|
|||
|
|
{
|
|||
|
|
P r i n t F o r m a t ( " E r r o r o f l o a d s t u d y d a t a : % d " , G e t L a s t E r r o r ( ) ) ;
|
|||
|
|
r e t u r n I N I T _ F A I L E D ;
|
|||
|
|
}
|
|||
|
|
/ / - - - l o a d m o d e l s
|
|||
|
|
f l o a t t e m p ;
|
|||
|
|
i f ( ! A c t o r . L o a d ( F i l e N a m e + " A c t . n n w " , t e m p , t e m p , t e m p , d t S t u d i e d , t r u e ) | |
|
|||
|
|
! C r i t i c 1 . L o a d ( F i l e N a m e + " C r t 1 . n n w " , t e m p , t e m p , t e m p , d t S t u d i e d , t r u e ) | |
|
|||
|
|
! C r i t i c 2 . L o a d ( F i l e N a m e + " C r t 2 . n n w " , t e m p , t e m p , t e m p , d t S t u d i e d , t r u e ) | |
|
|||
|
|
! C o n v o l u t i o n . L o a d ( F i l e N a m e + " C N N . n n w " , t e m p , t e m p , t e m p , d t S t u d i e d , t r u e ) | |
|
|||
|
|
! T a r g e t C r i t i c 1 . L o a d ( F i l e N a m e + " C r t 1 . n n w " , t e m p , t e m p , t e m p , d t S t u d i e d , t r u e ) | |
|
|||
|
|
! T a r g e t C r i t i c 2 . L o a d ( F i l e N a m e + " C r t 2 . n n w " , t e m p , t e m p , t e m p , d t S t u d i e d , t r u e ) )
|
|||
|
|
{
|
|||
|
|
P r i n t ( " I n i t n e w m o d e l s " ) ;
|
|||
|
|
C A r r a y O b j * a c t o r = n e w C A r r a y O b j ( ) ;
|
|||
|
|
C A r r a y O b j * c r i t i c = n e w C A r r a y O b j ( ) ;
|
|||
|
|
C A r r a y O b j * c o n v o l u t i o n = n e w C A r r a y O b j ( ) ;
|
|||
|
|
i f ( ! C r e a t e D e s c r i p t i o n s ( a c t o r , c r i t i c , c o n v o l u t i o n ) )
|
|||
|
|
{
|
|||
|
|
d e l e t e a c t o r ;
|
|||
|
|
d e l e t e c r i t i c ;
|
|||
|
|
d e l e t e c o n v o l u t i o n ;
|
|||
|
|
r e t u r n I N I T _ F A I L E D ;
|
|||
|
|
}
|
|||
|
|
i f ( ! A c t o r . C r e a t e ( a c t o r ) | | ! C r i t i c 1 . C r e a t e ( c r i t i c ) | | ! C r i t i c 2 . C r e a t e ( c r i t i c ) | |
|
|||
|
|
! C o n v o l u t i o n . C r e a t e ( c o n v o l u t i o n ) )
|
|||
|
|
{
|
|||
|
|
d e l e t e a c t o r ;
|
|||
|
|
d e l e t e c r i t i c ;
|
|||
|
|
d e l e t e c o n v o l u t i o n ;
|
|||
|
|
r e t u r n I N I T _ F A I L E D ;
|
|||
|
|
}
|
|||
|
|
i f ( ! T a r g e t C r i t i c 1 . C r e a t e ( c r i t i c ) | | ! T a r g e t C r i t i c 2 . C r e a t e ( c r i t i c ) )
|
|||
|
|
{
|
|||
|
|
d e l e t e a c t o r ;
|
|||
|
|
d e l e t e c r i t i c ;
|
|||
|
|
d e l e t e c o n v o l u t i o n ;
|
|||
|
|
r e t u r n I N I T _ F A I L E D ;
|
|||
|
|
}
|
|||
|
|
d e l e t e a c t o r ;
|
|||
|
|
d e l e t e c r i t i c ;
|
|||
|
|
d e l e t e c o n v o l u t i o n ;
|
|||
|
|
/ / - - -
|
|||
|
|
T a r g e t C r i t i c 1 . W e i g h t s U p d a t e ( G e t P o i n t e r ( C r i t i c 1 ) , 1 . 0 f ) ;
|
|||
|
|
T a r g e t C r i t i c 2 . W e i g h t s U p d a t e ( G e t P o i n t e r ( C r i t i c 2 ) , 1 . 0 f ) ;
|
|||
|
|
S t a r t T a r g e t I t e r = S t a r t T a r g e t I t e r a t i o n ;
|
|||
|
|
}
|
|||
|
|
e l s e
|
|||
|
|
S t a r t T a r g e t I t e r = 0 ;
|
|||
|
|
/ / - - -
|
|||
|
|
O p e n C L = A c t o r . G e t O p e n C L ( ) ;
|
|||
|
|
C r i t i c 1 . S e t O p e n C L ( O p e n C L ) ;
|
|||
|
|
C r i t i c 2 . S e t O p e n C L ( O p e n C L ) ;
|
|||
|
|
T a r g e t C r i t i c 1 . S e t O p e n C L ( O p e n C L ) ;
|
|||
|
|
T a r g e t C r i t i c 2 . S e t O p e n C L ( O p e n C L ) ;
|
|||
|
|
C o n v o l u t i o n . S e t O p e n C L ( O p e n C L ) ;
|
|||
|
|
/ / - - -
|
|||
|
|
A c t o r . g e t R e s u l t s ( R e s u l t ) ;
|
|||
|
|
i f ( R e s u l t . T o t a l ( ) ! = N A c t i o n s )
|
|||
|
|
{
|
|||
|
|
P r i n t F o r m a t ( " T h e s c o p e o f t h e a c t o r d o e s n o t m a t c h t h e a c t i o n s c o u n t ( % d < > % d ) " , N A c t i o n s , R e s u l t . T o t a l ( ) ) ;
|
|||
|
|
r e t u r n I N I T _ F A I L E D ;
|
|||
|
|
}
|
|||
|
|
/ / - - -
|
|||
|
|
A c t o r . G e t L a y e r O u t p u t ( 0 , R e s u l t ) ;
|
|||
|
|
i f ( R e s u l t . T o t a l ( ) ! = ( H i s t o r y B a r s * B a r D e s c r ) )
|
|||
|
|
{
|
|||
|
|
P r i n t F o r m a t ( " I n p u t s i z e o f A c t o r d o e s n ' t m a t c h s t a t e d e s c r i p t i o n ( % d < > % d ) " , R e s u l t . T o t a l ( ) , ( H i s t o r y B a r s * B a r D e s c r ) ) ;
|
|||
|
|
r e t u r n I N I T _ F A I L E D ;
|
|||
|
|
}
|
|||
|
|
/ / - - -
|
|||
|
|
A c t o r . G e t L a y e r O u t p u t ( L a t e n t L a y e r , R e s u l t ) ;
|
|||
|
|
i n t l a t e n t _ s t a t e = R e s u l t . T o t a l ( ) ;
|
|||
|
|
C r i t i c 1 . G e t L a y e r O u t p u t ( 0 , R e s u l t ) ;
|
|||
|
|
i f ( R e s u l t . T o t a l ( ) ! = l a t e n t _ s t a t e )
|
|||
|
|
{
|
|||
|
|
P r i n t F o r m a t ( " I n p u t s i z e o f C r i t i c d o e s n ' t m a t c h l a t e n t s t a t e A c t o r ( % d < > % d ) " , R e s u l t . T o t a l ( ) , l a t e n t _ s t a t e ) ;
|
|||
|
|
r e t u r n I N I T _ F A I L E D ;
|
|||
|
|
}
|
|||
|
|
/ / - - -
|
|||
|
|
G r a d i e n t . B u f f e r I n i t ( A c c o u n t D e s c r , 0 ) ;
|
|||
|
|
/ / - - -
|
|||
|
|
i f ( ! E v e n t C h a r t C u s t o m ( C h a r t I D ( ) , 1 , 0 , 0 , " I n i t " ) )
|
|||
|
|
{
|
|||
|
|
P r i n t F o r m a t ( " E r r o r o f c r e a t e s t u d y e v e n t : % d " , G e t L a s t E r r o r ( ) ) ;
|
|||
|
|
r e t u r n I N I T _ F A I L E D ;
|
|||
|
|
}
|
|||
|
|
/ / - - -
|
|||
|
|
r e t u r n ( I N I T _ S U C C E E D E D ) ;
|
|||
|
|
}
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
/ / | E x p e r t d e i n i t i a l i z a t i o n f u n c t i o n |
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
v o i d O n D e i n i t ( c o n s t i n t r e a s o n )
|
|||
|
|
{
|
|||
|
|
/ / - - -
|
|||
|
|
T a r g e t C r i t i c 1 . W e i g h t s U p d a t e ( G e t P o i n t e r ( C r i t i c 1 ) , T a u ) ;
|
|||
|
|
T a r g e t C r i t i c 2 . W e i g h t s U p d a t e ( G e t P o i n t e r ( C r i t i c 2 ) , T a u ) ;
|
|||
|
|
A c t o r . S a v e ( F i l e N a m e + " A c t . n n w " , 0 , 0 , 0 , T i m e C u r r e n t ( ) , t r u e ) ;
|
|||
|
|
T a r g e t C r i t i c 1 . S a v e ( F i l e N a m e + " C r t 1 . n n w " , C r i t i c 1 . g e t R e c e n t A v e r a g e E r r o r ( ) , 0 , 0 , T i m e C u r r e n t ( ) , t r u e ) ;
|
|||
|
|
T a r g e t C r i t i c 2 . S a v e ( F i l e N a m e + " C r t 2 . n n w " , C r i t i c 2 . g e t R e c e n t A v e r a g e E r r o r ( ) , 0 , 0 , T i m e C u r r e n t ( ) , t r u e ) ;
|
|||
|
|
C o n v o l u t i o n . S a v e ( F i l e N a m e + " C N N . n n w " , 0 , 0 , 0 , T i m e C u r r e n t ( ) , t r u e ) ;
|
|||
|
|
d e l e t e R e s u l t ;
|
|||
|
|
}
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
/ / | C h a r t E v e n t f u n c t i o n |
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
v o i d O n C h a r t E v e n t ( c o n s t i n t i d ,
|
|||
|
|
c o n s t l o n g & l p a r a m ,
|
|||
|
|
c o n s t d o u b l e & d p a r a m ,
|
|||
|
|
c o n s t s t r i n g & s p a r a m )
|
|||
|
|
{
|
|||
|
|
/ / - - -
|
|||
|
|
i f ( i d = = 1 0 0 1 )
|
|||
|
|
T r a i n ( ) ;
|
|||
|
|
}
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
/ / | T r a i n f u n c t i o n |
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
v o i d T r a i n ( v o i d )
|
|||
|
|
{
|
|||
|
|
i n t t o t a l _ t r = A r r a y S i z e ( B u f f e r ) ;
|
|||
|
|
u i n t t i c k s = G e t T i c k C o u n t ( ) ;
|
|||
|
|
/ / - - -
|
|||
|
|
i n t t o t a l _ s t a t e s = B u f f e r [ 0 ] . T o t a l ;
|
|||
|
|
f o r ( i n t i = 1 ; i < t o t a l _ t r ; i + + )
|
|||
|
|
t o t a l _ s t a t e s + = B u f f e r [ i ] . T o t a l ;
|
|||
|
|
v e c t o r < f l o a t > t e m p , n e x t ;
|
|||
|
|
C o n v o l u t i o n . g e t R e s u l t s ( t e m p ) ;
|
|||
|
|
m a t r i x < f l o a t > s t a t e _ e m b e d d i n g = m a t r i x < f l o a t > : : Z e r o s ( t o t a l _ s t a t e s , t e m p . S i z e ( ) ) ;
|
|||
|
|
m a t r i x < f l o a t > r e w a r d s = m a t r i x < f l o a t > : : Z e r o s ( t o t a l _ s t a t e s , N R e w a r d s ) ;
|
|||
|
|
i n t s t a t e = 0 ;
|
|||
|
|
f o r ( i n t t r = 0 ; t r < t o t a l _ t r ; t r + + )
|
|||
|
|
{
|
|||
|
|
f o r ( i n t s t = 0 ; s t < B u f f e r [ t r ] . T o t a l ; s t + + )
|
|||
|
|
{
|
|||
|
|
S t a t e . A s s i g n A r r a y ( B u f f e r [ t r ] . S t a t e s [ s t ] . s t a t e ) ;
|
|||
|
|
f l o a t P r e v B a l a n c e = B u f f e r [ t r ] . S t a t e s [ M a t h M a x ( s t , 0 ) ] . a c c o u n t [ 0 ] ;
|
|||
|
|
f l o a t P r e v E q u i t y = B u f f e r [ t r ] . S t a t e s [ M a t h M a x ( s t , 0 ) ] . a c c o u n t [ 1 ] ;
|
|||
|
|
S t a t e . A d d ( ( B u f f e r [ t r ] . S t a t e s [ s t ] . a c c o u n t [ 0 ] - P r e v B a l a n c e ) / P r e v B a l a n c e ) ;
|
|||
|
|
S t a t e . A d d ( B u f f e r [ t r ] . S t a t e s [ s t ] . a c c o u n t [ 1 ] / P r e v B a l a n c e ) ;
|
|||
|
|
S t a t e . A d d ( ( B u f f e r [ t r ] . S t a t e s [ s t ] . a c c o u n t [ 1 ] - P r e v E q u i t y ) / P r e v E q u i t y ) ;
|
|||
|
|
S t a t e . A d d ( B u f f e r [ t r ] . S t a t e s [ s t ] . a c c o u n t [ 2 ] ) ;
|
|||
|
|
S t a t e . A d d ( B u f f e r [ t r ] . S t a t e s [ s t ] . a c c o u n t [ 3 ] ) ;
|
|||
|
|
S t a t e . A d d ( B u f f e r [ t r ] . S t a t e s [ s t ] . a c c o u n t [ 4 ] / P r e v B a l a n c e ) ;
|
|||
|
|
S t a t e . A d d ( B u f f e r [ t r ] . S t a t e s [ s t ] . a c c o u n t [ 5 ] / P r e v B a l a n c e ) ;
|
|||
|
|
S t a t e . A d d ( B u f f e r [ t r ] . S t a t e s [ s t ] . a c c o u n t [ 6 ] / P r e v B a l a n c e ) ;
|
|||
|
|
d o u b l e x = ( d o u b l e ) B u f f e r [ t r ] . S t a t e s [ s t ] . a c c o u n t [ 7 ] / ( d o u b l e ) ( D ' 2 0 2 4 . 0 1 . 0 1 ' - D ' 2 0 2 3 . 0 1 . 0 1 ' ) ;
|
|||
|
|
S t a t e . A d d ( ( f l o a t ) M a t h S i n ( x ! = 0 ? 2 . 0 * M _ P I * x : 0 ) ) ;
|
|||
|
|
x = ( d o u b l e ) B u f f e r [ t r ] . S t a t e s [ s t ] . a c c o u n t [ 7 ] / ( d o u b l e ) P e r i o d S e c o n d s ( P E R I O D _ M N 1 ) ;
|
|||
|
|
S t a t e . A d d ( ( f l o a t ) M a t h C o s ( x ! = 0 ? 2 . 0 * M _ P I * x : 0 ) ) ;
|
|||
|
|
x = ( d o u b l e ) B u f f e r [ t r ] . S t a t e s [ s t ] . a c c o u n t [ 7 ] / ( d o u b l e ) P e r i o d S e c o n d s ( P E R I O D _ W 1 ) ;
|
|||
|
|
S t a t e . A d d ( ( f l o a t ) M a t h S i n ( x ! = 0 ? 2 . 0 * M _ P I * x : 0 ) ) ;
|
|||
|
|
x = ( d o u b l e ) B u f f e r [ t r ] . S t a t e s [ s t ] . a c c o u n t [ 7 ] / ( d o u b l e ) P e r i o d S e c o n d s ( P E R I O D _ D 1 ) ;
|
|||
|
|
S t a t e . A d d ( ( f l o a t ) M a t h S i n ( x ! = 0 ? 2 . 0 * M _ P I * x : 0 ) ) ;
|
|||
|
|
i f ( ! C o n v o l u t i o n . f e e d F o r w a r d ( G e t P o i n t e r ( S t a t e ) , 1 , f a l s e , N U L L ) )
|
|||
|
|
{
|
|||
|
|
P r i n t F o r m a t ( " % s - > % d " , _ _ F U N C T I O N _ _ , _ _ L I N E _ _ ) ;
|
|||
|
|
E x p e r t R e m o v e ( ) ;
|
|||
|
|
r e t u r n ;
|
|||
|
|
}
|
|||
|
|
C o n v o l u t i o n . g e t R e s u l t s ( t e m p ) ;
|
|||
|
|
s t a t e _ e m b e d d i n g . R o w ( t e m p , s t a t e ) ;
|
|||
|
|
t e m p . A s s i g n ( B u f f e r [ t r ] . S t a t e s [ s t ] . r e w a r d s ) ;
|
|||
|
|
n e x t . A s s i g n ( B u f f e r [ t r ] . S t a t e s [ s t + 1 ] . r e w a r d s ) ;
|
|||
|
|
r e w a r d s . R o w ( t e m p - n e x t * D i s c F a c t o r , s t a t e ) ;
|
|||
|
|
s t a t e + + ;
|
|||
|
|
i f ( G e t T i c k C o u n t ( ) - t i c k s > 5 0 0 )
|
|||
|
|
{
|
|||
|
|
s t r i n g s t r = S t r i n g F o r m a t ( " % - 1 5 s % 6 . 2 f % % " , " E m b e d d i n g " , s t a t e * 1 0 0 . 0 / ( d o u b l e ) ( t o t a l _ s t a t e s ) ) ;
|
|||
|
|
C o m m e n t ( s t r ) ;
|
|||
|
|
t i c k s = G e t T i c k C o u n t ( ) ;
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
i f ( s t a t e ! = t o t a l _ s t a t e s )
|
|||
|
|
{
|
|||
|
|
r e w a r d s . R e s i z e ( s t a t e , N R e w a r d s ) ;
|
|||
|
|
s t a t e _ e m b e d d i n g . R e s h a p e ( s t a t e , s t a t e _ e m b e d d i n g . C o l s ( ) ) ;
|
|||
|
|
t o t a l _ s t a t e s = s t a t e ;
|
|||
|
|
}
|
|||
|
|
/ / - - -
|
|||
|
|
v e c t o r < f l o a t > r e w a r d s 1 , r e w a r d s 2 ;
|
|||
|
|
i n t b a r = ( H i s t o r y B a r s - 1 ) * B a r D e s c r ;
|
|||
|
|
f o r ( i n t i t e r = 0 ; ( i t e r < I t e r a t i o n s & & ! I s S t o p p e d ( ) ) ; i t e r + + )
|
|||
|
|
{
|
|||
|
|
i n t t r = ( i n t ) ( ( M a t h R a n d ( ) / 3 2 7 6 7 . 0 ) * ( t o t a l _ t r - 1 ) ) ;
|
|||
|
|
i n t i = ( i n t ) ( ( M a t h R a n d ( ) * M a t h R a n d ( ) / M a t h P o w ( 3 2 7 6 7 , 2 ) ) * ( B u f f e r [ t r ] . T o t a l - 2 ) ) ;
|
|||
|
|
i f ( i < 0 )
|
|||
|
|
{
|
|||
|
|
i t e r - - ;
|
|||
|
|
c o n t i n u e ;
|
|||
|
|
}
|
|||
|
|
v e c t o r < f l o a t > r e w a r d , t a r g e t _ r e w a r d = v e c t o r < f l o a t > : : Z e r o s ( N R e w a r d s ) ;
|
|||
|
|
r e w a r d . A s s i g n ( B u f f e r [ t r ] . S t a t e s [ i ] . r e w a r d s ) ;
|
|||
|
|
/ / - - - T a r g e t
|
|||
|
|
T a r g e t S t a t e . A s s i g n A r r a y ( B u f f e r [ t r ] . S t a t e s [ i + 1 ] . s t a t e ) ;
|
|||
|
|
i f ( i t e r > = S t a r t T a r g e t I t e r )
|
|||
|
|
{
|
|||
|
|
f l o a t P r e v B a l a n c e = B u f f e r [ t r ] . S t a t e s [ i ] . a c c o u n t [ 0 ] ;
|
|||
|
|
f l o a t P r e v E q u i t y = B u f f e r [ t r ] . S t a t e s [ i ] . a c c o u n t [ 1 ] ;
|
|||
|
|
A c c o u n t . C l e a r ( ) ;
|
|||
|
|
A c c o u n t . A d d ( ( B u f f e r [ t r ] . S t a t e s [ i + 1 ] . a c c o u n t [ 0 ] - P r e v B a l a n c e ) / P r e v B a l a n c e ) ;
|
|||
|
|
A c c o u n t . A d d ( B u f f e r [ t r ] . S t a t e s [ i + 1 ] . a c c o u n t [ 1 ] / P r e v B a l a n c e ) ;
|
|||
|
|
A c c o u n t . A d d ( ( B u f f e r [ t r ] . S t a t e s [ i + 1 ] . a c c o u n t [ 1 ] - P r e v E q u i t y ) / P r e v E q u i t y ) ;
|
|||
|
|
A c c o u n t . A d d ( B u f f e r [ t r ] . S t a t e s [ i + 1 ] . a c c o u n t [ 2 ] ) ;
|
|||
|
|
A c c o u n t . A d d ( B u f f e r [ t r ] . S t a t e s [ i + 1 ] . a c c o u n t [ 3 ] ) ;
|
|||
|
|
A c c o u n t . A d d ( B u f f e r [ t r ] . S t a t e s [ i + 1 ] . a c c o u n t [ 4 ] / P r e v B a l a n c e ) ;
|
|||
|
|
A c c o u n t . A d d ( B u f f e r [ t r ] . S t a t e s [ i + 1 ] . a c c o u n t [ 5 ] / P r e v B a l a n c e ) ;
|
|||
|
|
A c c o u n t . A d d ( B u f f e r [ t r ] . S t a t e s [ i + 1 ] . a c c o u n t [ 6 ] / P r e v B a l a n c e ) ;
|
|||
|
|
d o u b l e x = ( d o u b l e ) B u f f e r [ t r ] . S t a t e s [ i + 1 ] . a c c o u n t [ 7 ] / ( d o u b l e ) ( D ' 2 0 2 4 . 0 1 . 0 1 ' - D ' 2 0 2 3 . 0 1 . 0 1 ' ) ;
|
|||
|
|
A c c o u n t . A d d ( ( f l o a t ) M a t h S i n ( x ! = 0 ? 2 . 0 * M _ P I * x : 0 ) ) ;
|
|||
|
|
x = ( d o u b l e ) B u f f e r [ t r ] . S t a t e s [ i + 1 ] . a c c o u n t [ 7 ] / ( d o u b l e ) P e r i o d S e c o n d s ( P E R I O D _ M N 1 ) ;
|
|||
|
|
A c c o u n t . A d d ( ( f l o a t ) M a t h C o s ( x ! = 0 ? 2 . 0 * M _ P I * x : 0 ) ) ;
|
|||
|
|
x = ( d o u b l e ) B u f f e r [ t r ] . S t a t e s [ i + 1 ] . a c c o u n t [ 7 ] / ( d o u b l e ) P e r i o d S e c o n d s ( P E R I O D _ W 1 ) ;
|
|||
|
|
A c c o u n t . A d d ( ( f l o a t ) M a t h S i n ( x ! = 0 ? 2 . 0 * M _ P I * x : 0 ) ) ;
|
|||
|
|
x = ( d o u b l e ) B u f f e r [ t r ] . S t a t e s [ i + 1 ] . a c c o u n t [ 7 ] / ( d o u b l e ) P e r i o d S e c o n d s ( P E R I O D _ D 1 ) ;
|
|||
|
|
A c c o u n t . A d d ( ( f l o a t ) M a t h S i n ( x ! = 0 ? 2 . 0 * M _ P I * x : 0 ) ) ;
|
|||
|
|
/ / - - -
|
|||
|
|
i f ( A c c o u n t . G e t I n d e x ( ) > = 0 )
|
|||
|
|
A c c o u n t . B u f f e r W r i t e ( ) ;
|
|||
|
|
i f ( ! A c t o r . f e e d F o r w a r d ( G e t P o i n t e r ( T a r g e t S t a t e ) , 1 , f a l s e , G e t P o i n t e r ( A c c o u n t ) ) )
|
|||
|
|
{
|
|||
|
|
P r i n t F o r m a t ( " % s - > % d " , _ _ F U N C T I O N _ _ , _ _ L I N E _ _ ) ;
|
|||
|
|
b r e a k ;
|
|||
|
|
}
|
|||
|
|
/ / - - -
|
|||
|
|
i f ( ! T a r g e t C r i t i c 1 . f e e d F o r w a r d ( G e t P o i n t e r ( A c t o r ) , L a t e n t L a y e r , G e t P o i n t e r ( A c t o r ) ) | |
|
|||
|
|
! T a r g e t C r i t i c 2 . f e e d F o r w a r d ( G e t P o i n t e r ( A c t o r ) , L a t e n t L a y e r , G e t P o i n t e r ( A c t o r ) ) )
|
|||
|
|
{
|
|||
|
|
P r i n t F o r m a t ( " % s - > % d " , _ _ F U N C T I O N _ _ , _ _ L I N E _ _ ) ;
|
|||
|
|
b r e a k ;
|
|||
|
|
}
|
|||
|
|
T a r g e t C r i t i c 1 . g e t R e s u l t s ( r e w a r d s 1 ) ;
|
|||
|
|
T a r g e t C r i t i c 2 . g e t R e s u l t s ( r e w a r d s 2 ) ;
|
|||
|
|
i f ( r e w a r d s 1 . S u m ( ) < = r e w a r d s 2 . S u m ( ) )
|
|||
|
|
t a r g e t _ r e w a r d = r e w a r d s 1 ;
|
|||
|
|
e l s e
|
|||
|
|
t a r g e t _ r e w a r d = r e w a r d s 2 ;
|
|||
|
|
f o r ( u l o n g r = 0 ; r < t a r g e t _ r e w a r d . S i z e ( ) ; r + + )
|
|||
|
|
t a r g e t _ r e w a r d - = B u f f e r [ t r ] . S t a t e s [ i + 1 ] . r e w a r d s [ r ] ;
|
|||
|
|
t a r g e t _ r e w a r d * = D i s c F a c t o r ;
|
|||
|
|
}
|
|||
|
|
/ / - - - Q - f u n c t i o n s t u d y
|
|||
|
|
S t a t e . A s s i g n A r r a y ( B u f f e r [ t r ] . S t a t e s [ i ] . s t a t e ) ;
|
|||
|
|
f l o a t P r e v B a l a n c e = B u f f e r [ t r ] . S t a t e s [ M a t h M a x ( i - 1 , 0 ) ] . a c c o u n t [ 0 ] ;
|
|||
|
|
f l o a t P r e v E q u i t y = B u f f e r [ t r ] . S t a t e s [ M a t h M a x ( i - 1 , 0 ) ] . a c c o u n t [ 1 ] ;
|
|||
|
|
A c c o u n t . C l e a r ( ) ;
|
|||
|
|
A c c o u n t . A d d ( ( B u f f e r [ t r ] . S t a t e s [ i ] . a c c o u n t [ 0 ] - P r e v B a l a n c e ) / P r e v B a l a n c e ) ;
|
|||
|
|
A c c o u n t . A d d ( B u f f e r [ t r ] . S t a t e s [ i ] . a c c o u n t [ 1 ] / P r e v B a l a n c e ) ;
|
|||
|
|
A c c o u n t . A d d ( ( B u f f e r [ t r ] . S t a t e s [ i ] . a c c o u n t [ 1 ] - P r e v E q u i t y ) / P r e v E q u i t y ) ;
|
|||
|
|
A c c o u n t . A d d ( B u f f e r [ t r ] . S t a t e s [ i ] . a c c o u n t [ 2 ] ) ;
|
|||
|
|
A c c o u n t . A d d ( B u f f e r [ t r ] . S t a t e s [ i ] . a c c o u n t [ 3 ] ) ;
|
|||
|
|
A c c o u n t . A d d ( B u f f e r [ t r ] . S t a t e s [ i ] . a c c o u n t [ 4 ] / P r e v B a l a n c e ) ;
|
|||
|
|
A c c o u n t . A d d ( B u f f e r [ t r ] . S t a t e s [ i ] . a c c o u n t [ 5 ] / P r e v B a l a n c e ) ;
|
|||
|
|
A c c o u n t . A d d ( B u f f e r [ t r ] . S t a t e s [ i ] . a c c o u n t [ 6 ] / P r e v B a l a n c e ) ;
|
|||
|
|
d o u b l e x = ( d o u b l e ) B u f f e r [ t r ] . S t a t e s [ i ] . a c c o u n t [ 7 ] / ( d o u b l e ) ( D ' 2 0 2 4 . 0 1 . 0 1 ' - D ' 2 0 2 3 . 0 1 . 0 1 ' ) ;
|
|||
|
|
A c c o u n t . A d d ( ( f l o a t ) M a t h S i n ( x ! = 0 ? 2 . 0 * M _ P I * x : 0 ) ) ;
|
|||
|
|
x = ( d o u b l e ) B u f f e r [ t r ] . S t a t e s [ i ] . a c c o u n t [ 7 ] / ( d o u b l e ) P e r i o d S e c o n d s ( P E R I O D _ M N 1 ) ;
|
|||
|
|
A c c o u n t . A d d ( ( f l o a t ) M a t h C o s ( x ! = 0 ? 2 . 0 * M _ P I * x : 0 ) ) ;
|
|||
|
|
x = ( d o u b l e ) B u f f e r [ t r ] . S t a t e s [ i ] . a c c o u n t [ 7 ] / ( d o u b l e ) P e r i o d S e c o n d s ( P E R I O D _ W 1 ) ;
|
|||
|
|
A c c o u n t . A d d ( ( f l o a t ) M a t h S i n ( x ! = 0 ? 2 . 0 * M _ P I * x : 0 ) ) ;
|
|||
|
|
x = ( d o u b l e ) B u f f e r [ t r ] . S t a t e s [ i ] . a c c o u n t [ 7 ] / ( d o u b l e ) P e r i o d S e c o n d s ( P E R I O D _ D 1 ) ;
|
|||
|
|
A c c o u n t . A d d ( ( f l o a t ) M a t h S i n ( x ! = 0 ? 2 . 0 * M _ P I * x : 0 ) ) ;
|
|||
|
|
i f ( A c c o u n t . G e t I n d e x ( ) > = 0 )
|
|||
|
|
A c c o u n t . B u f f e r W r i t e ( ) ;
|
|||
|
|
/ / - - -
|
|||
|
|
i f ( ! A c t o r . f e e d F o r w a r d ( G e t P o i n t e r ( S t a t e ) , 1 , f a l s e , G e t P o i n t e r ( A c c o u n t ) ) )
|
|||
|
|
{
|
|||
|
|
P r i n t F o r m a t ( " % s - > % d " , _ _ F U N C T I O N _ _ , _ _ L I N E _ _ ) ;
|
|||
|
|
b r e a k ;
|
|||
|
|
}
|
|||
|
|
/ / - - -
|
|||
|
|
A c t i o n s . A s s i g n A r r a y ( B u f f e r [ t r ] . S t a t e s [ i ] . a c t i o n ) ;
|
|||
|
|
i f ( A c t i o n s . G e t I n d e x ( ) > = 0 )
|
|||
|
|
A c t i o n s . B u f f e r W r i t e ( ) ;
|
|||
|
|
/ / - - -
|
|||
|
|
i f ( ! C r i t i c 1 . f e e d F o r w a r d ( G e t P o i n t e r ( A c t o r ) , L a t e n t L a y e r , G e t P o i n t e r ( A c t i o n s ) ) | |
|
|||
|
|
! C r i t i c 2 . f e e d F o r w a r d ( G e t P o i n t e r ( A c t o r ) , L a t e n t L a y e r , G e t P o i n t e r ( A c t i o n s ) ) )
|
|||
|
|
{
|
|||
|
|
P r i n t F o r m a t ( " % s - > % d " , _ _ F U N C T I O N _ _ , _ _ L I N E _ _ ) ;
|
|||
|
|
b r e a k ;
|
|||
|
|
}
|
|||
|
|
/ / - - -
|
|||
|
|
C r i t i c 1 . g e t R e s u l t s ( r e w a r d s 1 ) ;
|
|||
|
|
R e s u l t . A s s i g n A r r a y ( C A G r a d ( r e w a r d + t a r g e t _ r e w a r d - r e w a r d s 1 ) + r e w a r d s 1 ) ;
|
|||
|
|
i f ( ! C r i t i c 1 . b a c k P r o p ( R e s u l t , G e t P o i n t e r ( A c t i o n s ) , G e t P o i n t e r ( G r a d i e n t ) ) | |
|
|||
|
|
! A c t o r . b a c k P r o p G r a d i e n t ( G e t P o i n t e r ( A c c o u n t ) , G e t P o i n t e r ( G r a d i e n t ) , L a t e n t L a y e r ) )
|
|||
|
|
{
|
|||
|
|
P r i n t F o r m a t ( " % s - > % d " , _ _ F U N C T I O N _ _ , _ _ L I N E _ _ ) ;
|
|||
|
|
b r e a k ;
|
|||
|
|
}
|
|||
|
|
C r i t i c 2 . g e t R e s u l t s ( r e w a r d s 2 ) ;
|
|||
|
|
R e s u l t . A s s i g n A r r a y ( C A G r a d ( r e w a r d + t a r g e t _ r e w a r d - r e w a r d s 2 ) + r e w a r d s 2 ) ;
|
|||
|
|
i f ( ! C r i t i c 2 . b a c k P r o p ( R e s u l t , G e t P o i n t e r ( A c t i o n s ) , G e t P o i n t e r ( G r a d i e n t ) ) | |
|
|||
|
|
! A c t o r . b a c k P r o p G r a d i e n t ( G e t P o i n t e r ( A c c o u n t ) , G e t P o i n t e r ( G r a d i e n t ) , L a t e n t L a y e r ) )
|
|||
|
|
{
|
|||
|
|
P r i n t F o r m a t ( " % s - > % d " , _ _ F U N C T I O N _ _ , _ _ L I N E _ _ ) ;
|
|||
|
|
b r e a k ;
|
|||
|
|
}
|
|||
|
|
/ / - - - P o l i c y s t u d y
|
|||
|
|
C N e t * c r i t i c = N U L L ;
|
|||
|
|
i f ( C r i t i c 1 . g e t R e c e n t A v e r a g e E r r o r ( ) < = C r i t i c 2 . g e t R e c e n t A v e r a g e E r r o r ( ) )
|
|||
|
|
c r i t i c = G e t P o i n t e r ( C r i t i c 1 ) ;
|
|||
|
|
e l s e
|
|||
|
|
c r i t i c = G e t P o i n t e r ( C r i t i c 2 ) ;
|
|||
|
|
/ / - - -
|
|||
|
|
A c t o r . g e t R e s u l t s ( r e w a r d s 1 ) ;
|
|||
|
|
d o u b l e c l _ o p = B u f f e r [ t r ] . S t a t e s [ i + 1 ] . s t a t e [ b a r ] ;
|
|||
|
|
d o u b l e p r o f _ 1 l = S y m b o l I n f o D o u b l e ( _ S y m b o l , S Y M B O L _ T R A D E _ T I C K _ V A L U E _ P R O F I T ) * c l _ o p /
|
|||
|
|
S y m b o l I n f o D o u b l e ( _ S y m b o l , S Y M B O L _ P O I N T ) ;
|
|||
|
|
v e c t o r < f l o a t > f o r e c a s t = F o r e c a s t A c c o u n t ( B u f f e r [ t r ] . S t a t e s [ i ] . a c c o u n t , r e w a r d s 1 , p r o f _ 1 l , B u f f e r [ t r ] . S t a t e s [ i + 1 ] . a c c o u n t [ 7 ] ) ;
|
|||
|
|
T a r g e t S t a t e . A d d A r r a y ( f o r e c a s t ) ;
|
|||
|
|
i f ( ! c r i t i c . f e e d F o r w a r d ( G e t P o i n t e r ( A c t o r ) , L a t e n t L a y e r , G e t P o i n t e r ( A c t o r ) ) | |
|
|||
|
|
! C o n v o l u t i o n . f e e d F o r w a r d ( G e t P o i n t e r ( T a r g e t S t a t e ) ) )
|
|||
|
|
{
|
|||
|
|
P r i n t F o r m a t ( " % s - > % d " , _ _ F U N C T I O N _ _ , _ _ L I N E _ _ ) ;
|
|||
|
|
b r e a k ;
|
|||
|
|
}
|
|||
|
|
n e x t . A s s i g n ( B u f f e r [ t r ] . S t a t e s [ i + 1 ] . r e w a r d s ) ;
|
|||
|
|
t a r g e t _ r e w a r d + = n e x t ;
|
|||
|
|
C o n v o l u t i o n . g e t R e s u l t s ( r e w a r d s 1 ) ;
|
|||
|
|
t a r g e t _ r e w a r d = K N N R e w a r d ( 7 , r e w a r d s 1 , s t a t e _ e m b e d d i n g , r e w a r d s ) + n e x t * D i s c F a c t o r ;
|
|||
|
|
i f ( f o r e c a s t [ 3 ] = = 0 . 0 f & & f o r e c a s t [ 4 ] = = 0 . 0 f )
|
|||
|
|
t a r g e t _ r e w a r d [ 2 ] - = ( B u f f e r [ t r ] . S t a t e s [ i + 1 ] . s t a t e [ b a r + 6 ] / P r e v B a l a n c e ) / D i s c F a c t o r ;
|
|||
|
|
c r i t i c . g e t R e s u l t s ( r e w a r d ) ;
|
|||
|
|
r e w a r d + = C A G r a d ( t a r g e t _ r e w a r d - r e w a r d ) ;
|
|||
|
|
/ / - - -
|
|||
|
|
R e s u l t . A s s i g n A r r a y ( r e w a r d ) ;
|
|||
|
|
c r i t i c . T r a i n M o d e ( f a l s e ) ;
|
|||
|
|
i f ( ! c r i t i c . b a c k P r o p ( R e s u l t , G e t P o i n t e r ( A c t o r ) ) | |
|
|||
|
|
! A c t o r . b a c k P r o p G r a d i e n t ( G e t P o i n t e r ( A c c o u n t ) , G e t P o i n t e r ( G r a d i e n t ) ) )
|
|||
|
|
{
|
|||
|
|
P r i n t F o r m a t ( " % s - > % d " , _ _ F U N C T I O N _ _ , _ _ L I N E _ _ ) ;
|
|||
|
|
c r i t i c . T r a i n M o d e ( t r u e ) ;
|
|||
|
|
b r e a k ;
|
|||
|
|
}
|
|||
|
|
c r i t i c . T r a i n M o d e ( t r u e ) ;
|
|||
|
|
/ / - - - U p d a t e T a r g e t N e t s
|
|||
|
|
T a r g e t C r i t i c 1 . W e i g h t s U p d a t e ( G e t P o i n t e r ( C r i t i c 1 ) , T a u ) ;
|
|||
|
|
T a r g e t C r i t i c 2 . W e i g h t s U p d a t e ( G e t P o i n t e r ( C r i t i c 2 ) , T a u ) ;
|
|||
|
|
/ / - - -
|
|||
|
|
i f ( G e t T i c k C o u n t ( ) - t i c k s > 5 0 0 )
|
|||
|
|
{
|
|||
|
|
s t r i n g s t r = S t r i n g F o r m a t ( " % - 1 5 s % 5 . 2 f % % - > E r r o r % 1 5 . 8 f \ n " , " C r i t i c 1 " , i t e r * 1 0 0 . 0 / ( d o u b l e ) ( I t e r a t i o n s ) , C r i t i c 1 . g e t R e c e n t A v e r a g e E r r o r ( ) ) ;
|
|||
|
|
s t r + = S t r i n g F o r m a t ( " % - 1 5 s % 5 . 2 f % % - > E r r o r % 1 5 . 8 f \ n " , " C r i t i c 2 " , i t e r * 1 0 0 . 0 / ( d o u b l e ) ( I t e r a t i o n s ) , C r i t i c 2 . g e t R e c e n t A v e r a g e E r r o r ( ) ) ;
|
|||
|
|
C o m m e n t ( s t r ) ;
|
|||
|
|
t i c k s = G e t T i c k C o u n t ( ) ;
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
C o m m e n t ( " " ) ;
|
|||
|
|
/ / - - -
|
|||
|
|
P r i n t F o r m a t ( " % s - > % d - > % - 1 5 s % 1 0 . 7 f " , _ _ F U N C T I O N _ _ , _ _ L I N E _ _ , " C r i t i c 1 " , C r i t i c 1 . g e t R e c e n t A v e r a g e E r r o r ( ) ) ;
|
|||
|
|
P r i n t F o r m a t ( " % s - > % d - > % - 1 5 s % 1 0 . 7 f " , _ _ F U N C T I O N _ _ , _ _ L I N E _ _ , " C r i t i c 2 " , C r i t i c 2 . g e t R e c e n t A v e r a g e E r r o r ( ) ) ;
|
|||
|
|
E x p e r t R e m o v e ( ) ;
|
|||
|
|
/ / - - -
|
|||
|
|
}
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
/ / | |
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
v e c t o r < f l o a t > K N N R e w a r d ( u l o n g k , v e c t o r < f l o a t > & e m b e d d i n g , m a t r i x < f l o a t > & s t a t e _ e m b e d d i n g , m a t r i x < f l o a t > & r e w a r d s )
|
|||
|
|
{
|
|||
|
|
i f ( e m b e d d i n g . S i z e ( ) ! = s t a t e _ e m b e d d i n g . C o l s ( ) )
|
|||
|
|
{
|
|||
|
|
P r i n t F o r m a t ( " % s - > % d I n c o n s i s t e n t e m b e d d i n g s i z e " , _ _ F U N C T I O N _ _ , _ _ L I N E _ _ ) ;
|
|||
|
|
r e t u r n v e c t o r < f l o a t > : : Z e r o s ( 0 ) ;
|
|||
|
|
}
|
|||
|
|
/ / - - -
|
|||
|
|
u l o n g s i z e = e m b e d d i n g . S i z e ( ) ;
|
|||
|
|
u l o n g s t a t e s = s t a t e _ e m b e d d i n g . R o w s ( ) ;
|
|||
|
|
k = M a t h M i n ( k , s t a t e s ) ;
|
|||
|
|
u l o n g r e w _ s i z e = r e w a r d s . C o l s ( ) ;
|
|||
|
|
m a t r i x < f l o a t > t e m p = m a t r i x < f l o a t > : : Z e r o s ( s t a t e s , s i z e ) ;
|
|||
|
|
/ / - - -
|
|||
|
|
f o r ( u l o n g i = 0 ; i < s i z e ; i + + )
|
|||
|
|
t e m p . C o l ( M a t h P o w ( s t a t e _ e m b e d d i n g . C o l ( i ) - e m b e d d i n g [ i ] , 2 . 0 f ) , i ) ;
|
|||
|
|
v e c t o r < f l o a t > d i s t a n c e = M a t h S q r t ( t e m p . S u m ( 1 ) ) ;
|
|||
|
|
m a t r i x < f l o a t > k _ r e w a r d s = m a t r i x < f l o a t > : : Z e r o s ( k , r e w _ s i z e ) ;
|
|||
|
|
m a t r i x < f l o a t > k _ e m b e d i n g = m a t r i x < f l o a t > : : Z e r o s ( k + 1 , s i z e ) ;
|
|||
|
|
f o r ( u l o n g i = 0 ; i < k ; i + + )
|
|||
|
|
{
|
|||
|
|
u l o n g p o s = d i s t a n c e . A r g M i n ( ) ;
|
|||
|
|
k _ r e w a r d s . R o w ( r e w a r d s . R o w ( p o s ) * ( 1 - M a t h L o g ( d i s t a n c e [ p o s ] + 1 ) ) , i ) ;
|
|||
|
|
k _ e m b e d i n g . R o w ( s t a t e _ e m b e d d i n g . R o w ( p o s ) , i ) ;
|
|||
|
|
d i s t a n c e [ p o s ] = F L T _ M A X ;
|
|||
|
|
}
|
|||
|
|
k _ e m b e d i n g . R o w ( e m b e d d i n g , k ) ;
|
|||
|
|
/ / - - -
|
|||
|
|
m a t r i x < f l o a t > U , V ;
|
|||
|
|
v e c t o r < f l o a t > S ;
|
|||
|
|
k _ e m b e d i n g . S V D ( U , V , S ) ;
|
|||
|
|
/ / - - -
|
|||
|
|
v e c t o r < f l o a t > r e s u l t = k _ r e w a r d s . M e a n ( 0 ) ;
|
|||
|
|
r e s u l t [ r e w _ s i z e - 1 ] = S . S u m ( ) / ( M a t h S q r t ( M a t h P o w ( k _ e m b e d i n g , 2 . 0 f ) . S u m ( ) * M a t h M a x ( k + 1 , s i z e ) ) ) ;
|
|||
|
|
/ / - - -
|
|||
|
|
r e t u r n ( r e s u l t ) ;
|
|||
|
|
}
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
/ / | |
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
v e c t o r < f l o a t > C A G r a d ( v e c t o r < f l o a t > & g r a d )
|
|||
|
|
{
|
|||
|
|
m a t r i x < f l o a t > G G = g r a d . O u t e r ( g r a d ) ;
|
|||
|
|
G G . R e p l a c e N a n ( 0 ) ;
|
|||
|
|
i f ( M a t h A b s ( G G ) . S u m ( ) = = 0 )
|
|||
|
|
r e t u r n g r a d ;
|
|||
|
|
f l o a t s c a l e = M a t h S q r t ( G G . D i a g ( ) + 1 . 0 e - 4 f ) . M e a n ( ) ;
|
|||
|
|
G G = G G / M a t h P o w ( s c a l e , 2 ) ;
|
|||
|
|
v e c t o r < f l o a t > G g = G G . M e a n ( 1 ) ;
|
|||
|
|
f l o a t g g = G g . M e a n ( ) ;
|
|||
|
|
v e c t o r < f l o a t > w = v e c t o r < f l o a t > : : Z e r o s ( g r a d . S i z e ( ) ) ;
|
|||
|
|
f l o a t c = M a t h S q r t ( g g + 1 . 0 e - 4 f ) * f C A G r a d _ C ;
|
|||
|
|
v e c t o r < f l o a t > w _ b e s t = w ;
|
|||
|
|
f l o a t o b j _ b e s t = F L T _ M A X ;
|
|||
|
|
v e c t o r < f l o a t > m o m e n t = v e c t o r < f l o a t > : : Z e r o s ( w . S i z e ( ) ) ;
|
|||
|
|
f o r ( i n t i = 0 ; i < i C A G r a d _ I t e r s ; i + + )
|
|||
|
|
{
|
|||
|
|
v e c t o r < f l o a t > w w ;
|
|||
|
|
w . A c t i v a t i o n ( w w , A F _ S O F T M A X ) ;
|
|||
|
|
f l o a t o b j = w w . D o t ( G g ) + c * M a t h S q r t ( w w . M a t M u l ( G G ) . D o t ( w w ) + 1 . 0 e - 4 f ) ;
|
|||
|
|
i f ( M a t h A b s ( o b j ) < o b j _ b e s t )
|
|||
|
|
{
|
|||
|
|
o b j _ b e s t = M a t h A b s ( o b j ) ;
|
|||
|
|
w _ b e s t = w ;
|
|||
|
|
}
|
|||
|
|
i f ( i < ( i C A G r a d _ I t e r s - 1 ) )
|
|||
|
|
{
|
|||
|
|
f l o a t l o s s = - o b j ;
|
|||
|
|
v e c t o r < f l o a t > d e r e v = G g + G G . M a t M u l ( w w ) * c / ( M a t h S q r t ( w w . M a t M u l ( G G ) . D o t ( w w ) + 1 . 0 e - 4 f ) * 2 ) + w w . M a t M u l ( G G ) * c / ( M a t h S q r t ( w w . M a t M u l ( G G ) . D o t ( w w ) + 1 . 0 e - 4 f ) * 2 ) ;
|
|||
|
|
v e c t o r < f l o a t > d e l t a = d e r e v * l o s s ;
|
|||
|
|
u l o n g s i z e = d e l t a . S i z e ( ) ;
|
|||
|
|
m a t r i x < f l o a t > i d e n t = m a t r i x < f l o a t > : : I d e n t i t y ( s i z e , s i z e ) ;
|
|||
|
|
v e c t o r < f l o a t > o n e s = v e c t o r < f l o a t > : : O n e s ( s i z e ) ;
|
|||
|
|
m a t r i x < f l o a t > s m _ d e r = o n e s . O u t e r ( w w ) ;
|
|||
|
|
s m _ d e r = s m _ d e r . T r a n s p o s e ( ) * ( i d e n t - s m _ d e r ) ;
|
|||
|
|
d e l t a = s m _ d e r . M a t M u l ( d e l t a ) ;
|
|||
|
|
i f ( d e l t a . P t p ( ) ! = 0 )
|
|||
|
|
d e l t a = d e l t a / d e l t a . P t p ( ) ;
|
|||
|
|
m o m e n t = d e l t a * 0 . 8 f + m o m e n t * 0 . 5 f ;
|
|||
|
|
w + = m o m e n t ;
|
|||
|
|
i f ( w . P t p ( ) ! = 0 )
|
|||
|
|
w = w / w . P t p ( ) ;
|
|||
|
|
}
|
|||
|
|
}
|
|||
|
|
w _ b e s t . A c t i v a t i o n ( w , A F _ S O F T M A X ) ;
|
|||
|
|
f l o a t g w _ n o r m = M a t h S q r t ( w . M a t M u l ( G G ) . D o t ( w ) + 1 . 0 e - 4 f ) ;
|
|||
|
|
f l o a t l m b d a = c / ( g w _ n o r m + 1 . 0 e - 4 f ) ;
|
|||
|
|
v e c t o r < f l o a t > r e s u l t = ( ( w * l m b d a + 1 . 0 f / ( f l o a t ) g r a d . S i z e ( ) ) * g r a d ) / ( 1 + M a t h P o w ( f C A G r a d _ C , 2 ) ) ;
|
|||
|
|
/ / - - -
|
|||
|
|
r e t u r n r e s u l t ;
|
|||
|
|
}
|
|||
|
|
/ / + - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - - +
|
|||
|
|
|