Dukascopyのヒストリカルデータは時間がズレている

Dukascopyのヒストリカルデータ

いくつかのEAのバックテストをしていた時に、ヒストリカルデータでEAによる結果の違いが大きいということに気が付き、調べておこうと思ったのがきっかけです。

ヒストリカルデータを取得するには２種類の方法があります

トレードツールのiForexから取得
Webから取得

また、デモ口座を開設する必要があり
データの取得方法は公式のpdfに記載されています。
ヒストリカルデータの取得方法

尚、Dukascopyは比較的データの抜けがないのですが、時差の補正が必要です

補正スクリプトが上手く動作しない場合の対処方法もあります

目次
1. UTC+0
2. 補正スクリプト
3. 補正スクリプトがうまく変換できない
4. CSVファイルのデータシフト
5. XM用にはEETを使用

UTC+0

デフォルトではUTC+0（≒ GMT+0）の時間になっています。
MT4 と日本時間の差は GMT+2/+3 の理由

MT4はGMT+2/+3なので時間のずれが生じます。
　

　
このズレを回避するには、NweYorkが

標準（冬時間）ESTではGMTから2時間プラス
夏時間、EDTの期間ではGMTから3時間プラス

Dukascopy の無料データには夏時間の補正がありません
（有料のTDSは補正されていますが）

補正スクリプト

ずれを補正するために、UTC+0のCSVをエクセルで日付けを探して修正していくことも可能ですが、CSVファイルは重いので長期間の1分足では開けないため分割することになります

なんやかやで、このUTCの時間のずれを補正してくれるスクリプトがnekonoteさんから提供されています
UTC+0のヒストリカルデータを、UTC+2/+3や日本時間(UTC+9)にするVBスクリプト

上記URLにあるテキストをコピペ

ファイル拡張子.vbsとしてHSTファイルにドロップする

EURJPY_1 Min_Bid_2003.08.03_2023.09.04.hst　ファイルを
dukascopy-converter.vbs

にドロップすると
work ファルダが作成され
変換したファイルがworkフォルダに出力されます

「出力しました」のダイアログが出れば終了です

work フォルダには変換ファイルができています

複数個をドロップすることも可能です

但し、結構忘れたころに出力されたりします

タスクマネージャーでみるとVB Script がたらたら作業をしているのがわかります

補正スクリプトがうまく変換できない

いつまで経っても、うまく変換できない場合は、
セキュリティソフトが邪魔をしている可能性が大です
一時的に停止するなりすれば数分で変換が終了します

以下の対策で２～3分で変換ができていることがわかります

ネットワークを切断してオフライン
セキュリティソフトをオフにしてやってみました

尚、この作業は通常レベルのPCでやりました
Windows11
i7-8565U CPU @ 1.80GHz 1.99 GHz
RAM 8GB

セキュリティソフトをONにしていると確かにいくら待っても変換されないことがありました
タスクマネージャーでは、確かに作業をしているのがわかります
2.7％ → 30% に上昇

例えば、トレンドマイクロを一時停止する場合

ウイルスバスタークラウドを一時停止する方法

ただセキュリティの関連で、他のソフトを止めたり、ネットのやり取りはやらないように
無防備な状態を理解してやらないといけませんが

Power Shell を使えますが、スクリプトを修正すれば途中経過を表示することもできるかもしれません

PS C:\Dukascopy\2003-2023.09.04> .\converter.vbs '.\GBPNZD_1 Min_Bid_2006.01.02_2023.09.04.hst'
PS C:\Dukascopy\2003-2023.09.04>

1 2	PS C:\Dukascopy\2003-2023.09.04> .\converter.vbs '.\GBPNZD_1 Min_Bid_2006.01.02_2023.09.04.hst' PS C:\Dukascopy\2003-2023.09.04>

尚、文字コードは試したところあまり関係ありませんでした
Shift-JIS
Unicode
UTF8
…
等で変換できています

CSVファイルのデータシフト

以上はHSTファイル形式の場合で、CSVのファイルをダウンロードすることも可能です
問題点は、ヘッダーの文字列を削除しないといけないのですが
CSVだとエクセルで開こうとすると大きすぎるというエラーになる
20年分のデータだと厳しくなります

これは、シンプルなエディタを使えば何とかなります

ヒストリカルデータの取得方法
1、インストール版JForexを起動します。
2、JForex画面上部で、「設定」->「オプション設定」->「一般」を選択します。
3、オプション設定の一般欄で、「プラットフォームの時間」->「EDT（UTC – 5時間）」を選択し、「OK」をクリックします。
4、JForex画面上部で、「表示」->「ヒストリカルデータ取得」を選択します。
5、ヒストリカルデータ取得で、「銘柄（例、USD/JPY）」と「期間（例、1分）」を選択し、「ダウンロード」をクリックします。

データのMT4への取り込み

1、MT4を起動します。
2、MT4画面上部で、「ツール」->「ヒストリーセンター」を選択します。
3、ヒストリーセンターで、「インポート」を選択します。
4、インポートで、「参照：ヒストリカルデータのファイル」と
「スキップ：1行」と「表示移動：+7時間」を選択し、「OK」をクリックします。