シャローム!Sato-Gです。
電車に乗ってて、目の前に「旭天鵬」の文字が入った着物を着た力士が立ってる!
ちゃんと髷結ってるし、これは本人か?
と思ったんだけど、ネットで調べると身長は191cmあるはずで、目の前の力士の身長はどう見ても180cmないから、これは本人ではない。
なんだよ、紛らわしいな。
付け人なのかな。
この「付け人」は「付き人」の間違いではないから念のため。
付け人いう言葉は相撲界独特の言い回しらしい。
関取の日常を世話する人で、幕下以下の力士が担当するらしく、立場が逆転することもあるとか…
相撲界ではちゃんこや風呂の順番も番付順だから勝負の世界は厳しいね。

さて、今回はあくまで個人の興味で書くので悪しからず。
これを知ってるからといって大して役に立たないことなんだけど、まあ参考程度ということで。

1.デカいデータを取り込んだらメモリが…

2億件くらいのデータを取り込んでベンチマークしてみようか…と思ってた。
SQLiteのファイル(sample.db)でサイズは7GBくらい。
取り込み完了後にサーバを見たら結構メモリ食ってるなー
AWSでメモリ31.5GBのインスタンス上に構築していたんだけど、76%も消費してる。

この状態から脱するにはー
SisenseのWebコンソールで、このsampleというキューブを止めてみた。

減った!10GB以上も。
元のファイルサイズ以上にメモリの消費が減ったってことは、ElastiCubeはどれだけのファイルサイズなのか。

2.ElastiCubeの実体のファイルはどこにある?

ここにElastiCubeのファイルがあるらしい。

C:\ProgramData\Sisense\PrismServer\ElastiCubeData\<ElastiCube名>\dbfarm\asample\bat

元のファイルはCSVファイル7.5GBから取り込み、SQLite上では7GBであったのに対してElastiCubeのファイルは12.3GBに増えているんだね。
因みにカスタム列を1つ追加してるから、これが無かったら、もうちょっと減るのかもしれないけど、元のファイルサイズよりも1.5倍くらいのディスクスペースを占有する感じだ。
ちょっとびっくりな結果。
このフォルダの中身についてはよくわからないけど、おそらく高速化するためにこういう構造になっているんだろう。

よってディスク容量算定の際には、元のファイルより大きくなる可能性もあるよーということだけは留意してね。
ベンチマークの結果は改めてー

ではまた!

この記事が気に入ったら
いいね ! しよう