世界最大の銀行、ヘッジファンド、PE ファームのトップ テック プロジェクト


スーパーチャージされた C++ エンジンで Man Group のデータ プラットフォームの基礎を書き直す

Man Group の Alpha Technology の CTO、Gary Collier 氏

ゲイリー・コリアー。

男グループ


固い: 男グループ

計画: Man Group のデータ サイエンス エンジンをアップグレードして大量のデータを処理する

主幹事: Man Group の Alpha Technology の最高技術責任者である Gary Collier 氏

データは、あらゆる投資会社の生命線です。 また、運用資産が 1,420 億ドルに上る最大の上場ヘッジファンドの 1 つである Man Group では、大規模なデータの取り合いがすべてです。

これが、Man Group の投資アナリストがアルファを生成し、リスク分析を実行し、機械学習アプリケーションを促進するために使用する、Python 中心のデータ サイエンス システムである Arctic を構築するきっかけとなったものです。 Collier によると、このシステムは 2015 年にオープン ソース化され、現在までに 100 万回以上ダウンロードされています。

投資マネージャーが使用するテクノロジーを監督する Collier 氏は、「毎日、何十億ものデータ ポイントを定期的に処理しています。当社のプラットフォームの強度と柔軟性により、9,500 GB のクリーンなポジション、リスク、取引、および市場データを提供して、ビジネスを強化できます」と述べています。と Insider にメールで語った。 Arctic の重要なコンポーネントは、金融サービスで広く使用されているコーディング言語である Python とシームレスに連携することです。これは、Man Group チームが日常的に使用する Python スタックの自然な拡張機能として機能するように設計されているためです。

「金融市場のモデル化に関連するデータを扱う場合、初期のタイプや形状 (数値​​、テキスト、画像) に関係なく、すぐにデータのデータ フレームを操作していることに気付くでしょう。本質的には、非常に大きな行列です」と Collier 氏は述べています。 「Arctic は、必要な産業規模でデータ フレームを保存、クエリ、および操作する機能を提供します。潜在的に数十億の行と数十万の列を考えてみてください。」

2017 年末、Man Group は、「業界が直面する次世代のデータの課題に対応できるようにする」ために、Arctic の根本的な書き直しに着手しました。 Arctic は ArcticDB に進化しました。これには、同じユーザー フレンドリーな Python インターフェイスが含まれていますが、強化された C++ エンジンも含まれています。 このエンジンにより、システムが処理できるデータの規模、クエリのフェッチ速度、データの保存効率が桁違いに向上します。

「これの具体的な例は、北極圏であり、大規模な社債ユニバースを表す 400,000 列のデータ フレームなど、超幅のデータ フレームの処理が簡単になっています」と Collier 氏は述べています。 「Arctic は現在、この種のデータの課題に取り組んでおり、本番環境でも取り組んでいます。」

現在、ArcticDB は研究と生産全体で数百テラバイトのデータを管理していると Collier は付け加えました。 書き換えは 2017 年に開始されましたが、Man Group がパフォーマンスと効率を最適化する機能を追加するなど、現在も活発な開発が行われています。

コリアー氏は、「開始、実装、停止という二者択一のイニシアチブとは対照的に、変革技術プロジェクトを『変化の波頭』と考える方が有益な場合が多い」と述べています。



Source link

Leave a Reply

Your email address will not be published. Required fields are marked *