AI拓也の為に事前学習言語モデルを作る2

AI拓也の為に事前学習小説用LLMを作ります
急いで作ったのでちょっと日本語がおかしいです
すいません申し訳ナイス!
不具合やバグ、質問、改善点や指摘などがあったらコメントオナシャス
軽量化アルゴリズムのFlashAttention2とSlidingWindowAttentionをちゃんと適用しました
高性能PC持ってないので学習を実行してくれる方を募集します
ニコニコ版→ nico.ms/sm44440598
前回→ nico.ms/sm44440598
音声は拓也のセンパイでっす
学習プログラム→ mega.nz/file/PRNzAATD#H8Lt7H57LbYmd993MwhJaMe4s-A-HsBWaRQtPtlCoRU
学習データ→ mega.nz/file/PYtCHCTA#UhTQ_0cI86vFrrup8uu8SuMOFfyQnptr6P7oCQyfLV0
学習データの元→ huggingface.co/datasets/atsushi3110/novels-ja

BGMは鉄人28号(2004年版)の蘇る無敵の兵士です
学習データの元→ huggingface.co/datasets/atsushi3110/novels-ja

BGMは鉄人28号(2004年版)の蘇る無敵の兵士です